Google выпустила Gemini-SQL2: Gemini 3.1 Pro набрал 80% на бенчмарке BIRD

Google Research представила Gemini-SQL2 — систему преобразования текстовых запросов в SQL на базе Gemini 3.1 Pro, которая набрала 80,04% execution accuracy на бенчмарке BIRD в категории single-model.

Что такое бенчмарк BIRD BIRD (Big

Bench for Large-scale Database Grounded Text-to-SQL) — стандартный академический тест для оценки систем, которые переводят вопросы на естественном языке в SQL-запросы. В отличие от более ранних датасетов вроде Spider, BIRD работает с реальными, «грязными» данными: таблицы содержат опечатки, нестандартные форматы дат, NULL-значения и аббревиатуры без расшифровок. Именно поэтому бенчмарк считается более репрезентативным для промышленных задач. Метрика execution accuracy показывает, в каком проценте случаев сгенерированный SQL дал правильный ответ при запуске на тестовой базе данных. Результат 80,04% — один из самых высоких публичных показателей в категории single-model: без ансамблирования нескольких моделей, специальных пост-обработочных пайплайнов или дополнительных проверочных агентов. Предыдущие лидеры в этой категории держались в диапазоне 73–77%.

Как работает Gemini-SQL2 По описанию Google Research, Gemini-SQL2 использует schema-grounded подход.

Модель получает полную структуру базы данных — имена таблиц, типы колонок, внешние ключи и примеры значений — и строит SQL с учётом реальной архитектуры конкретной БД. Это снижает число типичных ошибок: галлюцинированных имён полей, неправильных джойнов и ошибочной агрегации. Особенно важно при работе с корпоративными базами, где имена колонок нередко представляют собой неочевидные аббревиатуры или технические коды.

Типичные сценарии применения: аналитика без SQL-специалиста — бизнес-пользователь задаёт вопрос на естественном языке и получает готовый рабочий запрос BI-интерфейсы поверх корпоративного хранилища данных с голосовым или текстовым вводом автодополнение и генерация сложных запросов для разработчиков по текстовому описанию задачи быстрое прототипирование выборок для разведочного анализа данных * автоматическое создание SQL под регулярные бизнес-отчёты Для практической имплементации Google предлагает паттерн: сначала передать модели DDL-схему и несколько примеров строк из каждой таблицы, затем — вопрос пользователя. Так модель видит реальную структуру базы и не генерирует запрос вслепую.

Что Google не раскрыла Публикация содержит несколько важных пробелов.

Google не опубликовала детали архитектуры, методику тонкой настройки и состав обучающих данных. Остаётся неизвестным, является ли Gemini-SQL2 самостоятельной дообученной моделью или специальной стратегией промптинга поверх базового Gemini 3.1 Pro. Непонятно также, доступна ли система через API прямо сейчас или это пока результат исследовательского эксперимента без немедленного продуктового выхода. Нет данных о поддержке языков, отличных от английского, и совместимости с диалектами SQL, включающими оконные функции и рекурсивные CTE.

«80 процентов на BIRD — это серьёзный результат, но без технического

отчёта сложно понять, воспроизводим ли он для произвольных корпоративных баз данных», — типичная реакция ML-сообщества на подобные анонсы.

Что это значит

Порог в 80% на BIRD — сигнал, что text-to-SQL перестаёт быть академической задачей и становится практически применимым инструментом для большинства типовых бизнес-запросов. Компании, которые хотят дать нетехническим сотрудникам прямой доступ к данным, получают весомое основание для пилотов с LLM-powered аналитикой. Следующие месяцы покажут, переведёт ли Google этот результат в конкретный продукт — например, встроенную функцию BigQuery — и последуют ли конкуренты с сопоставимыми публичными показателями.