Google выпустила gemini-decision-1: модель выдаёт вероятности вместо текста за 150–250 мс

Знакомая сцена: вам нужно решить, в какую очередь отправить обращение клиента. Вы берёте большую языковую модель, просите её «ответить в формате JSON», ждёте, пока она сгенерирует текст токен за токеном, потом парсите ответ и молитесь, чтобы скобка не потерялась. Всё это ради одного решения вида «ветка А или ветка Б». Google выпустила инструмент, который убирает этот слой целиком.

Что именно выкатили

Модель называется gemini-decision-1, она доступна как отдельный эндпоинт и пока в превью в AI Studio. Главное отличие от обычного Gemini: она вообще не генерирует токены. Вместо этого за один forward pass она оценивает варианты ответа и возвращает вероятности. Выходных токенов ноль, и код может ветвиться прямо по числам.

На вход можно подать текст, картинки, аудио, видео и PDF, суммарно до 262 144 токенов. К одному входу разрешено задать до 1 000 независимых вопросов. Вопросов три типа:

• да/нет, ответ в диапазоне 0,01–0,99;
• выбор из 2–255 вариантов;
• оценка по рубрике со взвешенным средним.

Вопросы не видят друг друга, поэтому ответы не влияют один на другой. По данным из анонса, латентность почти не растёт: 50–100 мс на саму модель и 150–250 мс end-to-end, одинаково и для одного вопроса, и для сотни.

Как это выглядит на примере

Представьте входящее письмо в поддержку с приложенным скриншотом. Раньше вы делали бы несколько вызовов или один длинный промпт с просьбой выдать структуру. Теперь отправляете письмо и скриншот один раз и добавляете три вопроса:

• «Это проблема с оплатой?» — да/нет;
• «Какой команде передать?» — выбор из пяти вариантов;
• «Насколько срочно по рубрике?» — оценка по критериям.

В ответ приходят три набора чисел. Дальше обычный if: если вероятность оплаты выше 0,8, отправляем в биллинг. Никакого парсинга и повторных попыток из-за кривого формата.

Отдельно приятна модель оплаты. Общий вход вы платите один раз, а каждый вопрос добавляет только свои инструкции и критерии. Отдельных счетов за thinking-токены, транскрипцию аудио и OCR нет. Цена: $0,10 за 1M входных токенов и $0 за выходные. На бесплатном уровне доступно 200 запросов в минуту, 50K токенов в минуту и 10 000 запросов в день. На Tier 1 лимиты вырастают до 1 500 RPM и 1M TPM, на Tier 3 — до 15 000 RPM и 10M TPM.

Кому это нужно и где подвох

Автор исходного разбора называет это самым недооценённым типом релиза и ставит на агентов. Если у вас цепочка из десяти шагов и на каждом шаге нужно выбрать инструмент, то экономия, по его оценке, идёт не на проценты, а на порядок: меньше латентности, меньше денег, нет парсинга. Это оценка автора поста, а не измеренный бенчмарк, но логика понятна. Многие продовые вызовы LLM по сути являются классификаторами: роутинг, модерация, фильтры, триаж, скоринг по чек-листу. Для них генерация текста была лишь переходником.

Теперь ограничения.

• Это превью. Лимиты, цены и поведение модели могут поменяться до релиза.
• Batch API и кэширование контекста не поддерживаются. Если у вас большой повторяющийся контекст, например длинная инструкция или база знаний, придётся платить за него каждый раз.
• В описании нет метрик качества. Неизвестно, насколько хорошо откалиброваны вероятности и как модель справляется с тонкими формулировками рубрик. Если вы пустите решение с юридическими или денежными последствиями по порогу 0,7, сначала проверьте калибровку на своих данных.
• Это эндпоинт Google, так что привязка к вендору остаётся.

Что делать на практике

Выпишите свои вызовы LLM и отметьте те, где ответ потом всё равно сводится к ярлыку, флагу или числу. Это первые кандидаты. Соберите размеченную выборку из нескольких сотен примеров, прогоните её через бесплатный уровень в AI Studio и сравните точность и латентность с текущим решением. Если качество не хуже, а задержка падает до 150–250 мс, роутинг и модерацию стоит переносить сюда. Генерацию текста для пользователя, разумеется, оставьте обычным моделям.