Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуNeurohive→ оригинал

Gemini API сократил токены агента с 200 инструментами почти в 7 раз — по расчёту Google

Агент с MCP-серверами отправляет в модель описания всех инструментов в каждом запросе, даже если нужна одна функция. Google в Gemini API добавила Tool Retrieval: модель видит имя и краткое описание, а схему параметров подгружает по требованию. По расчёту Google, разговор с 200 инструментами занимает 23 650 входных токенов вместо 164 000, почти в 7 раз меньше. Это расчёт, не замер, а для малых наборов режим невыгоден.

AI-обработка оригинала Neurohive; редакция Hamidun News
Gemini API сократил токены агента с 200 инструментами почти в 7 раз — по расчёту Google
Источник: Neurohive. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникNeurohive ↗
Главный редактор
Ключевой факт #1Около 26 токенов на инструмент уходит на имя и описание отложенной функции
Входной запрос с 200 инструментами$0,035 вместо $0,246 при цене $1,50 за 1 млн
Ключевой факт #3При 10 инструментах и контексте 30 000 токенов выйдет на 36,5% больше

Подключили к агенту пару MCP-серверов, добавили десяток своих функций, и счёт за токены вырос, хотя пользователи задают те же вопросы. Причина в том, что описания всех инструментов вместе со схемами параметров уезжают в модель с каждым запросом, даже если за разговор нужна одна функция из двухсот. Google решает это в Gemini API с помощью Tool Retrieval: модель держит под рукой весь список, а полное описание функции получает, только когда оно понадобилось. По расчёту Google, разговор с библиотекой из 200 инструментов занимает около 23 650 входных токенов вместо 164 000, то есть почти в 7 раз меньше, или примерно на 86%. Важно: это расчётный пример, а не замер. Функция пока доступна в режиме превью в Interactions API.

Как это работает

Разработчик помечает редко нужные функции специальным флагом отложенной загрузки. Модель по-прежнему видит имя и краткое описание каждой такой функции. По первым замерам Google, это около 26 токенов на инструмент. А схему параметров, самую тяжёлую часть, она не получает.

Когда функция понадобилась, модель запрашивает её по имени. API подгружает схему, и модель делает вызов, причём всё происходит внутри одного запроса. Это похоже на библиотеку с каталогом: читателю не выкладывают на стол все книги, он смотрит карточки и просит нужную.

Тот же флаг можно поставить на удалённый MCP-сервер целиком, тогда все его инструменты загружаются по требованию. Подгруженные схемы добавляются по ходу разговора, а не в начало промпта. Начало не меняется, поэтому продолжает браться из кэша.

Есть и режим поиска на стороне приложения. Он нужен компаниям со своим реестром инструментов или с проверкой прав пользователей. Каждый поиск там добавляет лишний обмен запросами, зато объявлять инструменты заранее не нужно: их можно добавить посреди разговора, например когда пользователь подключил новую интеграцию.

Что с цифрами и аналогами

По расчёту редакции, при цене $1,50 за миллион входных токенов разговор с 200 инструментами стоит $0,246 при обычной загрузке и около $0,035 с Tool Retrieval. На 10 000 разговоров выходит примерно $2100 экономии. Выходные токены и кэш в расчёте не учтены. Кэшированный вход стоит $0,075 за миллион, то есть в 20 раз дешевле обычного.

Аналоги заявляют другое. Anthropic для своего Tool search tool называла сокращение расхода токенов на 85%. OpenAI говорила о 47% при той же точности на бенчмарке MCP Atlas. Условия замеров у компаний разные, поэтому сравнивать эти проценты напрямую нельзя.

Интерфейс Gemini почти повторяет OpenAI: тот же тип инструмента. По оценке редакции, это упростит перенос агентов между платформами. Anthropic выпустила своё решение почти за год до Google, а OpenAI добавила tool search в Responses API вместе с GPT-5.4. У Anthropic модель сначала видит только сам инструмент поиска, ищет по регулярному выражению или BM25 и по умолчанию получает до 5 результатов. В одном запросе у неё может быть до 10 000 инструментов. У Gemini модель сразу видит весь каталог имён и описаний. Для 1000 инструментов это около 26 000 токенов в каждом запросе (оценка редакции).

Когда это невыгодно

Отдельной платы за функцию нет, токены оплачиваются по обычным тарифам. Но каждый поиск на сервере означает ещё один проход модели со всем контекстом. Это почти повторная оплата промпта за вычетом кэшированной части.

Google показывает и обратный пример: 10 инструментов и контекст в 30 000 токенов. С отложенной загрузкой выходит 92 830 токенов вместо 68 000, на 36,5% больше. Обычную загрузку Google советует оставить для библиотек примерно до 20 стабильных инструментов. Anthropic рекомендует включать поиск уже от 10.

Ограничения превью:

  • в классическом методе generateContent Tool Retrieval не работает;
  • интерфейс может измениться до общего релиза;
  • подгруженную схему нельзя выгрузить до конца разговора.

Google не приводит замеров точности выбора инструментов, хотя называет её падение одной из причин запуска. У Anthropic такие данные есть: по внутренним замерам, точность Claude Opus 4.5 на задачах с MCP выросла с 79,5% до 88,1%. Это внутренние цифры компании, а не независимая проверка.

Практический вывод простой. Если у агента десятки инструментов и несколько MCP-серверов, из которых за разговор нужна малая часть, стоит проверить отложенную загрузку на своих логах: посчитать токены до и после и сравнить точность выбора функций. Если набор маленький и стабильный, обычная загрузка с кэшем, скорее всего, дешевле и проще.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это работает?

Разработчик помечает редко нужные функции специальным флагом отложенной загрузки. Модель по-прежнему видит имя и краткое описание каждой такой функции. По первым замерам Google, это около 26 токенов на инструмент. А схему параметров, самую тяжёлую часть, она не получает. Когда функция понадобилась, модель запрашивает её по имени. API подгружает схему, и модель делает вызов, причём всё происходит внутри одного запроса.

Что известно по теме: что с цифрами и аналогами?

По расчёту редакции, при цене $1,50 за миллион входных токенов разговор с 200 инструментами стоит $0,246 при обычной загрузке и около $0,035 с Tool Retrieval. На 10 000 разговоров выходит примерно $2100 экономии. Выходные токены и кэш в расчёте не учтены. Кэшированный вход стоит $0,075 за миллион, то есть в 20 раз дешевле обычного. Аналоги заявляют другое. Anthropic для своего Tool search tool называла сокращение расхода токенов на 85%. OpenAI говорила о 47% при той же точности на бенчмарке MCP Atlas.

Что известно по теме: когда это невыгодно?

Отдельной платы за функцию нет, токены оплачиваются по обычным тарифам. Но каждый поиск на сервере означает ещё один проход модели со всем контекстом. Это почти повторная оплата промпта за вычетом кэшированной части. Google показывает и обратный пример: 10 инструментов и контекст в 30 000 токенов. С отложенной загрузкой выходит 92 830 токенов вместо 68 000, на 36,5% больше. Обычную загрузку Google советует оставить для библиотек примерно до 20 стабильных инструментов.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…