Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуGoogle AI Blog→ оригинал

Gemini API научился подгружать схемы инструментов по запросу, а не в каждом промпте

Когда у агента сотни инструментов, схемы параметров каждого приходится слать в каждом запросе: растут токены и задержка, а выбор нужного инструмента путается. Google добавила в Gemini Interactions API режим Tool Retrieval: модель видит лишь имя и описание функции, а полную схему подгружает, когда та нужна. Для больших библиотек это способ срезать входные токены без отдельной платы, но выгоду стоит проверить на своём трафике.

AI-обработка оригинала Google AI Blog; редакция Hamidun News
Gemini API научился подгружать схемы инструментов по запросу, а не в каждом промпте
Источник: Google AI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникGoogle AI Blog ↗
Главный редактор
Включениеtool_search в запросе и defer_loading: true у инструментов
Ключевой факт #2Работает с Gemini 3.6 и новее, включая все модели Gemini 4
Отдельной платы нетплатите за токены плюс небольшой фиксированный блок

Первые пять инструментов агент переваривает без проблем. На пятидесяти начинаются сложности: у каждой функции есть JSON-схема параметров, и всё это добро улетает в модель при каждом запросе. Счёт за входные токены растёт, ответ приходит медленнее, а модель чаще выбирает не ту функцию, потому что кандидатов слишком много. Google попробовала это исправить и запустила в превью Tool Retrieval в Gemini Interactions API.

Как это устроено

Идея похожа на оглавление в книге. Модель всегда видит название и короткое описание каждого инструмента, поэтому знает, что вообще есть в наличии. А вот тяжёлая часть, то есть схема параметров, в контекст не попадает, пока не понадобится.

Чтобы включить режим, нужно добавить в запрос инструмент tool_search и поставить defer_loading: true у тех функций, которые стоит придержать. Дальше всё происходит внутри одного вызова API. Допустим, пользователь пишет: «Заказ A-1042 пришёл повреждённым, верни 40 долларов». Модель просит инструмент issue_refund по имени, API подставляет его полную схему, и модель формирует вызов функции с номером заказа и суммой. Все три шага видны в interaction.steps: поиск, результат поиска и сам function_call. Это удобно при отладке: сразу понятно, какие инструменты модель рассматривала и не подвели ли названия с описаниями.

Дальше всё как в обычном function calling. Ваш код выполняет возврат и отправляет назад function_result.

Строить и хостить индекс не нужно, поиск работает на стороне Gemini. Часто используемые инструменты можно оставить загруженными сразу, а откладывать только «длинный хвост».

Кэш, MCP и свой реестр

Есть три практичные детали. Первая касается префиксного кэша. Отложенные схемы не лежат в начале промпта, а выбранные добавляются позже по ходу диалога. Поэтому закэшированное начало не меняется от хода к ходу, и выгода от кэша не пропадает.

Вторая деталь про MCP. Если поставить defer_loading: true на инструмент типа mcp_server, все функции этого удалённого сервера будут подгружаться по требованию. Большой MCP-сервер можно подключать, не перечисляя его инструменты вручную.

Третья деталь для тех, у кого уже есть собственный реестр инструментов, векторный индекс или фильтр прав по пользователям. Для них есть клиентский режим: tool_search объявляется с "execution": "client", а поиск выполняет ваше приложение и возвращает подходящие схемы в function_result. Цена такого подхода: на каждый поиск добавляется один сетевой круг. Зато инструменты не надо объявлять заранее. Когда пользователь на ходу подключает новую интеграцию, её функции можно показать модели прямо посреди разговора.

Цена, ограничения и что делать

Отдельной платы за Tool Retrieval нет. Входные и выходные токены считаются по обычному тарифу выбранной модели. Но бесплатного обеда тут нет, и Google говорит об этом прямо. Сам tool_search добавляет небольшой фиксированный блок входных токенов. Каждая загруженная схема оплачивается как входные токены до конца разговора, так же как инструмент, объявленный заранее. Экономия получается, когда схем, которые модель так и не загрузила, больше, чем тех, что загрузила. По словам Google, для больших библиотек это обычная ситуация, но конкретных цифр экономии в анонсе нет. Компания советует замерять эффект на собственном трафике.

Ещё несколько ограничений. Функция пока в превью, то есть интерфейс может измениться. Работает она только в Interactions API и только с моделями Gemini 3.6 и новее, включая все модели Gemini 4. Если у вас горстка инструментов, выгода будет копеечной, а лишний шаг поиска может добавить задержку. Кроме того, модель выбирает инструмент по имени и описанию, поэтому слабые или похожие описания будут ошибочно подтягивать не те функции.

Что делать на практике? Если вы собираете агента с десятками функций или подключаете крупные MCP-серверы, стоит провести небольшой эксперимент. Оставьте горячие инструменты загруженными сразу, остальные отложите и сравните токены, задержку и долю правильно выбранных функций на реальных диалогах. Заодно пересмотрите описания: теперь именно они решают, найдёт ли модель нужный инструмент.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это устроено?

Идея похожа на оглавление в книге. Модель всегда видит название и короткое описание каждого инструмента, поэтому знает, что вообще есть в наличии. А вот тяжёлая часть, то есть схема параметров, в контекст не попадает, пока не понадобится. Чтобы включить режим, нужно добавить в запрос инструмент tool_search и поставить defer_loading: true у тех функций, которые стоит придержать. Дальше всё происходит внутри одного вызова API. Допустим, пользователь пишет: «Заказ A-1042 пришёл повреждённым, верни 40 долларов».

Что известно по теме: кэш, MCP и свой реестр?

Есть три практичные детали. Первая касается префиксного кэша. Отложенные схемы не лежат в начале промпта, а выбранные добавляются позже по ходу диалога. Поэтому закэшированное начало не меняется от хода к ходу, и выгода от кэша не пропадает. Вторая деталь про MCP. Если поставить defer_loading: true на инструмент типа mcp_server, все функции этого удалённого сервера будут подгружаться по требованию. Большой MCP-сервер можно подключать, не перечисляя его инструменты вручную.

Что известно по теме: цена, ограничения и что делать?

Отдельной платы за Tool Retrieval нет. Входные и выходные токены считаются по обычному тарифу выбранной модели. Но бесплатного обеда тут нет, и Google говорит об этом прямо. Сам tool_search добавляет небольшой фиксированный блок входных токенов. Каждая загруженная схема оплачивается как входные токены до конца разговора, так же как инструмент, объявленный заранее. Экономия получается, когда схем, которые модель так и не загрузила, больше, чем тех, что загрузила.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…