Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarGoogle AI Blog→ original

Gemini API aprende a cargar los esquemas de herramientas bajo demanda, en lugar de enviarlos en cada prompt

Cuando un agente maneja cientos de herramientas, hay que enviar en cada solicitud los esquemas de parámetros de todas ellas. Eso eleva los tokens y la latencia, y además confunde al modelo a la hora de elegir la herramienta correcta. Google ha añadido a Gemini Interactions API el modo Tool Retrieval: el modelo ve solo el nombre y la descripción de cada función, y carga el esquema completo cuando lo necesita. Para las bibliotecas grandes es una vía para recortar tokens de entrada sin cargo aparte, aunque conviene comprobar el beneficio con el tráfico propio.

Procesado por IA desde Google AI Blog; editado por Hamidun News
Gemini API aprende a cargar los esquemas de herramientas bajo demanda, en lugar de enviarlos en cada prompt
Fuente: Google AI Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalGoogle AI Blog ↗
Editor jefe
Activacióntool_search en la solicitud y defer_loading: true en las herramientas
Dato clave #2Funciona con Gemini 3.6 y posteriores, incluidos todos los modelos de Gemini 4
Sin cargo apartese pagan los tokens más un pequeño bloque fijo

Con las cinco primeras herramientas, un agente no tiene problemas. Con cincuenta empiezan las complicaciones: cada función tiene un esquema JSON de parámetros, y todo ese paquete viaja al modelo en cada solicitud. La factura de tokens de entrada crece, la respuesta llega más lenta y el modelo se equivoca más al elegir la función, porque hay demasiados candidatos. Google ha intentado corregirlo y ha lanzado en preview Tool Retrieval en Gemini Interactions API.

Cómo funciona

La idea se parece al índice de un libro. El modelo siempre ve el nombre y una descripción breve de cada herramienta, así que sabe qué hay disponible. La parte pesada, el esquema de parámetros, no entra en el contexto hasta que hace falta.

Para activar el modo hay que añadir a la solicitud la herramienta tool_search y poner defer_loading: true en las funciones que se quieran dejar en espera. Después todo ocurre dentro de una sola llamada a la API. Supongamos que el usuario escribe: «El pedido A-1042 llegó dañado, reembolsa 40 dólares».

El modelo solicita la herramienta issue_refund por su nombre, la API inserta su esquema completo y el modelo genera la llamada a la función con el número de pedido y el importe. Los tres pasos son visibles en interaction.steps: la búsqueda, el resultado de la búsqueda y el propio function_call.

Es útil para depurar: se ve de inmediato qué herramientas consideró el modelo y si los nombres y las descripciones fallaron.

A partir de ahí, todo es como en el function calling habitual. Su código ejecuta el reembolso y devuelve un function_result.

No hace falta construir ni alojar un índice: la búsqueda funciona en el lado de Gemini. Las herramientas de uso frecuente pueden dejarse cargadas desde el principio, y conviene diferir solo la «cola larga».

Caché, MCP y registro propio

Hay tres detalles prácticos. El primero tiene que ver con la caché de prefijos. Los esquemas diferidos no están al principio del prompt, y los que se seleccionan se añaden más tarde, a medida que avanza la conversación. Por eso el inicio cacheado no cambia de un turno a otro y el beneficio de la caché no se pierde.

El segundo detalle se refiere a MCP. Si se pone defer_loading: true en una herramienta de tipo mcp_server, todas las funciones de ese servidor remoto se cargarán bajo demanda. Se puede conectar un servidor MCP grande sin enumerar manualmente sus herramientas.

El tercero es para quienes ya tienen un registro propio de herramientas, un índice vectorial o un filtro de permisos por usuario. Para ellos existe un modo de cliente: tool_search se declara con "execution": "client", y es la aplicación la que realiza la búsqueda y devuelve los esquemas adecuados en un function_result. El precio de este enfoque: cada búsqueda añade un viaje de ida y vuelta por la red. A cambio, no hace falta declarar las herramientas de antemano. Cuando el usuario conecta una integración nueva sobre la marcha, sus funciones pueden mostrarse al modelo en mitad de la conversación.

Precio, limitaciones y qué hacer

Tool Retrieval no tiene cargo aparte. Los tokens de entrada y salida se cobran según la tarifa habitual del modelo elegido. Pero no hay almuerzo gratis, y Google lo dice abiertamente. El propio tool_search añade un pequeño bloque fijo de tokens de entrada. Cada esquema cargado se paga como tokens de entrada hasta el final de la conversación, igual que una herramienta declarada de antemano. El ahorro aparece cuando hay más esquemas que el modelo nunca llegó a cargar que esquemas que sí cargó. Según Google, para las bibliotecas grandes esa es la situación habitual, pero el anuncio no incluye cifras concretas de ahorro. La compañía recomienda medir el efecto con el tráfico propio.

Hay varias limitaciones más. La función sigue en preview, es decir, la interfaz puede cambiar. Funciona solo en Interactions API y solo con modelos Gemini 3.6 y posteriores, incluidos todos los modelos de Gemini 4. Si se manejan unas pocas herramientas, el beneficio será mínimo y el paso adicional de búsqueda puede añadir latencia. Además, el modelo elige la herramienta por su nombre y su descripción, de modo que las descripciones débiles o parecidas harán que se carguen funciones equivocadas.

¿Qué hacer en la práctica? Si está construyendo un agente con decenas de funciones o conectando servidores MCP grandes, merece la pena hacer un pequeño experimento. Deje cargadas desde el principio las herramientas más usadas, difiera el resto y compare tokens, latencia y proporción de funciones bien elegidas en conversaciones reales. De paso, revise las descripciones: ahora son ellas las que deciden si el modelo encuentra la herramienta que necesita.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona?

La idea se parece al índice de un libro. El modelo siempre ve el nombre y una descripción breve de cada herramienta, así que sabe qué hay disponible. La parte pesada, el esquema de parámetros, no entra en el contexto hasta que hace falta. Para activar el modo hay que añadir a la solicitud la herramienta tool_search y poner defer_loading: true en las funciones que se quieran dejar en espera. Después todo ocurre dentro de una sola llamada a la API.

¿Qué se sabe sobre Caché, MCP y registro propio?

Hay tres detalles prácticos. El primero tiene que ver con la caché de prefijos. Los esquemas diferidos no están al principio del prompt, y los que se seleccionan se añaden más tarde, a medida que avanza la conversación. Por eso el inicio cacheado no cambia de un turno a otro y el beneficio de la caché no se pierde. El segundo detalle se refiere a MCP. Si se pone defer_loading: true en una herramienta de tipo mcp_server, todas las funciones de ese servidor remoto se cargarán bajo demanda.

¿Qué se sabe sobre Precio, limitaciones y qué hacer?

Tool Retrieval no tiene cargo aparte. Los tokens de entrada y salida se cobran según la tarifa habitual del modelo elegido. Pero no hay almuerzo gratis, y Google lo dice abiertamente. El propio tool_search añade un pequeño bloque fijo de tokens de entrada. Cada esquema cargado se paga como tokens de entrada hasta el final de la conversación, igual que una herramienta declarada de antemano. El ahorro aparece cuando hay más esquemas que el modelo nunca llegó a cargar que esquemas que sí cargó.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…