Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoNeurohive→ original

Gemini API corta quase 7 vezes os tokens de um agente com 200 ferramentas, segundo cálculo do Google

Um agente com servidores MCP envia ao modelo as descrições de todas as ferramentas a cada requisição, mesmo quando só uma função é necessária. O Google adicionou à Gemini API o Tool Retrieval: o modelo vê o nome e uma descrição curta, e carrega o esquema de parâmetros sob demanda. Pelo cálculo do Google, uma conversa com 200 ferramentas consome 23 650 tokens de entrada em vez de 164 000, quase 7 vezes menos. Trata-se de um cálculo, não de uma medição, e para conjuntos pequenos o modo não compensa.

Processado por IA de Neurohive; editado por Hamidun News
Gemini API corta quase 7 vezes os tokens de um agente com 200 ferramentas, segundo cálculo do Google
Fonte: Neurohive. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalNeurohive ↗
Editor-chefe
Dado-chave #1Cerca de 26 tokens por ferramenta vão para o nome e a descrição da função adiada
Requisição de entrada com 200 ferramentas$0,035 em vez de $0,246, com preço de $1,50 por 1 milhão
Dado-chave #3Com 10 ferramentas e contexto de 30 000 tokens, o consumo fica 36,5% maior

Você conectou ao agente alguns servidores MCP, adicionou uma dezena de funções próprias, e a conta de tokens subiu, embora os usuários façam as mesmas perguntas. O motivo é que as descrições de todas as ferramentas, junto com os esquemas de parâmetros, seguem para o modelo a cada requisição, mesmo que a conversa precise de apenas uma função entre duzentas. O Google resolve isso na Gemini API com o Tool Retrieval: o modelo mantém a lista completa à mão e só recebe a descrição completa de uma função quando ela se torna necessária.

Pelo cálculo do Google, uma conversa com uma biblioteca de 200 ferramentas consome cerca de 23 650 tokens de entrada em vez de 164 000, ou seja, quase 7 vezes menos, ou aproximadamente 86%. Importante: é um exemplo calculado, não uma medição. Por enquanto, o recurso está disponível em modo preview na Interactions API.

Como funciona

O desenvolvedor marca as funções raramente usadas com uma flag específica de carregamento adiado. O modelo continua vendo o nome e a descrição curta de cada uma delas. Segundo as primeiras medições do Google, isso dá cerca de 26 tokens por ferramenta. Já o esquema de parâmetros, a parte mais pesada, ele não recebe.

Quando precisa de uma função, o modelo a solicita pelo nome. A API carrega o esquema e o modelo faz a chamada, tudo dentro de uma única requisição. É como uma biblioteca com catálogo: o leitor não recebe todos os livros na mesa, consulta as fichas e pede o que quer.

A mesma flag pode ser aplicada a um servidor MCP remoto inteiro, e então todas as ferramentas dele são carregadas sob demanda. Os esquemas carregados são adicionados ao longo da conversa, e não no início do prompt. O início não muda e, por isso, continua sendo lido do cache.

Há também um modo de busca no lado do aplicativo. Ele serve para empresas com registro próprio de ferramentas ou com verificação de permissões de usuários. Cada busca nesse modo adiciona uma troca extra de requisições, mas em compensação não é preciso declarar as ferramentas de antemão: dá para adicioná-las no meio da conversa, por exemplo, quando o usuário conecta uma nova integração.

E os números e os concorrentes

Pelo cálculo da redação, com preço de $1,50 por milhão de tokens de entrada, uma conversa com 200 ferramentas custa $0,246 com carregamento comum e cerca de $0,035 com o Tool Retrieval. Em 10 000 conversas, a economia chega a cerca de $2100. Os tokens de saída e o cache não entram na conta. A entrada em cache custa $0,075 por milhão, ou seja, é 20 vezes mais barata que a comum.

Os concorrentes divulgam números diferentes. A Anthropic citou, para o seu Tool search tool, uma redução de 85% no consumo de tokens. A OpenAI falou em 47%, com a mesma precisão no benchmark MCP Atlas. As condições de medição variam entre as empresas, então não é possível comparar esses percentuais diretamente.

A interface do Gemini é quase igual à da OpenAI: o mesmo tipo de ferramenta. Na avaliação da redação, isso facilita a migração de agentes entre plataformas. A Anthropic lançou sua solução quase um ano antes do Google, e a OpenAI adicionou o tool search à Responses API junto com o GPT-5.4. Na Anthropic, o modelo vê inicialmente só a própria ferramenta de busca, pesquisa por expressão regular ou BM25 e, por padrão, recebe até 5 resultados. Uma única requisição pode ter até 10 000 ferramentas. No Gemini, o modelo vê de imediato todo o catálogo de nomes e descrições. Para 1000 ferramentas, isso dá cerca de 26 000 tokens em cada requisição (estimativa da redação).

Quando não compensa

Não há cobrança separada pelo recurso: os tokens são pagos pelas tarifas normais. Mas cada busca no servidor significa mais uma passagem do modelo por todo o contexto. É quase um novo pagamento do prompt, descontada a parte em cache.

O Google também mostra um exemplo em sentido contrário: 10 ferramentas e contexto de 30 000 tokens. Com o carregamento adiado, o consumo sobe para 92 830 tokens em vez de 68 000, ou seja, 36,5% a mais. Para o carregamento comum, o Google recomenda manter bibliotecas de até cerca de 20 ferramentas estáveis. A Anthropic recomenda ativar a busca já a partir de 10.

Limitações do preview:

  • no método clássico generateContent, o Tool Retrieval não funciona;
  • a interface pode mudar antes do lançamento geral;
  • o esquema carregado não pode ser descarregado até o fim da conversa.

O Google não apresenta medições da precisão na escolha de ferramentas, embora cite a queda dessa precisão como um dos motivos do lançamento. A Anthropic tem esses dados: segundo medições internas, a precisão do Claude Opus 4.5 em tarefas com MCP subiu de 79,5% para 88,1%. São números internos da empresa, não uma verificação independente.

A conclusão prática é simples. Se o agente tem dezenas de ferramentas e vários servidores MCP, dos quais uma conversa usa só uma pequena parte, vale testar o carregamento adiado nos seus próprios logs: contar os tokens antes e depois e comparar a precisão na escolha das funções. Se o conjunto é pequeno e estável, o carregamento comum com cache provavelmente sai mais barato e mais simples.

História

Perguntas frequentes sobre a notícia

Como funciona?

O desenvolvedor marca as funções raramente usadas com uma flag específica de carregamento adiado. O modelo continua vendo o nome e a descrição curta de cada uma delas. Segundo as primeiras medições do Google, isso dá cerca de 26 tokens por ferramenta. Já o esquema de parâmetros, a parte mais pesada, ele não recebe. Quando precisa de uma função, o modelo a solicita pelo nome. A API carrega o esquema e o modelo faz a chamada, tudo dentro de uma única requisição.

O que se sabe sobre E os números e os concorrentes?

Pelo cálculo da redação, com preço de $1,50 por milhão de tokens de entrada, uma conversa com 200 ferramentas custa $0,246 com carregamento comum e cerca de $0,035 com o Tool Retrieval. Em 10 000 conversas, a economia chega a cerca de $2100. Os tokens de saída e o cache não entram na conta. A entrada em cache custa $0,075 por milhão, ou seja, é 20 vezes mais barata que a comum. Os concorrentes divulgam números diferentes. A Anthropic citou, para o seu Tool search tool, uma redução de 85% no consumo de tokens.

Quando não compensa?

Não há cobrança separada pelo recurso: os tokens são pagos pelas tarifas normais. Mas cada busca no servidor significa mais uma passagem do modelo por todo o contexto. É quase um novo pagamento do prompt, descontada a parte em cache. O Google também mostra um exemplo em sentido contrário: 10 ferramentas e contexto de 30 000 tokens. Com o carregamento adiado, o consumo sobe para 92 830 tokens em vez de 68 000, ou seja, 36,5% a mais.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…