Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarMicrosoft Research→ original

Plugin TokenEconomizer reduz em 18,4–30,9% o custo de agentes de IA para código sem trocar de modelo

Um agente de código pode trabalhar semanas no mesmo repositório, mas começa cada sessão do zero: procura de novo como rodar os testes e carrega ferramentas de que não precisa. O plugin TokenEconomizer lê os logs das sessões anteriores e repassa ao agente o que foi aprendido. Em 277 correções de bugs do SWE-Bench, o custo por tarefa caiu entre 18,4% e 30,9%. Para equipes que atuam sempre nos mesmos repositórios, é uma economia sem precisar trocar de agente.

Processado por IA de Microsoft Research; editado por Hamidun News
Plugin TokenEconomizer reduz em 18,4–30,9% o custo de agentes de IA para código sem trocar de modelo
Fonte: Microsoft Research. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMicrosoft Research ↗
Editor-chefe
Dado-chave #1De 23 descrições de ferramentas enviadas a cada turno, o agente não chamou 16
Dado-chave #2Os 17% de tarefas que fracassaram consumiram 32% dos gastos; o plugin detecta o travamento em loop
Dado-chave #3Na sexta tarefa, o gasto acumulado em cada repositório já é menor do que sem o plugin

Se você usa o Claude Code ou outro agente de código no mesmo repositório o tempo todo, provavelmente já notou: cada nova sessão começa como se o agente visse o projeto pela primeira vez. Ele descobre de novo como rodar os testes, lê de novo os mesmos arquivos e tropeça de novo nos mesmos erros. Cada uma dessas voltas é paga em tokens, ou seja, em dinheiro.

Pesquisadores da UC Berkeley, da Microsoft Research e da Microsoft Security lançaram o TokenEconomizer, um plugin aberto que analisa as sessões concluídas e passa ao agente, nas seguintes, o que foi aprendido. Em 277 correções de bugs reais, o custo médio por tarefa caiu entre 18,4% e 30,9%, ou seja, algo entre um quinto e um terço da conta de tokens. O agente e o modelo continuam os mesmos, e a taxa de tarefas resolvidas, no geral, não caiu.

Se a sua equipe trabalha há anos em alguns poucos repositórios, parte da conta vai para coisas que o agente já sabia ontem.

Para onde vão os tokens

Primeiro, os autores investigaram em que o orçamento é gasto. Eles rodaram o Claude Code em 60 tarefas do SWE-Bench (um conjunto de correções de bugs reais em projetos Python de código aberto), executando em sequência as tarefas de cada repositório. Apareceram três fontes de desperdício.

Primeira: o agente redescobre o que já sabe. Quando o repositório tinha pelo menos cinco tarefas concluídas, 30% das chamadas de ferramentas repetiam uma ação de uma tarefa anterior no mesmo repositório. Com o histórico de outro repositório, a coincidência era de apenas 7%. Ou seja, a experiência é útil sobretudo no nível local, não em geral.

Segunda: pagar por ferramentas que não são usadas. A cada turno, o agente recebia 23 descrições de ferramentas, mas apenas 7 eram chamadas. As outras 16 apenas inflavam a requisição.

Terceira: o travamento. Os 17% de tarefas que fracassaram consumiram 32% dos gastos: o agente fica girando em torno do mesmo erro, e os tokens continuam sendo gastos.

Os autores também testaram três plugins abertos populares de economia, cada um com uma estratégia fixa embutida. Cada um reduziu custos em alguns casos e em outros não. A conclusão: não existe uma receita única, e a economia precisa se ajustar a cada repositório.

Como funciona

Depois de cada sessão, o TokenEconomizer lê o log e atualiza o conhecimento sobre o repositório. Em seguida, entram em ação três mecanismos, todos por meio de interfaces que o agente já tem.

  • Microhabilidades. Notas curtas de uma linha, do tipo "os testes aqui rodam assim". A nota só entra no contexto inicial depois que várias sessões confirmam o padrão. Se surgirem dados contraditórios mais tarde, a nota é removida.
  • Poda de ferramentas. O plugin retira as ferramentas que, pelo histórico do repositório, o agente provavelmente não vai precisar. As básicas (execução de comandos e edição de arquivos) permanecem sempre, e as removidas podem ser restauradas.
  • Intervenção em caso de loop. Um modelo juiz separado decide se o agente realmente travou ou se ainda está progredindo. Se travou, ele recebe uma dica curta para tentar outra abordagem. Se nada mudar mesmo depois disso, na versão aberta o plugin não interrompe o trabalho por conta própria; ele avisa o desenvolvedor.

O plugin não exige uma chave de API própria e guarda o que aprendeu na máquina do desenvolvedor. A economia divulgada já inclui o custo das próprias chamadas dele ao modelo.

O que mostraram as medições

O teste usou 277 tarefas do SWE-Bench de seis repositórios, com cinco combinações de agente e modelo. Em cada repositório, o plugin começou sem histórico. O custo médio por tarefa caiu entre 18,4% e 30,9%, e o Pass@1 (a fração de tarefas resolvidas na primeira tentativa) subiu em quatro das cinco combinações. Entre as abordagens sem perda de qualidade, o plugin foi o que mais economizou em todos os 30 pares "repositório — combinação". Para comparação: simplesmente reduzir a profundidade de raciocínio do modelo economizava o mesmo ou mais, mas piorava o resultado de forma notável.

A economia se acumula aos poucos. As primeiras tarefas podem até custar mais enquanto o plugin aprende, mas, na sexta tarefa, o gasto acumulado já fica abaixo do da linha de base em todos os repositórios. Cada um dos três mecanismos traz ganho isoladamente, e juntos eles dão o resultado máximo.

O efeito se manteve fora das correções de bugs. No Web-Bench, que envolve desenvolvimento web sequencial, os custos caíram entre 16,0% e 21,2%. Em auditoria de segurança, onde cada tarefa roda em um repositório novo e não há experiência acumulada, ainda assim saiu de 6,4% a 19,6% mais barato.

O que fazer com isso

O plugin é instalado ao lado do agente que você já usa, então testá-lo custa pouco. Há ressalvas, porém. Trata-se de um projeto de pesquisa, e os principais números vêm de benchmarks com correções de bugs em Python, que diferem de bases de código de produção. O ganho aparece não na primeira tarefa, mas depois que o histórico se acumula, então para experimentos pontuais ele deve trazer pouco. Antes de adotar o plugin na equipe, vale medir os gastos no seu próprio repositório, antes e depois.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Para onde vão os tokens?

Primeiro, os autores investigaram em que o orçamento é gasto. Eles rodaram o Claude Code em 60 tarefas do SWE-Bench (um conjunto de correções de bugs reais em projetos Python de código aberto), executando em sequência as tarefas de cada repositório. Apareceram três fontes de desperdício. Primeira: o agente redescobre o que já sabe. Quando o repositório tinha pelo menos cinco tarefas concluídas, 30% das chamadas de ferramentas repetiam uma ação de uma tarefa anterior no mesmo repositório.

Como funciona?

Depois de cada sessão, o TokenEconomizer lê o log e atualiza o conhecimento sobre o repositório. Em seguida, entram em ação três mecanismos, todos por meio de interfaces que o agente já tem. Microhabilidades. Notas curtas de uma linha, do tipo "os testes aqui rodam assim". A nota só entra no contexto inicial depois que várias sessões confirmam o padrão. Se surgirem dados contraditórios mais tarde, a nota é removida. Poda de ferramentas.

O que mostraram as medições?

O teste usou 277 tarefas do SWE-Bench de seis repositórios, com cinco combinações de agente e modelo. Em cada repositório, o plugin começou sem histórico. O custo médio por tarefa caiu entre 18,4% e 30,9%, e o Pass@1 (a fração de tarefas resolvidas na primeira tentativa) subiu em quatro das cinco combinações. Entre as abordagens sem perda de qualidade, o plugin foi o que mais economizou em todos os 30 pares "repositório — combinação".

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…