Yandex compara MCP e CLI+Skill para agentes de IA: 400 requisições e uma falha inesperada

A equipe de Serviços Urbanos do Yandex fez um benchmark comparando duas formas de conectar um agente de IA a APIs internas e constatou que a escolha arquitetural influencia diretamente a eficiência no uso de tokens.

O problema: tokens não são infinitos

A janela de contexto é limitada; todo mundo sabe disso. Mas poucos contam quantos tokens vão não para a tarefa em si, mas para a "burocracia": descrições de ferramentas, listas de parâmetros, resultados intermediários das chamadas. Em cenários complexos, esse custo adicional pode ocupar uma parcela significativa do contexto disponível. Aí o agente começa a errar não porque o modelo é ruim, mas simplesmente porque não sobrou espaço útil.

Daniil Mikhailov, da equipe de produtos para parceiros do Yandex, colocou a questão sem rodeios: como fazer mais gastando menos tokens ao trabalhar com APIs internas reais?

MCP contra CLI + Skill

A equipe comparou duas formas de integrar um agente a ferramentas.

MCP (Model Context Protocol) é um protocolo estruturado: o agente recebe a descrição de cada ferramenta em formato explícito, e as chamadas passam por uma camada padronizada. A vantagem é a universalidade e um esquema previsível. A desvantagem é que cada descrição de ferramenta ocupa seu espaço integral no contexto.

CLI + Skill é uma abordagem alternativa: o agente recorre à linha de comando, e o conhecimento sobre as ferramentas fica embutido em uma "skill" compacta, um prompt de instruções escrito previamente. A descrição é mais compacta, mas precisa ser mantida manualmente.

Para testar uma hipótese tirada de pesquisas externas, foi montado um benchmark:

• 14 cenários reais de trabalho com ferramentas internas do Yandex
• 2 modelos de linguagem
• Mais de 400 requisições
• Medições de precisão e de gasto de tokens em cada cenário

O momento em que tudo quebrou

O mais valioso aconteceu não no fim, mas no meio do experimento: algo que funcionava de forma estável parou de repente. Segundo Mikhailov, essa falha foi mais interessante do que os números finais e obrigou a equipe a investigar as causas.

"Em algum momento tudo o que funcionava quebrou, e isso acabou sendo o mais interessante.

Tivemos que descobrir por quê."

Essas anomalias em benchmarks costumam expor dependências ocultas: como o modelo interpreta o formato do esquema, como as ferramentas se comportam em chamadas repetidas, quão estável é a saída com diferentes formulações da tarefa. Sem esse momento de estresse, os resultados poderiam ter sido ingenuamente otimistas.

O resultado: uma árvore de decisão

Ao fim da série de experimentos, a equipe montou uma árvore de decisão prática: quando MCP compensa e quando CLI + Skill compensa. Não é uma recomendação abstrata, mas uma conclusão baseada em dados reais: mais de 400 requisições em infraestrutura real.

O que isso significa

Escolher como conectar um agente a uma API não é capricho técnico. Isso afeta quantos tokens são desperdiçados, por quanto tempo o contexto dura e quão estável o agente se comporta em cenários fora do padrão. Para equipes que constroem agentes de produto sobre sistemas internos, o estudo oferece uma ferramenta concreta para escolher a arquitetura, baseada em medições reais e não em argumentos de marketing.