LangChain levou o agente de programação do 30º lugar para o top 5 no Terminal Bench sem trocar o modelo
A LangChain levou o agente de programação Deep Agents de fora do top 30 para o top 5 do Terminal Bench 2.0 sem trocar o modelo: a equipe reformulou apenas o harness, a camada de orquestração em torno do modelo. Os 52,8% iniciais com o GPT-5.2-Codex subiram com três ajustes: verificação da solução com testes, dicas sobre o ambiente e os limites de tempo, e proteção contra loops. Se o agente erra, a recomendação é analisar primeiro os traces e ajustar o harness, e só depois trocar o modelo.
Processado por IA de LangChain Blog; editado por Hamidun News
Quando um agente de programação tem mau desempenho, a primeira reação é buscar um modelo mais potente. A equipe da LangChain testou outro caminho: manteve o modelo e refez tudo o que o cerca. O agente Deep Agents subiu, no Terminal Bench 2.0, de uma posição logo abaixo do top 30 para o top 5 do ranking. Foi alterado apenas o harness, isto é, a camada de orquestração: o prompt do sistema, as ferramentas e os hooks intermediários em torno das chamadas ao modelo e às ferramentas.
Como encontraram os pontos fracos
O Terminal Bench 2.0 é um conjunto padrão para avaliar agentes programadores, com 89 tarefas de aprendizado de máquina, depuração, biologia e outras áreas. A versão base do agente com o GPT-5.2-Codex marcou 52,8%. É um resultado razoável, mas abaixo do top 30.
Em seguida, a LangChain montou um ciclo reproduzível. Todas as ações do agente são registradas nos traces do LangSmith, junto com latências, número de tokens e custo. A análise dos traces foi empacotada como uma Agent Skill: ela baixa os traces da execução, dispara agentes paralelos que fazem o diagnóstico dos erros e, por fim, o agente principal reúne essas conclusões em propostas de mudança. Uma pessoa pode revisar e discutir as alterações, mas isso é opcional. Há também uma advertência: correções ajustadas para uma tarefa específica podem quebrar outras, então a generalização deve ser feita com cuidado. A equipe promete publicar a skill.
O que melhorou o resultado
Autoverificação. O erro mais comum era este: o agente escreve a solução, relê o próprio código, conclui que está tudo certo e para. O prompt ganhou uma ordem de trabalho: estudar a tarefa e o código, fazer um plano que inclua a verificação, escrever testes (incluindo casos extremos, não apenas o cenário feliz), executá-los, ler a saída por completo e compará-la com o que a tarefa pede, e não com o próprio código. Além disso, foi criado o PreCompletionChecklistMiddleware, que intercepta o agente antes de ele encerrar e o obriga a conferir o resultado mais uma vez com a especificação.
Contexto sobre o ambiente. O agente não conhece de antemão a estrutura de diretórios, as ferramentas instaladas nem os timeouts rígidos. Por isso, ao iniciar, ele recebe um mapa dos diretórios e a lista das ferramentas disponíveis. Assim, erra menos nas buscas. O agente também é informado de que a solução será verificada por testes automatizados, e os caminhos de arquivo indicados na tarefa devem ser respeitados literalmente. Foram acrescentados avisos sobre o limite de tempo, porque os agentes avaliam mal a duração e não chegam a executar a verificação.
Saída de loops. Depois de escolher um plano, o agente às vezes faz, dez ou mais vezes, pequenas variações numa abordagem que já sabe não funcionar. O middleware conta as edições em cada arquivo e, após um certo número, adiciona uma sugestão para rever a estratégia. Isso nem sempre resolve: se o modelo estiver convicto de que está certo, pode continuar pelo mesmo caminho.
Orçamento de raciocínio. O orçamento máximo de raciocínio em cada etapa consome tempo e esbarra nos timeouts. A LangChain adotou um esquema em "sanduíche": xhigh no planejamento, high na implementação e, novamente, xhigh na verificação final. Nos testes preliminares, não houve diferença notável entre as diferentes distribuições, então a equipe manteve esse esquema. Numa combinação de vários modelos, a mesma lógica permite delegar o planejamento a um modelo grande e a implementação a um modelo pequeno.
O que levar daqui
Primeiro, os traces são uma fonte de feedback. Muitas vezes o modelo segue um caminho errado porque lhe falta uma ferramenta ou uma instrução adequada, e é preciso analisar prompts e ferramentas em conjunto.
Segundo, as salvaguardas, como o detector de loops e os lembretes para testar, são uma medida temporária, voltada às fraquezas atuais dos modelos. Os próprios autores escrevem que, com a evolução dos modelos, esses recursos provavelmente deixarão de ser necessários.
Terceiro, o harness precisa ser ajustado para cada modelo. Um teste com o Claude Opus 4.6 na versão inicial do harness ficou competitivo, mas abaixo do Codex; o ciclo de melhorias não foi executado para o Claude. Os princípios gerais (preparação do contexto, ênfase na verificação) se transferem, mas algumas iterações voltadas ao seu modelo e à sua tarefa continuam compensando.
Há também limitações. O resultado vem de um único benchmark com timeouts rígidos, e no trabalho real esses limites normalmente não existem. Por isso, as dicas sobre tempo e parte das heurísticas precisarão ser adaptadas. A seguir, a LangChain pretende investigar combinações de vários modelos (Codex, Gemini, Claude), memória para aprendizado contínuo dos agentes e formas de medir o efeito das mudanças no harness em diferentes modelos. O Deep Agents é um projeto de código aberto.
- 27 de out. de 2026Artificial Analysis lança Intelligence Index v5: modelos abertos ficam 12 pontos atrás
- 12 de nov. de 2026Meta abre os pesos do Muse Spark Open: codificação agêntica e 1 milhão de tokens já na Modal
- 22 de mai. de 2026Cursor lança o Composer 2, modelo de programação de nível fronteira por US$ 0,50 por milhão de tokens
- 18 de nov. de 2026Google lança Gemini 4 Neon: 3º lugar em ranking de IA e tarefa 32% mais barata
Perguntas frequentes sobre a notícia
Como encontraram os pontos fracos?
O Terminal Bench 2.0 é um conjunto padrão para avaliar agentes programadores, com 89 tarefas de aprendizado de máquina, depuração, biologia e outras áreas. A versão base do agente com o GPT-5.2-Codex marcou 52,8%. É um resultado razoável, mas abaixo do top 30. Em seguida, a LangChain montou um ciclo reproduzível. Todas as ações do agente são registradas nos traces do LangSmith, junto com latências, número de tokens e custo.
O que melhorou o resultado?
Autoverificação. O erro mais comum era este: o agente escreve a solução, relê o próprio código, conclui que está tudo certo e para. O prompt ganhou uma ordem de trabalho: estudar a tarefa e o código, fazer um plano que inclua a verificação, escrever testes (incluindo casos extremos, não apenas o cenário feliz), executá-los, ler a saída por completo e compará-la com o que a tarefa pede, e não com o próprio código.
O que levar daqui?
Primeiro, os traces são uma fonte de feedback. Muitas vezes o modelo segue um caminho errado porque lhe falta uma ferramenta ou uma instrução adequada, e é preciso analisar prompts e ferramentas em conjunto. Segundo, as salvaguardas, como o detector de loops e os lembretes para testar, são uma medida temporária, voltada às fraquezas atuais dos modelos. Os próprios autores escrevem que, com a evolução dos modelos, esses recursos provavelmente deixarão de ser necessários.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.