Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLangChain Blog→ original

LangChain levou o agente de programação do 30º lugar para o top 5 no Terminal Bench sem trocar o modelo

A LangChain levou o agente de programação Deep Agents de fora do top 30 para o top 5 do Terminal Bench 2.0 sem trocar o modelo: a equipe reformulou apenas o harness, a camada de orquestração em torno do modelo. Os 52,8% iniciais com o GPT-5.2-Codex subiram com três ajustes: verificação da solução com testes, dicas sobre o ambiente e os limites de tempo, e proteção contra loops. Se o agente erra, a recomendação é analisar primeiro os traces e ajustar o harness, e só depois trocar o modelo.

Processado por IA de LangChain Blog; editado por Hamidun News
LangChain levou o agente de programação do 30º lugar para o top 5 no Terminal Bench sem trocar o modelo
Fonte: LangChain Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLangChain Blog ↗
Editor-chefe
Dado-chave #1Antes de encerrar, um middleware obriga o agente a conferir a solução com a especificação da tarefa
Dado-chave #2Depois de várias edições no mesmo arquivo, o agente recebe a sugestão de rever a abordagem
Dado-chave #3O raciocínio fica concentrado em planejamento e verificação, com menos esforço na implementação

Quando um agente de programação tem mau desempenho, a primeira reação é buscar um modelo mais potente. A equipe da LangChain testou outro caminho: manteve o modelo e refez tudo o que o cerca. O agente Deep Agents subiu, no Terminal Bench 2.0, de uma posição logo abaixo do top 30 para o top 5 do ranking. Foi alterado apenas o harness, isto é, a camada de orquestração: o prompt do sistema, as ferramentas e os hooks intermediários em torno das chamadas ao modelo e às ferramentas.

Como encontraram os pontos fracos

O Terminal Bench 2.0 é um conjunto padrão para avaliar agentes programadores, com 89 tarefas de aprendizado de máquina, depuração, biologia e outras áreas. A versão base do agente com o GPT-5.2-Codex marcou 52,8%. É um resultado razoável, mas abaixo do top 30.

Em seguida, a LangChain montou um ciclo reproduzível. Todas as ações do agente são registradas nos traces do LangSmith, junto com latências, número de tokens e custo. A análise dos traces foi empacotada como uma Agent Skill: ela baixa os traces da execução, dispara agentes paralelos que fazem o diagnóstico dos erros e, por fim, o agente principal reúne essas conclusões em propostas de mudança. Uma pessoa pode revisar e discutir as alterações, mas isso é opcional. Há também uma advertência: correções ajustadas para uma tarefa específica podem quebrar outras, então a generalização deve ser feita com cuidado. A equipe promete publicar a skill.

O que melhorou o resultado

Autoverificação. O erro mais comum era este: o agente escreve a solução, relê o próprio código, conclui que está tudo certo e para. O prompt ganhou uma ordem de trabalho: estudar a tarefa e o código, fazer um plano que inclua a verificação, escrever testes (incluindo casos extremos, não apenas o cenário feliz), executá-los, ler a saída por completo e compará-la com o que a tarefa pede, e não com o próprio código. Além disso, foi criado o PreCompletionChecklistMiddleware, que intercepta o agente antes de ele encerrar e o obriga a conferir o resultado mais uma vez com a especificação.

Contexto sobre o ambiente. O agente não conhece de antemão a estrutura de diretórios, as ferramentas instaladas nem os timeouts rígidos. Por isso, ao iniciar, ele recebe um mapa dos diretórios e a lista das ferramentas disponíveis. Assim, erra menos nas buscas. O agente também é informado de que a solução será verificada por testes automatizados, e os caminhos de arquivo indicados na tarefa devem ser respeitados literalmente. Foram acrescentados avisos sobre o limite de tempo, porque os agentes avaliam mal a duração e não chegam a executar a verificação.

Saída de loops. Depois de escolher um plano, o agente às vezes faz, dez ou mais vezes, pequenas variações numa abordagem que já sabe não funcionar. O middleware conta as edições em cada arquivo e, após um certo número, adiciona uma sugestão para rever a estratégia. Isso nem sempre resolve: se o modelo estiver convicto de que está certo, pode continuar pelo mesmo caminho.

Orçamento de raciocínio. O orçamento máximo de raciocínio em cada etapa consome tempo e esbarra nos timeouts. A LangChain adotou um esquema em "sanduíche": xhigh no planejamento, high na implementação e, novamente, xhigh na verificação final. Nos testes preliminares, não houve diferença notável entre as diferentes distribuições, então a equipe manteve esse esquema. Numa combinação de vários modelos, a mesma lógica permite delegar o planejamento a um modelo grande e a implementação a um modelo pequeno.

O que levar daqui

Primeiro, os traces são uma fonte de feedback. Muitas vezes o modelo segue um caminho errado porque lhe falta uma ferramenta ou uma instrução adequada, e é preciso analisar prompts e ferramentas em conjunto.

Segundo, as salvaguardas, como o detector de loops e os lembretes para testar, são uma medida temporária, voltada às fraquezas atuais dos modelos. Os próprios autores escrevem que, com a evolução dos modelos, esses recursos provavelmente deixarão de ser necessários.

Terceiro, o harness precisa ser ajustado para cada modelo. Um teste com o Claude Opus 4.6 na versão inicial do harness ficou competitivo, mas abaixo do Codex; o ciclo de melhorias não foi executado para o Claude. Os princípios gerais (preparação do contexto, ênfase na verificação) se transferem, mas algumas iterações voltadas ao seu modelo e à sua tarefa continuam compensando.

Há também limitações. O resultado vem de um único benchmark com timeouts rígidos, e no trabalho real esses limites normalmente não existem. Por isso, as dicas sobre tempo e parte das heurísticas precisarão ser adaptadas. A seguir, a LangChain pretende investigar combinações de vários modelos (Codex, Gemini, Claude), memória para aprendizado contínuo dos agentes e formas de medir o efeito das mudanças no harness em diferentes modelos. O Deep Agents é um projeto de código aberto.

História

Perguntas frequentes sobre a notícia

Como encontraram os pontos fracos?

O Terminal Bench 2.0 é um conjunto padrão para avaliar agentes programadores, com 89 tarefas de aprendizado de máquina, depuração, biologia e outras áreas. A versão base do agente com o GPT-5.2-Codex marcou 52,8%. É um resultado razoável, mas abaixo do top 30. Em seguida, a LangChain montou um ciclo reproduzível. Todas as ações do agente são registradas nos traces do LangSmith, junto com latências, número de tokens e custo.

O que melhorou o resultado?

Autoverificação. O erro mais comum era este: o agente escreve a solução, relê o próprio código, conclui que está tudo certo e para. O prompt ganhou uma ordem de trabalho: estudar a tarefa e o código, fazer um plano que inclua a verificação, escrever testes (incluindo casos extremos, não apenas o cenário feliz), executá-los, ler a saída por completo e compará-la com o que a tarefa pede, e não com o próprio código.

O que levar daqui?

Primeiro, os traces são uma fonte de feedback. Muitas vezes o modelo segue um caminho errado porque lhe falta uma ferramenta ou uma instrução adequada, e é preciso analisar prompts e ferramentas em conjunto. Segundo, as salvaguardas, como o detector de loops e os lembretes para testar, são uma medida temporária, voltada às fraquezas atuais dos modelos. Os próprios autores escrevem que, com a evolução dos modelos, esses recursos provavelmente deixarão de ser necessários.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…