O plano adicionou 11,6 p.p. de tarefas resolvidas ao modelo fraco, e o modelo forte se virou só com o terminal
O mesmo modelo roda de formas diferentes em cada assistente de IA para código: com ou sem plano, com um conjunto de ferramentas ou só com o terminal. Os pesquisadores testaram 176 configurações desse tipo. No Nemotron-3 30B, um modelo fraco, o plano adicionou 11,6 p.p. de bugs resolvidos no SWE-Bench. No modelo forte de 550B, usar só o terminal rendeu +3,6 p.p. e reduziu o custo da tarefa em 53%. Ou seja, o harness precisa ser ajustado ao modelo.
Processado por IA de Habr AI; editado por Hamidun News
Você provavelmente já notou que o mesmo modelo corrige bugs em um assistente de IA para código e tropeça numa tarefa simples em outro. Nem sempre o problema está no modelo. Ao redor dele roda uma camada de software, a «estrutura de apoio» (em inglês, harness).
Ela decide se o agente monta um plano, que ferramentas usa para mexer em arquivos e no terminal, e o que acontece quando a conversa deixa de caber na janela de contexto. Pesquisadores mediram o quanto isso pesa na prática. Para o modelo fraco Nemotron-3, de 30 bilhões de parâmetros, o plano adicionou 11,6 ponto percentual (p.
p.) de tarefas resolvidas no SWE-Bench, um conjunto de 500 bugs reais em repositórios Python. Para ilustrar: se, sem plano, ele resolvesse 30% das tarefas, com plano resolveria 41,6%.
Já para o modelo forte, de 550 bilhões de parâmetros, compensou mais trabalhar com um único terminal em vez de oito ferramentas prontas: a precisão subiu 3,6 p.p., e o custo da tarefa caiu 53%.
Como foi o teste
Normalmente, os harnesses são comparados rodando produtos prontos nas mesmas tarefas. Assim, não dá para saber o que causou a diferença. Aqui, os autores partiram de um ciclo ReAct simples (o modelo raciocina, age, observa o resultado e repete) e alteraram apenas três componentes.
O primeiro é o planejamento. O modelo tem a ferramenta update_plan: uma lista de passos em que, a cada momento, só um é o atual, e os demais já foram concluídos ou ainda virão. O modelo vê apenas a versão mais recente do plano, e os rascunhos antigos não ocupam o contexto.
O segundo é o conjunto de ações. Na versão completa, são oito ferramentas: leitura, criação e edição pontual de arquivos, listagem de pastas, busca por nome e por trecho de código, terminal e carregamento de páginas web. Na versão reduzida, sobra só o terminal.
O terceiro é o gerenciamento de contexto, com cinco variantes. A primeira não faz nada. As demais substituem resultados antigos de ferramentas por um marcador curto (o texto some de vez ou pode ser recuperado), resumem o histórico antigo com o próprio modelo ou combinam as duas técnicas. Na variante combinada, os marcadores baratos entram em ação num limite brando de ocupação da janela, e o resumo, mais caro, só no limite rígido.
Modelos: Nemotron-3 com 30, 120 e 550 bilhões de parâmetros e Mistral-Medium-3.5-128B, de outra linhagem. Tarefas: 500 bugs do SWE-Bench Verified e 89 tarefas de linha de comando do Terminal-Bench 2.1. Janela de 32 a 128 mil tokens, num total de 176 configurações.
Contexto, resumo e «retorno» do texto
Sem gerenciamento de contexto, com janela de 32 mil tokens, em média 78,7% das tarefas do SWE-Bench se perdiam: a conversa chegava ao limite, e a execução terminava com erro. Com 128 mil tokens, as perdas eram de 8,7%. No Terminal-Bench, caíram de 61% para 12%. Com qualquer tipo de gerenciamento de contexto, nenhuma tarefa se perdeu. O jeito de trabalhar do agente quase não mudou: ele simplesmente conseguia chegar à etapa de verificação.
Marcadores e resumo entregaram precisão próxima, mas com custos diferentes. O marcador substitui um texto que já existe, enquanto o resumo exige uma chamada paga e separada ao modelo. Por isso, o híbrido com dois limites saiu na frente: com precisão comparável, foi o mais barato em quase todas as combinações.
A ideia de «deixar o modelo recuperar o resultado removido» não funcionou. Em mais da metade das configurações com essa ferramenta, ela não foi chamada nenhuma vez. O modelo mais fraco a usou com mais frequência, mais de quatro vezes por tarefa no Terminal-Bench com janela de 32 mil tokens, mas o resultado ficou 3,4 p.p. abaixo do obtido com marcadores sem recuperação. Na média, a diferença não chegou a meio ponto.
Modelos fracos precisam de dicas; para os fortes, elas atrapalham
Para o Nemotron-3 30B, o plano foi condição para obter algum resultado. Sem ele, a trajetória típica no SWE-Bench encolhia de 40 para 5 passos, e mais de dois terços das execuções terminavam sem uma única edição de código. Com o plano, essas execuções foram 27,8%.
Em 58,4% das execuções sem plano, o modelo nunca passou da busca pelo trecho certo do código; com plano, foram 10,4%. Resultado: +11,6 p.p.
no SWE-Bench e +4,5 p.p. no Terminal-Bench, ainda que o trabalho tenha ficado mais longo e mais caro.
Quando esse modelo ficou só com o terminal, continuou chamando ferramentas inexistentes. No Terminal-Bench, isso interrompeu dois terços das execuções, e a precisão caiu 15 p.p.
no SWE-Bench e 10 p.p. no Terminal-Bench.
No Nemotron-3 550B e no Mistral, o plano quase não alterou a precisão, mas o custo no SWE-Bench caiu cerca de 30%: sumiram principalmente as verificações após a edição, ou seja, o modelo passou a reconferir menos a solução pronta. No 550B, usar só o terminal elevou a precisão em 3,6 p.p. no SWE-Bench e 5,6 p.p. no Terminal-Bench, e reduziu o custo em 53% e 30%. O modelo juntava várias operações num único comando e editava um mesmo arquivo em pedaços com menos frequência: 1,5 edição por tarefa, contra 4,6.
No Mistral, tudo dependia do tipo de tarefa. No SWE-Bench, sem as ferramentas prontas, ele perdeu 23,2 p.p., e um terço das execuções (32,8%) terminou sem uma única edição, contra 1,2% com o conjunto completo. No Terminal-Bench, o terminal sozinho, ao contrário, rendeu +6,7 p.p.: essas tarefas já se resolvem com comandos. O Nemotron-3 120B teve desempenho irregular: não houve ganho estável com o plano, e as ferramentas prontas deram +1,6 p.p. no SWE-Bench e +4,5 p.p. no Terminal-Bench.
O que fazer na prática
- Com janela pequena (até 64 mil tokens), ative o gerenciamento de contexto, de preferência o híbrido de marcadores e resumo.
- Para um modelo fraco, ofereça plano e o conjunto completo de ferramentas.
- Para um modelo forte, teste o harness enxuto: sem plano e com um único terminal. Isso pode economizar até um terço do orçamento sem perda de qualidade.
- O mecanismo de recuperar o histórico removido pode ser dispensado.
- Se as tarefas dependem da estrutura do repositório, as ferramentas de arquivo são úteis. Se tudo se resolve pelo shell, elas podem atrapalhar ao oferecer escolhas desnecessárias.
Limitações
Cada configuração foi executada uma única vez, e o Terminal-Bench é pequeno, então muitas diferenças ali não são estatisticamente significativas. O plano e as ferramentas foram testados apenas com uma estratégia de contexto e com a maior janela. O SWE-Bench é formado por tarefas em Python, e o tamanho do modelo é só uma medida grosseira de sua capacidade. A conclusão é simples: não existe harness universal; ele deve ser escolhido para cada par «modelo e tipo de tarefa» e medido com os seus próprios dados.
- 12 de nov. de 2026Oito países, OpenAI e Anthropic prometem um «botão de desligar» para modelos de IA, mas sem prazos nem multas
- 12 de nov. de 2026ElevenLabs Scribe v3 Live ensina agentes de voz a não interromper: 25% menos erros
- 12 de nov. de 2026Prompt em russo no ComfyUI: FLUX.2 e Qwen-Image perdem de 4 a 13 pontos, e o SD-Turbo perde quase tudo
- 8 de nov. de 2026Protocolo de consulta com IA preenche 50 campos em 35 segundos em Moscou, enquanto clinicas privadas permanecem em silencio
Perguntas frequentes sobre a notícia
Como foi o teste?
Normalmente, os harnesses são comparados rodando produtos prontos nas mesmas tarefas. Assim, não dá para saber o que causou a diferença. Aqui, os autores partiram de um ciclo ReAct simples (o modelo raciocina, age, observa o resultado e repete) e alteraram apenas três componentes. O primeiro é o planejamento. O modelo tem a ferramenta update_plan: uma lista de passos em que, a cada momento, só um é o atual, e os demais já foram concluídos ou ainda virão.
O que se sabe sobre Contexto, resumo e «retorno» do texto?
Sem gerenciamento de contexto, com janela de 32 mil tokens, em média 78,7% das tarefas do SWE-Bench se perdiam: a conversa chegava ao limite, e a execução terminava com erro. Com 128 mil tokens, as perdas eram de 8,7%. No Terminal-Bench, caíram de 61% para 12%. Com qualquer tipo de gerenciamento de contexto, nenhuma tarefa se perdeu. O jeito de trabalhar do agente quase não mudou: ele simplesmente conseguia chegar à etapa de verificação. Marcadores e resumo entregaram precisão próxima, mas com custos diferentes.
O que se sabe sobre Modelos fracos precisam de dicas; para os fortes, elas atrapalham?
Para o Nemotron-3 30B, o plano foi condição para obter algum resultado. Sem ele, a trajetória típica no SWE-Bench encolhia de 40 para 5 passos, e mais de dois terços das execuções terminavam sem uma única edição de código. Com o plano, essas execuções foram 27,8%. Em 58,4% das execuções sem plano, o modelo nunca passou da busca pelo trecho certo do código; com plano, foram 10,4%. Resultado: +11,6 p.p. no SWE-Bench e +4,5 p.p. no Terminal-Bench, ainda que o trabalho tenha ficado mais longo e mais caro.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.