Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoKDnuggets→ original

Google lança Harness²: agente reescreve seus próprios prompts e scripts, com ganho de até 11,8 p.p. nos critérios do LAB

Google Research lançou o Harness²: o agente reescreve a "moldura" em torno do modelo — prompts, ferramentas, scripts —, sem mexer nos pesos. É como um estagiário que, depois de errar, corrige a própria instrução: o agente executa a tarefa com diferentes ajustes e mantém os que ajudam. No teste jurídico LAB, a parcela de critérios aprovados subiu no máximo 11,8 p.p. (por exemplo, de 50% para 61,8%). Para equipes que usam modelos via API, isso representa um caminho para melhorar agentes sem fine-tuning, mas os números, por enquanto, vêm apenas do Google.

Processado por IA de KDnuggets; editado por Hamidun News
Google lança Harness²: agente reescreve seus próprios prompts e scripts, com ganho de até 11,8 p.p. nos critérios do LAB
Fonte: KDnuggets. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalKDnuggets ↗
Editor-chefe
Dado-chave #1Cada passo custa 4k execuções do agente e 3k sessões do aprimorador: com k=3, são 12 e 9
Dado-chave #2Na demo, sem chave de API, o agente eliminou um bug no script: a soma passou de 105,25 para 85,15
Todas as alterações são arquivos comunsdá para ler e conferir com a versão original

Imagine um agente que processa arquivos contábeis, mas há um erro escondido no script auxiliar dele: valores negativos são ignorados. Normalmente, quem percebe isso é um engenheiro: ele olha o total incorreto, corrige o script ou o prompt e roda tudo de novo. O Google Research publicou em código aberto o framework Harness², que automatiza esse ciclo. Ele não reescreve o modelo em si, mas tudo o que está ao redor dele: instruções, ferramentas, memória e scripts. O Google mediu os resultados em "pontos percentuais" (p.p.): se o agente aprovava 50% dos critérios de verificação e passou a aprovar 61,8%, o ganho é de 11,8 p.p. Esse foi o máximo obtido no teste jurídico LAB.

O que é a "moldura" e o que o Harness² ajusta

Um modelo de linguagem, por si só, ainda não é um agente. Quem o transforma em agente é a "moldura" (harness): instruções de sistema, regras do tipo "pode/não pode", anotações de longo prazo, conjuntos de habilidades para tarefas recorrentes, descrições de como usar as ferramentas, scripts auxiliares, subagentes e plugins intermediários. Hoje, a maioria das equipes configura tudo isso manualmente. Para tarefas que foram previstas de antemão, a abordagem funciona. Mas, quando o agente encontra algo inesperado, a configuração manual não acompanha.

O Harness² automatiza essa configuração com os pesos do modelo congelados. Não há fine-tuning nem novos dados de treinamento. Por isso, a abordagem serve para equipes que trabalham com o modelo apenas via API: não precisam de GPU nem de acesso aos pesos.

Dois ciclos: como o agente aprende com as próprias execuções

O "quadrado" do nome indica dois níveis de recursão. O primeiro ciclo funciona dentro de uma única tarefa, no esquema "propor — verificar — consolidar". O editor da moldura propõe alterações, gerais e específicas do domínio. O agente resolve de novo a mesma tarefa com cada versão da moldura. Depois, um "compositor" compara as execuções e combina as alterações que ajudaram. Não é preciso uma resposta de referência, basta a diferença entre duas execuções da mesma tarefa. Na prática, ninguém entrega ao agente um gabarito com as respostas certas, então essa propriedade é importante.

O segundo ciclo funciona entre tarefas. A moldura aceita e as "lições" confirmadas vão para uma biblioteca permanente de experiência, e a tarefa seguinte já começa com essas anotações. O primeiro ciclo melhora o agente para a tarefa atual; o segundo melhora o próprio processo de melhoria.

O orçamento é definido pelo parâmetro k. No modo paralelo, o sistema propõe k alterações gerais e k específicas e testa todas: ele busca mais amplo. No modo sequencial, dá k passos seguidos e leva a moldura refinada adiante: ele aprofunda. Cada tarefa custa 4k execuções do agente e 3k sessões do aprimorador, ou seja, com k=3, são 12 execuções e 9 sessões. Só o LAB tem 1143 tarefas, então uma rodada completa não sai barata.

Números e demo

O Google testou GLM-5 e Gemini 3.5 Flash em quatro combinações "modelo — moldura" em três benchmarks. Um único passo de melhoria elevou o resultado dos dois modelos em relação à moldura original. O maior ganho no LAB foi de até 11,8 p.p. na parcela de critérios aprovados. São os melhores resultados, não as médias, e foram obtidos pelo próprio Google; por isso, ainda será preciso aguardar verificações independentes. As tabelas de cada configuração estão no repositório.

A demo roda localmente em poucos segundos e não exige chaves. São necessários o gerenciador de pacotes uv e o Python 3.12. O script original soma os lançamentos de um livro contábil, mas filtra os negativos. Em um arquivo de teste com três lançamentos, ele retorna 105,25. Depois que o Harness² atua, o filtro é removido e o script calcula o valor correto, 85,15 (100,25 − 20,10 + 5,00). Ninguém informou ao sistema a soma correta. No arquivo de experiência ficou uma anotação: ao somar créditos e débitos, é preciso considerar os dois sinais, com alta confiança. Esse registro entrou na segunda tarefa da demo.

Todas as mudanças ficam em arquivos comuns: o prompt reescrito, o script corrigido, a nova regra. Dá para lê-los, comparar com a versão original e aprovar via revisão de código. O framework ainda registra por que aceitou cada alteração.

A execução real é mais complexa e custa dinheiro. É preciso um projeto no Google Cloud com Vertex AI, além de Pandoc e Poppler para os documentos do LAB. O arquivo .env com as configurações precisa ser criado manualmente, pois ele não está no repositório na data da publicação. O executor, o aprimorador e o juiz são configurados com IDs de modelos separados. O autor da análise recomenda começar com uma única tarefa, para que as chamadas pagas não se acumulem.

Conclusão prática: se você tem um agente baseado no modelo de outra empresa e já se cansou de ajustar prompts manualmente, o Harness² oferece uma forma reproduzível de automatizar isso. Comece pela demo gratuita, depois compare a moldura original e a aprimorada em uma tarefa sua e avalie se o custo das execuções compensa.

História

Perguntas frequentes sobre a notícia

O que é a "moldura" e o que o Harness² ajusta?

Um modelo de linguagem, por si só, ainda não é um agente. Quem o transforma em agente é a "moldura" (harness): instruções de sistema, regras do tipo "pode/não pode", anotações de longo prazo, conjuntos de habilidades para tarefas recorrentes, descrições de como usar as ferramentas, scripts auxiliares, subagentes e plugins intermediários. Hoje, a maioria das equipes configura tudo isso manualmente. Para tarefas que foram previstas de antemão, a abordagem funciona.

O que se sabe sobre Dois ciclos: como o agente aprende com as próprias execuções?

O "quadrado" do nome indica dois níveis de recursão. O primeiro ciclo funciona dentro de uma única tarefa, no esquema "propor — verificar — consolidar". O editor da moldura propõe alterações, gerais e específicas do domínio. O agente resolve de novo a mesma tarefa com cada versão da moldura. Depois, um "compositor" compara as execuções e combina as alterações que ajudaram. Não é preciso uma resposta de referência, basta a diferença entre duas execuções da mesma tarefa.

O que se sabe sobre Números e demo?

O Google testou GLM-5 e Gemini 3.5 Flash em quatro combinações "modelo — moldura" em três benchmarks. Um único passo de melhoria elevou o resultado dos dois modelos em relação à moldura original. O maior ganho no LAB foi de até 11,8 p.p. na parcela de critérios aprovados. São os melhores resultados, não as médias, e foram obtidos pelo próprio Google; por isso, ainda será preciso aguardar verificações independentes. As tabelas de cada configuração estão no repositório.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…