Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoHabr AI→ original

Google libera o Harness²: agente de IA ajusta o próprio "harness", e nota do GLM-5 sobe de 64,2 para 75,7

O Google Research liberou o framework Harness²: o agente de IA edita o próprio "harness" (a camada de instruções, skills e regras de uso de ferramentas). Por exemplo, se o agente lê o repositório inteiro de forma gananciosa, o editor adiciona a regra de olhar primeiro a estrutura de pastas. No teste WorkBuddy-Bench (tarefas de escritório, web e programação), a nota do GLM-5 subiu de 64,2 para 75,7 pontos sem retreinamento. Por isso, antes de migrar para um modelo caro, vale medir quanto o ajuste do harness entrega.

Processado por IA de Habr AI; editado por Hamidun News
Google libera o Harness²: agente de IA ajusta o próprio "harness", e nota do GLM-5 sobe de 64,2 para 75,7
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Funciona com OpenCode e Codex; os pesos do modelo não mudam
Dado-chave #2Orçamento k=5 em vez de k=1 rende mais +2,6–6,7 pontos, mas com 5 vezes mais execuções
É código de pesquisaLinux, Python 3.12, e a API pode mudar

O Google Research liberou em código aberto o Harness², um framework em que o agente de IA configura o próprio "harness". O harness é tudo o que envolve o modelo de linguagem: instruções de sistema, regras de uso de ferramentas, memória, skills e subagentes. Um agente é igual a LLM mais harness, e é dele que depende se o agente vai buscar com cuidado os arquivos certos ou vai ler o repositório inteiro e entupir o contexto.

Normalmente, os engenheiros ajustam essas configurações à mão, o que é demorado e caro. O Harness² faz isso automaticamente: no teste WorkBuddy-Bench (tarefas de escritório, web e programação), a nota do modelo GLM-5 combinado com o OpenCode subiu de 64,2 para 75,7 pontos, ou seja, 11,5 pontos. Os pesos do modelo, nesse processo, não mudam.

Do que o harness é feito

O README do framework destaca oito componentes, e o Harness² consegue editar cada um deles:

  • System prompt: a instrução básica, ou seja, o que o agente lê primeiro.
  • Guardrails: as restrições, isto é, o que não pode ser feito.
  • Memory: o que lembrar entre um passo e outro.
  • Tool guidance: como trabalhar com ferramentas, por exemplo quando consultar a documentação e quando responder por conta própria.
  • Subagents: a delegação, em que um agente analisa a tarefa e outros executam as partes.
  • Skills: conjuntos prontos de técnicas para tarefas típicas.
  • Scripts: scripts para trabalhar com o ambiente.
  • Plugins: middleware que altera o comportamento dentro do ciclo de chamada de ferramentas.

Como funcionam os dois níveis de recursão

O "2" no nome indica dois ciclos. Dentro de uma única tarefa, roda o ciclo Propose-Probe-Compose ("propor, verificar, montar"). Primeiro, o agente resolve a tarefa com o harness base, e essa execução de referência é registrada: o que ele leu, quais ferramentas chamou à toa, o que esqueceu de verificar. Em seguida, o editor (por padrão, o Claude Opus 4.8, ou seja, um modelo de concorrente) propõe dois candidatos: uma correção geral contra fraquezas típicas e uma de domínio, voltada a uma área específica, como procedimentos jurídicos ou planilhas. Cada candidato é executado na mesma tarefa, e se observa como o comportamento mudou. O composer decide quais alterações aceitar e monta a versão final.

Um exemplo do JobBench: o agente montava um conjunto de documentos com números consistentes entre si. A primeira execução rendeu 43,1 pontos: os números nos arquivos não batiam, e ninguém reabria os documentos finais. As alterações adicionaram a conferência de fontes e a revisão obrigatória do resultado, e a nota subiu para 77,8. É uma única tarefa, e isso não prova que a mesma correção funcionaria em qualquer lugar.

O segundo ciclo opera entre tarefas. O componente reflector analisa todo o processo e guarda apenas as lições confirmadas pela comparação das execuções. Elas vão para a biblioteca improvement harness, no arquivo EXPERIENCE.md. A tarefa seguinte parte do harness base, e só a experiência acumulada é transferida, ajudando o editor a decidir o que propor.

O que os benchmarks mostraram

Os autores testaram o método em três conjuntos de tarefas:

  • WorkBuddy-Bench: tarefas de escritório, web e programação. Melhor resultado: GLM-5 com OpenCode, de 64,2 para 75,7 pontos (+11,5).
  • JobBench: tarefas profissionais longas, próximas de um dia de trabalho humano. Gemini 3.5 Flash com OpenCode: de 31,5 para 36,0 (+4,5).
  • LAB, da Harvey: benchmark jurídico que mede a proporção de critérios atendidos. GLM-5: de 59,6% para 71,4% (+11,8 p.p.).

A observação mais prática é que o executor mais fraco ganha mais. Depois de um passo de otimização, o GLM-5 faz 75,7 (OpenCode) e 75,3 (Codex) no WorkBuddy-Bench, enquanto o Gemini 3.5 Flash com o harness comum faz 72,4 e 74,5. Um modelo mais fraco com harness ajustado supera um mais forte com o harness padrão.

A automação, por si só, não garante sucesso. O concorrente ReasoningBank chega a ficar até 6,6 pontos abaixo do harness base em tarefas de programação, e o Harness Scaling perde para a base em sete de doze pares "benchmark e configuração". O Harness² fica acima da base no WorkBuddy-Bench e no JobBench nas quatro configurações.

Custo e limitações

Cada passo da recursão exige execuções adicionais, ou seja, tokens e tempo. Passar do orçamento k=1 para k=5 rende no WorkBuddy-Bench mais 2,9–3,9 pontos, no JobBench 3,0–4,2 e no LAB 2,6–6,7 p.p., com retorno decrescente. Além disso, diferença de comportamento não é sinônimo de melhoria: o sistema pode fixar uma alteração que parece melhor, mas que não funciona na tarefa seguinte.

É possível experimentar sem gastar com modelos: a demo local (Linux, Python 3.12, uv, comando harness2-demo --k 2) executa os dois níveis com editores determinísticos em cerca de dez minutos. Para os benchmarks reais, são necessários Vertex AI, gcloud, Node.js 20+ e Docker, ou Pandoc com Poppler, e as execuções são pagas. Trata-se de um framework de pesquisa, não de um produto do Google: a API pode mudar.

A conclusão prática para quem constrói agentes: antes de pagar a mais por um modelo de ponta, meça quanto o ajuste sistemático do harness entrega. Todos os números vêm do preprint dos autores e ainda não foram verificados de forma independente.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Do que o harness é feito?

O README do framework destaca oito componentes, e o Harness² consegue editar cada um deles: System prompt: a instrução básica, ou seja, o que o agente lê primeiro. Guardrails: as restrições, isto é, o que não pode ser feito. Memory: o que lembrar entre um passo e outro. Tool guidance: como trabalhar com ferramentas, por exemplo quando consultar a documentação e quando responder por conta própria. Subagents: a delegação, em que um agente analisa a tarefa e outros executam as partes.

Como funcionam os dois níveis de recursão?

O "2" no nome indica dois ciclos. Dentro de uma única tarefa, roda o ciclo Propose-Probe-Compose ("propor, verificar, montar"). Primeiro, o agente resolve a tarefa com o harness base, e essa execução de referência é registrada: o que ele leu, quais ferramentas chamou à toa, o que esqueceu de verificar.

O que os benchmarks mostraram?

Os autores testaram o método em três conjuntos de tarefas: WorkBuddy-Bench: tarefas de escritório, web e programação. Melhor resultado: GLM-5 com OpenCode, de 64,2 para 75,7 pontos (+11,5). JobBench: tarefas profissionais longas, próximas de um dia de trabalho humano. Gemini 3.5 Flash com OpenCode: de 31,5 para 36,0 (+4,5). LAB, da Harvey: benchmark jurídico que mede a proporção de critérios atendidos. GLM-5: de 59,6% para 71,4% (+11,8 p.p.). A observação mais prática é que o executor mais fraco ganha mais.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…