ReGE ensina agentes com as próprias tentativas: +9,9 p.p. sem retreinamento

A equipe do TIGER-Lab, liderada por Jiarong Liang e Wenhu Chen, apresentou o ReGE, um método para melhorar agentes sem retreinamento e sem um modelo professor mais forte. O agente resolve a tarefa várias vezes. Depois, o mesmo modelo, no papel de "treinador", resume os registros das tentativas em um único plano autossuficiente, e um "aluno" novo começa do zero já com essa dica. Em quatro benchmarks, a precisão subiu em média 9,9 p.p. nos modelos GPT e 8,8 p.p. no Claude. Em um subconjunto de 468 tarefas, o GPT-5.6 Luna com ReGE marcou 67,4%, e o GPT-5.6 Sol sem o método, 67,0%, com o Luna custando 28% do valor do Sol. • Benchmarks: Terminal-Bench 2.0, Spider2-Lite, AndroidWorld, BrowseComp-Plus • Construir a dica custa de 95% a 98% menos em tokens do que no AggAgent • O código está publicado no GitHub

Processado por IA de Hugging Face Daily Papers; editado por Hamidun News
ReGE ensina agentes com as próprias tentativas: +9,9 p.p. sem retreinamento
Fonte: Hugging Face Daily Papers. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHugging Face Daily Papers ↗
Editor-chefe
BenchmarksTerminal-Bench 2.0, Spider2-Lite, AndroidWorld, BrowseComp-Plus
Dado-chave #2Construir a dica custa de 95% a 98% menos em tokens do que no AggAgent
Dado-chave #3O código está publicado no GitHub

Agentes baseados em modelos de IA costumam resolver a tarefa do zero a cada execução, como se as tentativas anteriores nunca tivessem existido. Pesquisadores do TIGER-Lab (Jiarong Liang, Yubo Wang, Zijie Liu, Yuxuan Zhang, Ping Nie e Wenhu Chen) propõem corrigir isso com o framework ReGE (Re-execution Guided by Experience). Ele transforma os logs de tentativas passadas em um plano para a nova tentativa, sem atualizar pesos e sem recorrer a um modelo mais potente. Em quatro benchmarks, a precisão subiu em média 9,9 p.p. nos modelos GPT e 8,8 p.p. no Claude. O GPT-5.6 Luna com ReGE igualou em qualidade o GPT-5.6 Sol, que é mais caro.

Um treinador que não sabe a resposta certa

A implementação principal se chama ReGE-Syn. Primeiro, o modelo tenta resolver a tarefa várias vezes. Em seguida, o mesmo modelo, no papel de "treinador", recebe registros de execução de tamanho limitado e os artefatos finais dessas tentativas. Ele não tem nenhuma informação sobre qual tentativa está correta. Em uma única chamada, o treinador escreve um guia autossuficiente que reúne os fatos encontrados sobre a tarefa, as ações sugeridas e as armadilhas em que as tentativas anteriores já caíram.

Depois entra o "aluno": uma instância nova, que parte do estado inicial do ambiente. Ele pode seguir o plano, ajustá-lo ou ignorá-lo se as observações reais o contradisserem. A geração das tentativas, a síntese e a execução rodam sobre um único modelo base; o esquema não envolve treinamento nem um professor forte.

A diferença entre essa abordagem e a simples escolha da melhor resposta é fundamental. Execuções malsucedidas também são úteis: elas mostram quais botões não funcionam, quais consultas retornam vazio e onde o modelo gastou passos à toa.

Economia: 28% do preço e de 95% a 98% menos tokens

O resultado mais evidente diz respeito ao custo. Em um subconjunto de 468 tarefas, o GPT-5.6 Luna com ReGE marcou 67,4%, enquanto o GPT-5.6 Sol, modelo superior, sem a dica marcou 67,0%. O custo do Luna ficou em 28% do preço do Sol. Ou seja, parte da distância entre o modelo "júnior" e o "sênior" se fecha não com a compra de um modelo mais caro, mas com o reaproveitamento dos próprios logs.

Os autores também compararam o ReGE-Syn com o agregador agêntico AggAgent, em consultas coincidentes do BrowseComp-Plus. A construção da dica saiu 98,2% mais barata em tokens no GPT e 95,5% no Claude. O total de tokens de construção e execução (entrada mais saída, sem contar a geração das tentativas iniciais) caiu 15,7% e 35,4%, respectivamente. A economia na coleta de experiência não é anulada pelo fato de o aluno trabalhar por mais tempo depois.

As ablações no BrowseComp-Plus mostram dois efeitos. O acesso a informações sobre o processo, e não apenas às respostas finais, está associado a um número menor de passos do aluno. Já a síntese conjunta produz um guia bem mais curto do que alimentar o modelo com o histórico bruto (Direct history) ou com um conjunto de resumos independentes (Independent summaries).

O que entrou no experimento

• Benchmarks: Terminal-Bench 2.0 (trabalho no terminal), Spider2-Lite (texto para SQL), AndroidWorld (controle do Android), BrowseComp-Plus (busca e navegação). • Modelos: GPT-5.6 Luna, GPT-5.6 Sol (como ponto de comparação de preço e qualidade), Claude Sonnet 5. • Ganho médio de precisão: +9,9 p.p. para GPT, +8,8 p.p. para Claude, em relação à execução sem dica. • Subconjunto de 468 tarefas: GPT-5.6 Luna com ReGE, 67,4%; GPT-5.6 Sol, 67,0%, com 28% do custo. • Construção da dica contra o AggAgent adaptado: −98,2% de tokens no GPT, −95,5% no Claude. • Total de tokens de construção e execução: −15,7% e −35,4%. • Configuração: uma chamada do treinador, sem rótulos de correção, sem atualização de parâmetros, sem professor mais forte.

Para engenheiros que constroem sistemas agênticos, a conclusão é prática. Se você já tem execuções paralelas, como um enxame de agentes, não precisa descartar os logs: dá para condensá-los em uma instrução curta. Não é preciso infraestrutura adicional, bastam uma chamada do mesmo modelo e um armazenamento de registros. O item mais caro serão as próprias tentativas iniciais, e o artigo não inclui o custo delas na comparação de tokens. Por isso, a abordagem funciona melhor em tarefas que, de qualquer forma, são executadas várias vezes ou em várias cópias. Também é uma opção razoável para tarefas em que o custo de um erro supera o de uma nova execução.

O método tem um limite de aplicação: o aluno parte do estado inicial do ambiente, então a tarefa precisa ser reproduzível. Para ações irreversíveis em sistemas reais, o esquema terá de ser complementado com um sandbox. O código do projeto está publicado no GitHub, e a página do projeto fica hospedada no TIGER-Lab.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Um treinador que não sabe a resposta certa?

A implementação principal se chama ReGE-Syn. Primeiro, o modelo tenta resolver a tarefa várias vezes. Em seguida, o mesmo modelo, no papel de "treinador", recebe registros de execução de tamanho limitado e os artefatos finais dessas tentativas. Ele não tem nenhuma informação sobre qual tentativa está correta. Em uma única chamada, o treinador escreve um guia autossuficiente que reúne os fatos encontrados sobre a tarefa, as ações sugeridas e as armadilhas em que as tentativas anteriores já caíram. Depois entra o "aluno": uma instância nova, que parte do estado inicial do amb

O que se sabe sobre Economia: 28% do preço e de 95% a 98% menos tokens?

O resultado mais evidente diz respeito ao custo. Em um subconjunto de 468 tarefas, o GPT-5.6 Luna com ReGE marcou 67,4%, enquanto o GPT-5.6 Sol, modelo superior, sem a dica marcou 67,0%. O custo do Luna ficou em 28% do preço do Sol. Ou seja, parte da distância entre o modelo "júnior" e o "sênior" se fecha não com a compra de um modelo mais caro, mas com o reaproveitamento dos próprios logs. Os autores também compararam o ReGE-Syn com o agregador agêntico AggAgent, em consultas coincidentes do BrowseComp-Plus. A construção da dica saiu 98,2% mais barata em tokens no GPT e 95

O que entrou no experimento?

Benchmarks: Terminal-Bench 2.0 (trabalho no terminal), Spider2-Lite (texto para SQL), AndroidWorld (controle do Android), BrowseComp-Plus (busca e navegação). Modelos: GPT-5.6 Luna, GPT-5.6 Sol (como ponto de comparação de preço e qualidade), Claude Sonnet 5. Ganho médio de precisão: +9,9 p.p. para GPT, +8,8 p.p. para Claude, em relação à execução sem dica. Subconjunto de 468 tarefas: GPT-5.6 Luna com ReGE, 67,4%; GPT-5.6 Sol, 67,0%, com 28% do custo. Construção da dica contra o AggAgent adaptado: −98,2% de tokens no GPT, −95,5% no Claude. Total de tokens de construção e ex

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…