HERA ensina agentes de IA a recusar tarefas impossíveis: precisão de 61,7% → 83,3%

Um agente que faz com convicção algo que não pode ser feito é mais perigoso do que um agente que simplesmente erra. Ele chama ferramentas, gasta orçamento e reporta sucesso onde não existe solução. Os autores do artigo sobre o HERA, que entrou no Hugging Face Daily Papers, propõem uma forma de tratar o problema. Em tarefas held-out, o harness evoluído por eles elevou a precisão de recusa de 61,7% para 83,3%. A taxa de conclusão de tarefas solúveis também subiu, de 68,3% para 76,7%. O melhor harness foi então transferido para outras 19 LLMs e adicionou, em média, 15,3 pontos percentuais de precisão de recusa.

O problema: agentes não sabem dizer «não consigo»

O trabalho chama isso de agentic abstention: a capacidade de o agente reconhecer que a tarefa é inexequível no ambiente atual e parar. Até agora, havia dois caminhos para aumentar a confiabilidade nesses casos: fazer ajuste fino do modelo ou configurar o harness, ou seja, tudo o que cerca o modelo: instruções, regras de uso de ferramentas, verificações. Os dois abordagens otimizavam para um conjunto fixo de tarefas. O resultado é previsível: funciona em armadilhas conhecidas de antemão, mas não em novos tipos de falha.

O HERA ataca justamente essa limitação. O framework tem duas partes, e a segunda é mais importante que a primeira.

Como o HERA funciona

A primeira parte é um pipeline que constrói automaticamente pares verificáveis de tarefas: uma executável e outra não. A tarefa impossível nasce da executável por meio de uma mutação controlada do ambiente. Por exemplo, remove-se do ambiente algo sem o qual a solução é inviável. O par oferece um contraste limpo: o agente deve resolver uma versão e recusar a outra. A verificabilidade é essencial aqui: a resposta correta é conhecida por construção, e não é preciso rotulagem manual.

A segunda parte é um procedimento de coevolução. As falhas em tarefas anteriores orientam a adaptação do harness, e esses mesmos pontos fracos se tornam a demanda para gerar novos ambientes e tarefas. O harness melhora, o ambiente fica mais difícil justamente onde o agente falhava, e o ciclo se repete. Em vez de um benchmark estático, o resultado é um simulador de treino que se ajusta às fraquezas.

Os números

• Precisão de recusa em tarefas held-out: 61,7% → 83,3% (+21,6 p.p.).
• Conclusão de tarefas solúveis: 68,3% → 76,7% (+8,4 p.p.).
• Em ambas as métricas, o HERA lidera entre os métodos comparados.
• Transferência para outras 19 LLMs: em média +15,3 p.p. de precisão de recusa, sem otimização para cada modelo específico.
• Modelos pequenos com esse harness, segundo estimativa dos autores, chegam perto de modelos mais potentes com custos cerca de 85% menores.

Vale destacar separadamente o ganho nas tarefas solúveis. O preço habitual da cautela é o excesso de zelo: o agente passa a recusar mesmo quando há solução. Aqui isso não aconteceu, e as duas métricas subiram ao mesmo tempo. Nossa conta: os valores variam em múltiplos de 1,67 p.p., o que indica um conjunto held-out de cerca de 60 tarefas. A amostra é pequena, então diferenças de poucos pontos entre os métodos devem ser lidas com cautela. A transferência para 19 modelos funciona, nesse sentido, como uma verificação independente: um resultado médio sobre tantas LLMs depende menos da sorte em um único conjunto.

A parte mais prática do resultado é a economia. Um harness ajustado uma só vez se transfere para outros modelos, e um modelo pequeno com um bom harness cobre parte dos cenários no lugar de um modelo topo de linha caro. A economia de 85% é uma estimativa, e os autores não a apresentam como custo medido em produção; em uma carga de trabalho real, o número dependerá das tarifas e do perfil das tarefas.

Para equipes que constroem agentes, o artigo leva a três conclusões. Primeiro, tarefas impossíveis devem entrar no conjunto de testes como uma classe separada, com uma métrica própria. Segundo, a mutação de ambiente é uma forma barata de obter esses casos: pega-se um cenário que funciona e quebra-se a condição da qual a solução depende. Terceiro, antes de pagar por um modelo mais forte, vale verificar se um harness reformulado já resolve o problema. As limitações permanecem: os resultados foram obtidos nos ambientes específicos dos autores, e a robustez a falhas que as mutações não cobrem ainda precisa ser testada.