AgentHorizon: o melhor juiz, o GPT-5.5, atingiu apenas 80,9% em tarefas longas de agentes

Os autores do AgentHorizon lançaram um benchmark com 1 373 tarefas que avalia não os agentes computer-use em si, mas os juízes automáticos que emitem o veredito sobre o trabalho deles. Entre os onze juízes testados, o melhor foi o GPT-5.5 em configuração agêntica, com 80,9% de balanced accuracy no split principal, o AH. Esses juízes já são usados tanto no treinamento de agentes quanto na avaliação sem participação humana. Por isso, esse resultado em tarefas longas parece uma margem de segurança modesta.

Por que é difícil julgar uma trajetória longa

A trajetória de um agente computer-use consiste em uma longa sequência de capturas de tela e ações. De fora, ela pode parecer concluída e, ainda assim, violar uma restrição da instrução ou deixar um efeito colateral indesejado. Por exemplo, o agente levou a tarefa até o fim, mas em outro aplicativo ou com parâmetros diferentes. Para detectar algo assim, o juiz precisa confrontar todo o histórico com o pedido original do usuário. A evidência de sucesso ou de falha costuma estar escondida em algum ponto no meio de centenas de passos.

Os autores construíram o benchmark a partir de 166 horas de gravações humanas em três sistemas operacionais. O ponto-chave está na forma como os exemplos negativos são obtidos. Para instruções de sentido próximo, gravam-se trajetórias separadas, e depois as instruções são trocadas entre si. Assim, o juiz vê um trabalho feito com competência, mas para um pedido vizinho e incompatível. A avaliação "parece decente" não funciona aqui: é preciso verificar se foi feito exatamente o que se pediu.

O que foi medido e como

O benchmark foi lançado em três variantes: o split frontier principal, AgentHorizon (AH), o simplificado AgentHorizon-Simple (AH-S) e o de desenvolvimento, AgentHorizon-Development (AH-D). Os onze juízes foram testados de duas maneiras. Na primeira, a trajetória completa era entregue de uma só vez ao modelo. Na segunda, os modelos atuavam como agentes de programação dentro de cinco harnesses agênticos diferentes e podiam explorar os materiais por conta própria.

• 1 373 tarefas no formato "instrução — trajetória"
• 166 horas de gravações humanas, três sistemas operacionais
• até 300 capturas de tela e ações em uma única trajetória
• 11 juízes, 5 harnesses agênticos
• melhor resultado: GPT-5.5, 80,9% de balanced accuracy no AH

O que os resultados mostraram

O acesso a ferramentas não ajuda todos os modelos. Alguns se saíram melhor com ele, mas nos modelos open-weight o resultado piorou. O harness agêntico não garante ganho automático: o juiz precisa saber buscar bem nos dados e não perder o fio da meada em longas distâncias.

A segunda observação diz respeito ao perfil dos erros. Os juízes divergem bastante na capacidade de aceitar uma trajetória correta e de rejeitar uma malsucedida. Um tende a aprovar tudo, outro implica com soluções corretas. A acurácia geral não revela isso, e por isso a métrica balanced accuracy é útil aqui: ela faz a média da qualidade nas duas classes, e o chute aleatório em uma configuração binária rende cerca de 50%. Em relação a esse piso, 80,9% é um resultado expressivo, mas com uma cauda de erros considerável.

Nas conclusões, os autores apontam a falta de juízes capazes de encontrar e verificar as evidências, muitas vezes ocultas, de que a tarefa foi executada corretamente dentro de um longo histórico de interação.

Como usar esses dados na prática

Equipes que treinam agentes com recompensa automática ou que os comparam em rodadas de avaliação podem testar o próprio juiz com pares "instrução própria — trajetória alheia". Para isso, bastam os três splits do AgentHorizon. É preciso olhar separadamente a taxa de trajetórias corretas aceitas e a de trajetórias incorretas rejeitadas, e não apenas a acurácia geral. Nos juízes open-weight, vale checar se a conexão de ferramentas não prejudica o resultado. Enquanto o melhor juiz errar bem mais do que seria desejável, é sensato manter, em tarefas longas, uma verificação humana por amostragem.