No benchmark HALO, 61,20% das respostas rejeitadas de agentes de IA pecam por ajuda cedo demais ou invasiva

Um agente proativo precisa decidir sozinho se deve ajudar, quando fazer isso e até onde ir, tudo sem um pedido explícito. Pesquisadores da Universidade da Califórnia em Davis e da Universidade do Sul da Califórnia propuseram o benchmark HALO para avaliar essa capacidade. A principal conclusão: na maioria das vezes, os agentes erram não por inação, mas por iniciativa excessiva. Entre as respostas rejeitadas por avaliadores humanos, 61,20% (2188 de 3575) sofriam de intervenção cedo demais ou de ações com força excessiva.

Como o HALO é estruturado e quem avaliou as respostas

Os cenários abrangem quatro tipos de necessidade: dependência (falta uma condição para uma tarefa futura), bloqueio (a atividade atual não pode continuar), risco (um problema possível ainda não aconteceu) e oportunidade (um passo útil, porém opcional). Eles se distribuem por 10 áreas do cotidiano, que vão de estudos e trabalho a família, saúde, viagens, finanças e hobbies. Cada área tem cinco personagens, o que dá 50 ambientes pessoais. Cada ambiente reúne oito cenários, totalizando 400.

O ambiente é composto por e-mail, calendário, chat, contatos e carteira, e as evidências ficam em bancos SQLite e arquivos de texto. O agente tem 29 comandos para buscar dados e 19 comandos para agir. Em cada ponto de controle, ele vê parte da cadeia de eventos, pode coletar dados em várias rodadas e depois entregar uma única resposta executável ou se abster de agir. As ações se dividem em níveis: L0 é observação, L1 é chamar a atenção, L2 é preparação sem compromissos externos e L3 é execução com consequências reais. Um nível mais alto não significa ajuda melhor. Os cenários foram criados pelo GPT5.6-Sol e depois verificados por um validador e por revisores.

Com base nesse ambiente, foi montado o conjunto HALO-8K: 8000 respostas de 10 modelos, 800 por modelo. Vinte especialistas julgaram se cada resposta era aceitável e, nas rejeitadas, indicaram o motivo: prematuridade, atraso, insuficiência, excesso e outros. A inação sensata contava como resposta correta.

O que os resultados mostraram

A dispersão é grande: de 30,38% no GPT-OSS-20B a 72,88% no Gemini3.8-Flash. Mesmo o melhor modelo entrega uma resposta inaceitável em mais de um quarto dos casos. Entre os modelos abertos, lidera o DeepSeekV4-Pro, com 56,63%, que superou os fechados Gemini3.1-Pro e GPT5.6-Luna. Em média, os modelos fechados alcançaram 63,08%, e os abertos, 47,55%. Mas os três melhores modelos abertos ficam dentro de 2,50 pontos entre si, e a cauda fraca puxa a média para baixo.

O nível mais escolhido pelos agentes foi o L1 (69,20% das respostas), o L3 correspondeu a 16,09% e o L2 a apenas 4,18%. A fatia de execução é quase igual nos dois grupos, cerca de 16,1%. Os modelos fechados escolhem L0 duas vezes mais. A intervenção prematura aparece quase três vezes mais que a tardia, e a força excessiva é cerca de duas vezes mais frequente que a insuficiente. Os dois melhores modelos cometem menos desses erros.

A inação, por si só, não garante qualidade. O Qwen3.8-27B quase nunca erra por inação (0% Inaction), mas escolhe L0 em apenas 0,38% dos casos e atinge só 55,13% de aceitabilidade.

Buscar dados importa mais que raciocinar muito

Os modelos abertos gastam em média 4,77 mil tokens de raciocínio e fazem 1,21 rodada de busca por resposta. Nos fechados, são 5,53 mil tokens e 2,55 rodadas. Os abertos usam só 14% menos tokens, mas fazem cerca de 53% menos buscas. Entre os lembretes, consultar o conteúdo local está associado a maior aceitabilidade e leva com menos frequência à avaliação «insuficiente». O Claude-Opus5.5, segundo colocado no ranking, gasta cerca de 23% dos tokens de raciocínio do líder, de modo que um resultado alto é possível com diferentes níveis de consumo de recursos.

Mesmo quando o momento do lembrete está certo, ele muitas vezes se mostra insuficiente, e a execução, excessiva.

Limitações

A aceitabilidade varia pouco entre os tipos de necessidade (54,35–56,00%) e mais entre as áreas, de 50,88% a 58,88%. A avaliação usa uma amostra de 800 respostas por modelo, e os tokens são contados segundo as regras de diferentes provedores, por isso é preciso cautela ao comparar o consumo. Os cenários são gerados por um modelo, embora humanos os verifiquem. A conclusão para desenvolvedores é esta: um assistente proativo deve ser medido não pela quantidade de necessidades detectadas, mas pela adequação do momento e do volume das ações, e o produto deve manter L0 e L1 como modos seguros por padrão.