Agentes proativos no HALO são intrusivos: 61,20% das respostas rejeitadas vieram cedo demais ou em excesso

Pesquisadores da Universidade da Califórnia em Davis e da Universidade do Sul da Califórnia apresentaram o HALO, um benchmark para agentes proativos, ou seja, assistentes que decidem por conta própria se devem ajudar, quando fazê-lo e até onde ir, sem esperar um pedido direto. Os autores reuniram 20 especialistas, que avaliaram manualmente 8000 respostas de 10 modelos. A principal conclusão é incômoda para toda a indústria: mesmo o melhor modelo entrega uma ajuda aceitável em 72,88% dos casos, e a principal causa das falhas é a iniciativa excessiva.

Como o HALO funciona e o que ele avalia

O benchmark descreve quatro tipos de necessidade. Dependência (Dependency) é uma condição que falta para uma tarefa futura. Bloqueio (Blockage) é a situação em que a atividade atual não pode continuar. Risco (Risk) é um possível desfecho desfavorável que ainda não aconteceu. Oportunidade (Opportunity) é um benefício opcional, cuja ausência não quebra nada.

Tudo isso está distribuído em 10 áreas do cotidiano: estudos, trabalho, casa, família e cuidado com pessoas próximas, saúde, viagens, finanças pessoais, vida comunitária, vida social e cultural, hobbies e esportes. Cada área tem cinco personagens, o que resulta em 50 ambientes pessoais, e cada ambiente tem oito cenários, num total de 400.

O ambiente HALO-Arena inclui e-mail, calendário, chat, contatos e carteira, sustentados por bancos SQLite e arquivos de texto. O agente recebe 29 comandos para buscar informações e 19 comandos para agir. Antes de responder, ele precisa encontrar evidências em dados estruturados ou não estruturados e só depois decidir se a ajuda se justifica. Um exemplo do artigo: o registro de uma viagem no calendário pode levar o agente a verificar na base os itens necessários e um arquivo com a autorização de compra. Esses fatos justificam um lembrete, mas não a compra em si.

As respostas se dividem em quatro níveis: L0 é a observação sem intervenção; L1, a chamada de atenção do usuário; L2, a preparação de uma ação sem compromissos externos; L3, a execução que altera compromissos ou produz efeito externo. Um nível mais alto não significa uma ajuda melhor: quando a contenção é apropriada, o L0 também é aceito.

Os cenários foram construídos com o GPT5.6-Sol e passaram por um validador, por um modelo revisor e por dois auditores humanos; os casos controversos foram decididos por um terceiro. Para a anotação, foram usados 2160 pontos de controle, com 800 respostas por modelo. O especialista primeiro decide se a resposta foi aceita e, nas rejeitadas, indica o que deu errado: cedo demais, tarde demais, insuficiente, excessiva ou outros problemas, como a falta de apoio nos dados.

Resultados: grande dispersão e líder sem folga

A taxa de aceitação varia de 30,38% no GPT-OSS-20B a 72,88% no Gemini3.8-Flash, uma diferença de 42,50 pontos. Entre os modelos abertos, o DeepSeekV4-Pro lidera com 56,63%. Os modelos fechados somam em média 63,08%, e os abertos, 47,55%, mas os grupos se sobrepõem: o DeepSeekV4-Pro superou tanto o Gemini3.1-Pro quanto o GPT5.6-Luna.

O nível mais escolhido pelos modelos é o L1, isto é, apenas chamar a atenção do usuário: 69,20% de todas as respostas. A preparação (L2) é rara, com 4,18%, e a execução (L3) aparece em 16,09%. A fatia de execução é quase igual nos dois grupos, cerca de 16,1%, então ela não explica a diferença de qualidade. Os modelos fechados escolhem a inação cerca de duas vezes mais.

Chama atenção a diferença na busca de dados. Os modelos abertos fazem em média 1,21 rodada de busca por resposta, contra 2,55 dos fechados, ou seja, cerca de 53% menos, embora o gasto de tokens com raciocínio seja comparável: 4,77 mil contra 5,53 mil. Já o Claude-Opus5.5, segundo colocado entre os fechados, gasta cerca de 23% dos tokens de raciocínio do líder, de modo que um bom resultado não exige o consumo máximo.

O principal problema é o excesso, não a passividade

Das 3575 respostas rejeitadas, 2188 (61,20%) tiveram uma reação cedo demais ou intensidade excessiva. A proporção por modelo vai de 44,23% a 79,66%, e em seis dos dez ela passa de metade. A intervenção precoce aparece quase três vezes mais do que a tardia, e a excessiva, cerca de duas vezes mais do que a insuficiente. O quadro se repete nos quatro tipos de necessidade e nas dez áreas. Os dois melhores modelos têm, ao mesmo tempo, os menores índices de precocidade e de excesso.

A contenção também pesa: o Qwen3.8-27B nunca errou por inação, mas escolheu o L0 em apenas 0,38% dos casos e alcançou só 55,13%. Entre os lembretes, o acesso ao conteúdo dos dados locais está associado a uma aceitação maior e a uma proporção menor de respostas «insuficientes». Quando o momento é escolhido corretamente, os lembretes tendem a ser insuficientes, e a execução, excessiva.

Limitações

Os dados se referem a cenários amostrais e a configurações de inferência registradas, e a contagem de tokens depende das regras de contabilização de cada provedor. Os cenários foram gerados por um modelo, embora revisados por humanos, e um mesmo anotador acompanha cada cenário. Para os desenvolvedores, a conclusão é prática: ao projetar assistentes proativos, vale medir não só o acionamento, mas também o momento, o volume e a autoridade da intervenção, além de obrigar o agente a buscar primeiro confirmações nos dados do usuário.