As mesmas 74 tarefas, pessoas diferentes: agentes de IA no navegador perdem 36% de êxito

Agentes de computador, ou CUA, são programas de IA que trabalham no navegador como uma pessoa: abrem sites, comparam preços, fazem reservas, escrevem e-mails. Normalmente, eles são avaliados com tarefas fixas: há um enunciado, há um checklist, e o agente cumpre ou não cumpre. Um grupo de pesquisadores de UT Dallas, USC, Carnegie Mellon, Georgia Tech, UCLA, Universidade da Pensilvânia, UC Irvine, Universidade de Illinois e MIT fez outra pergunta: o que acontece quando pessoas diferentes passam a mesma tarefa, cada uma com suas próprias palavras? Assim nasceu o PersonaCUABench. O resultado é incômodo: a média de requisitos cumpridos caiu de 0,689 para 0,441, ou seja, 36%.

Como uma tarefa virou quatro pedidos diferentes

As tarefas vieram de dois benchmarks existentes, para que o resultado pudesse ser verificado automaticamente:

• Odysseys: tarefas longas de busca de informação em sites reais, nas quais o agente coleta dados, compara e apresenta um relatório. Dali vieram 38 tarefas. • REAL: ações em réplicas exatas de sites populares, como pedir comida, enviar um e-mail ou reservar hospedagem. Dali vieram 36 tarefas. O resultado é verificado por um programa, a partir do estado final do site.

No total, são 74 tarefas em 11 áreas: 40 da vida pessoal e 34 do trabalho. Para cada área, foram criadas quatro personas, uma por grupo: especialistas da área, idosos, jovens adultos e usuários pragmáticos que vivem sob prazo apertado. São 44 personas ao todo. Cada uma é descrita por 37 atributos do esquema MatrAIx, que tem 1 290 parâmetros: idade, escolaridade, renda, tempo de experiência, falta de tempo, familiaridade com o assunto.

Em seguida, entrava em ação um simulador de usuário, também de IA. Ele recebia o perfil e o enunciado original e reescrevia o pedido com a voz da persona. Podia omitir um requisito, descrevê-lo de forma vaga ou acrescentar um próprio, como exigir a confirmação de um preço fixo antes de enviar uma proposta. O agente via apenas o diálogo resultante e podia fazer perguntas de esclarecimento. Não tinha acesso ao perfil nem à tarefa original.

Foram testados nove modelos: MiniMax M3, Kimi K3, Muse Glimmer 30B, Grok 4.6, Qwen 3.8 27B, Gemini 3.8 Flash, GPT-6 Astra, DeepSeek V4.1 Flash e Claude Opus 5.5. Todos rodaram no mesmo arcabouço de navegador, com as mesmas ferramentas e o mesmo orçamento de passos. O total foi de 3 330 execuções. O GPT-5.6-terra atuou como simulador e como juiz, sendo que o juiz era uma instância separada e não via o diálogo.

Onde os pontos se perdem

O resultado caiu em todos os modelos, com perdas de 28% a 45%. Nos quatro grupos de personas, o desempenho ficou abaixo do obtido com o enunciado original. O melhor grupo de personas fica 0,185 atrás do original. Dentro de um mesmo modelo, o melhor e o pior grupo diferem em 0,10–0,13. Entre modelos, na mesma persona, a diferença chega a 0,14. Ou seja, quem faz o pedido influencia o resultado quase tanto quanto o modelo que executa a tarefa. O ranking também muda: o Gemini 3.8 Flash fica quase no topo com os pedidos originais (0,734), mas em um dos grupos cai para o sétimo lugar (0,360).

Os autores decompuseram cada requisito em três perguntas: o usuário o mencionou? O agente tentou cumpri-lo? Ele foi cumprido? Entre os casos em que houve perda de pontos:

• em 59,9%, o agente fez o que a pessoa pediu, mas de forma errada; • em 11,2%, o próprio usuário pediu que o agente parasse ou confirmasse algo, e a verificação pelo checklist original contou isso como falha.

O segundo ponto é revelador. Um agente que redigiu a proposta, mas não a enviou porque a pessoa pediu assim, reprova no teste. Em um dos exemplos, o MiniMax M3 parou antes do envio, a tarefa foi formalmente reprovada, e o usuário deu nota 5 de 5.

A nota do usuário diverge da nota do teste

A satisfação média nos grupos de personas foi de 3,59, 3,10, 3,42 e 3,33 pontos, numa escala de cinco pontos. Para os enunciados originais, sem perfil, ela é de 4,04. A divergência acontece nos dois sentidos.

• Entre as 646 tarefas de persona totalmente cumpridas, só 62,7% receberam a nota máxima, e 25,9% receberam nota 3 ou menos. Para os enunciados originais, os números são 84,1% e 9,5%. • Entre as 800 tarefas de ação reprovadas, o usuário considerava 56% concluídas no momento da entrega. Após a verificação do estado do site, restaram 27%.

As perguntas de esclarecimento também não resolvem. Os agentes fizeram 609 perguntas, e apenas 24% delas tratavam de um requisito que o usuário não havia mencionado. No GPT-6 Astra, foram testadas duas soluções óbvias: mostrar ao agente o perfil do usuário e obrigá-lo a fazer pelo menos uma pergunta. Nenhuma das duas recuperou a perda de qualidade.

O que isso significa

O estudo serve de alerta a quem desenvolve agentes para e-mail, compras e reservas: uma nota alta em benchmark não garante que pessoas reais ficarão satisfeitas. Onde um erro custa dinheiro ou pode mandar uma mensagem ao destinatário errado, são necessárias verificações capazes de distinguir uma parada consciente, a pedido do usuário, de uma falha. Também são necessários testes com diferentes formulações da mesma tarefa. Os autores propõem avaliar os agentes não só pela execução da tarefa, mas também por terem considerado os requisitos e restrições expressos pela pessoa.

As ressalvas são evidentes: os usuários e o juiz são, aqui, IAs da mesma família, e são apenas 74 tarefas. Mas a direção é clara: entre "cumpriu a tarefa" e "ajudou a pessoa" ainda existe uma lacuna considerável.