Benchmark iPrefBench: agentes de iOS executam 91,6% das ações, mas resolvem 47,7% das tarefas

O agente que "conhece você" e age em seu nome continua sendo a principal promessa dos assistentes de IA. O novo benchmark iPrefBench mostra o quanto essa promessa ainda está distante da realidade. Em 130 tarefas deliberadamente incompletas, distribuídas por 26 apps de iOS, sete agentes de ponta chegam a 91,6% na pontuação de ações executadas, mas concluem com sucesso total no máximo 47,7% das tarefas. O restante se perde na personalização.

Duas situações em que o agente precisa pensar

Os agentes atuais que operam a interface lidam bem com comandos totalmente especificados: abrir o app, navegar pelas telas, tocar nos botões certos. Mas as pessoas não falam assim. Um pedido como "peça o de sempre" ou "reserve como da última vez" deixa de fora metade dos parâmetros. Para cumpri-lo corretamente para aquela pessoa específica, o agente precisa escolher entre duas estratégias.

A primeira é deduzir o que falta a partir do histórico de atividade do usuário. A segunda é perguntar o que não está no histórico e não poderia estar. Ao mesmo tempo, o agente não pode inventar suposições sem respaldo em dados, nem inundar a pessoa de perguntas desnecessárias. Os autores do benchmark constroem a avaliação em torno desse equilíbrio. Cada requisito omitido que depende do usuário é, por construção, ou history-inferable (dedutível do histórico) ou ask-only (descoberto apenas por meio de uma pergunta).

Uma persona com 3 051 eventos e um interlocutor simulado

O ambiente é executável: os agentes trabalham em um ambiente iOS, e não respondem a perguntas sobre capturas de tela. A base é uma única persona coerente, com 3 051 eventos de atividade passada. É esse o histórico de onde o agente pode extrair preferências. Para o diálogo, o benchmark usa um usuário simulado interativo: se o agente decide esclarecer um detalhe, quem responde é o simulador, e não uma resposta gravada previamente.

Parâmetros do conjunto:

• 130 tarefas de usuário incompletas;
• 26 aplicativos;
• 3 051 eventos de histórico em uma única persona;
• 2 tipos de requisitos omitidos: os dedutíveis do histórico e os que exigem uma pergunta;
• 7 agentes de ponta testados;
• 2 grupos de métricas: execução personalizada da tarefa (se foi feita corretamente para aquele usuário) e interação do agente com o usuário (se o agente perguntou quando era necessário);
• melhor resultado na pontuação de ações executadas: 91,6%;
• melhor resultado em sucesso total da tarefa: 47,7%.

Onde os agentes falham

A principal conclusão é a distância entre "sei tocar na tela" e "entendo o que a pessoa quer". A mecânica de execução dos melhores agentes está quase afinada e, pelos pontos de ação, eles parecem quase perfeitos. Mas a tarefa só conta como resolvida se o resultado final coincidir com as preferências do usuário, e aí o desempenho cai quase pela metade.

O ponto mais fraco é a informação ask-only. Falta aos agentes disciplina para parar a tempo e perguntar: eles pedem menos dados do que o necessário e seguem em frente na base do palpite. É um modo perigoso para cenários reais, como reservas, pagamentos e mensagens, em que uma suposição errada vira uma ação errada. Nas tarefas baseadas no histórico, o quadro é em geral mais ameno, mas mesmo ali os agentes precisam garimpar o dado certo entre milhares de eventos.

O artigo foi publicado no Hugging Face, na página da organização Apple, e entre os autores estão Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols e Eldon Schoop. A escolha do iOS e de um usuário simulado já indica para onde os desenvolvedores estão olhando: um agente pessoal no celular deve não só executar, mas também conhecer os limites do que sabe.

Para quem constrói ou escolhe agentes móveis, a conclusão é prática. Métricas de passos e de sucesso das ações já não dizem nada sobre a qualidade: é preciso medir separadamente se o agente preencheu corretamente os parâmetros omitidos e quantas vezes perguntou onde não dava para seguir sem perguntar. Vale avaliar a política de esclarecimentos, ou seja, quando o agente é obrigado a parar, e não apenas a precisão dos toques. E, enquanto os agentes não aprenderem a distinguir "posso descobrir isso" de "só o usuário pode dizer isso", delegar a eles tarefas pessoais por completo continuará arriscado.