Benchmark iPrefBench: los agentes de iOS ejecutan el 91,6% de las acciones, pero resuelven solo el 47,7% de las tareas

Un agente que «te conoce» y actúa en tu nombre sigue siendo la gran promesa de los asistentes de IA. El nuevo benchmark iPrefBench muestra lo lejos que está esa promesa de la realidad. En 130 tareas deliberadamente incompletas repartidas en 26 aplicaciones de iOS, siete agentes punteros llegan al 91,6% en la puntuación por acciones realizadas, pero completan con éxito total no más del 47,7% de las tareas. Todo lo demás se lo lleva por delante la personalización.

Dos situaciones en las que el agente tiene que pensar

Los agentes actuales que trabajan con la interfaz resuelven con soltura las órdenes totalmente especificadas: abrir una app, recorrer las pantallas, pulsar los botones adecuados. Pero la gente real no habla así. Una petición como «pídeme lo de siempre» o «resérvalo como la última vez» omite la mitad de los parámetros. Para ejecutarla bien para esa persona concreta, el agente debe elegir entre dos estrategias.

La primera es deducir lo que falta a partir del historial de actividad del usuario. La segunda, preguntar aquello que no está en el historial ni puede estarlo. Además, el agente no debe inventar supuestos sin respaldo en los datos ni abrumar a la persona con preguntas innecesarias. Los autores del benchmark construyen la evaluación en torno a este equilibrio. Cada requisito omitido que depende del usuario es, por diseño, o bien history-inferable (se puede deducir del historial), o bien ask-only (solo se puede conocer preguntando).

Una persona con 3 051 eventos y un interlocutor simulado

El entorno es ejecutable: los agentes trabajan en un entorno iOS, no responden preguntas sobre capturas de pantalla. La base es una única persona coherente con 3 051 eventos de actividad pasada. Es el historial del que el agente puede extraer preferencias. Para el diálogo se usa un usuario simulado interactivo: si el agente decide aclarar un detalle, le responde el simulador, no una réplica grabada de antemano.

Parámetros del conjunto:

• 130 tareas de usuario incompletas;
• 26 aplicaciones;
• 3 051 eventos de historial en una sola persona;
• 2 tipos de requisitos omitidos: los deducibles del historial y los que exigen una pregunta;
• 7 agentes punteros evaluados;
• 2 grupos de métricas: ejecución personalizada de la tarea (si se hizo correctamente para ese usuario) e interacción del agente con el usuario (si el agente preguntó cuando era necesario);
• mejor resultado en la puntuación por acciones realizadas: 91,6%;
• mejor resultado en éxito completo de la tarea: 47,7%.

Dónde fallan los agentes

La conclusión principal es la brecha entre «sé pulsar» y «entiendo qué quiere la persona». La mecánica de ejecución de los mejores agentes está casi pulida y, por puntos de acción, parecen casi perfectos. Pero una tarea solo se considera resuelta si el resultado coincide con las preferencias del usuario, y ahí el resultado cae casi a la mitad.

El punto especialmente débil es la información ask-only. A los agentes les falta disciplina para detenerse a tiempo y preguntar: piden menos datos de los necesarios y siguen adelante a base de conjeturas. Es un modo peligroso para escenarios reales, como reservas, pagos o mensajes, donde un supuesto erróneo se convierte en una acción errónea. En las tareas con historial el panorama es, en general, más benigno, pero incluso ahí los agentes tienen que extraer lo relevante de miles de eventos.

El artículo se ha publicado en Hugging Face, en la página de la organización de Apple, y entre sus autores están Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols y Eldon Schoop. La elección misma de iOS y de un usuario simulado indica hacia dónde miran los desarrolladores: un agente personal en el teléfono no solo debe ejecutar, sino también conocer los límites de su propio conocimiento.

Para quienes construyen o eligen agentes móviles, la conclusión es práctica. Las métricas de pasos y de éxito de las acciones ya no dicen nada sobre la calidad: hay que medir por separado si el agente rellenó correctamente los parámetros omitidos y cuántas veces preguntó donde sin pregunta no se podía avanzar. Conviene revisar la política de aclaraciones, es decir, cuándo el agente está obligado a detenerse, y no solo la precisión de los clics. Y mientras los agentes no aprendan a distinguir entre «puedo averiguarlo» y «solo el usuario puede decirlo», delegarles por completo las tareas personales seguirá siendo arriesgado.