Las mismas 74 tareas, otras personas: los agentes de IA en el navegador pierden un 36% de éxito

Los agentes de uso del ordenador, o CUA, son programas de IA que trabajan en el navegador como una persona: abren webs, comparan precios, hacen reservas y escriben correos. Por lo general se evalúan con tareas fijas: hay una formulación, hay una lista de comprobación y el agente la cumple o no. Un grupo de investigadores de UT Dallas, USC, Carnegie Mellon, Georgia Tech, UCLA, la Universidad de Pensilvania, UC Irvine, Illinois y MIT planteó otra pregunta: ¿qué ocurre si la misma tarea la encargan personas distintas, cada una con sus propias palabras? Así nació PersonaCUABench. El resultado es poco alentador: la proporción media de requisitos cumplidos cayó de 0,689 a 0,441, es decir, un 36%.

Cómo se convirtió una tarea en cuatro peticiones distintas

Las tareas proceden de dos benchmarks ya existentes, para que el resultado pudiera comprobarse de forma automática:

• Odysseys: tareas largas de búsqueda de información en webs reales, en las que el agente recopila datos, compara y presenta un informe. De aquí salen 38 tareas. • REAL: acciones en réplicas exactas de webs populares, por ejemplo pedir comida, enviar un correo o reservar alojamiento. De aquí salen 36 tareas. Un programa verifica el resultado según el estado final del sitio.

En total son 74 tareas en 11 áreas: 40 de la vida cotidiana y 34 del trabajo. Para cada área se crearon cuatro personas, una por grupo: expertos del ámbito, personas mayores, adultos jóvenes y usuarios prácticos que viven con plazos encima. En total, 44 personas. Cada una se describe con 37 atributos del esquema MatrAIx, de 1 290 parámetros: edad, formación, ingresos, experiencia laboral, falta de tiempo y familiaridad con el tema.

Después entraba en juego un simulador de usuario, también basado en IA. Recibía el perfil y la formulación original, y la reescribía con la voz de la persona. Podía omitir un requisito, describirlo de forma vaga o añadir uno propio; por ejemplo, exigir que se confirmara un precio fijo antes de enviar la propuesta. El agente solo veía el diálogo resultante y podía hacer preguntas aclaratorias. No tenía ni el perfil ni la tarea original.

Se probaron nueve modelos: MiniMax M3, Kimi K3, Muse Glimmer 30B, Grok 4.6, Qwen 3.8 27B, Gemini 3.8 Flash, GPT-6 Astra, DeepSeek V4.1 Flash y Claude Opus 5.5. Todos trabajaron con la misma infraestructura de navegador, las mismas herramientas y el mismo presupuesto de pasos. En total fueron 3 330 ejecuciones. GPT-5.6-terra hizo de simulador y de juez; el juez era una instancia independiente y no veía el diálogo.

Dónde se pierden los puntos

El resultado cayó en todos los modelos, con pérdidas de entre el 28% y el 45%. En los cuatro grupos de personas el resultado es inferior al de la formulación original. El mejor grupo de personas queda 0,185 por debajo del original. Dentro de un mismo modelo, el mejor y el peor grupo difieren entre 0,10 y 0,13. Entre modelos, la dispersión en un mismo grupo llega a 0,14. Es decir, quién formula la petición influye en el resultado casi tanto como qué modelo la ejecuta. La clasificación también cambia: Gemini 3.8 Flash está casi en cabeza con las peticiones originales (0,734), pero en uno de los grupos acaba séptimo (0,360).

Los autores desglosaron cada requisito en tres preguntas: si el usuario lo expresó, si el agente lo abordó y si se cumplió. Entre los casos en los que se pierden puntos:

• en el 59,9%, el agente se ocupó de lo que pedía la persona, pero lo hizo mal; • en el 11,2%, el propio usuario pidió detenerse o confirmar, y la verificación con la lista de comprobación original lo contó como un fallo.

El segundo punto es revelador. Un agente que redacta la propuesta pero no la envía porque la persona así lo pidió suspende la prueba. En uno de los ejemplos, MiniMax M3 se detuvo antes de enviar, la tarea quedó formalmente suspendida y el usuario puso un 5 sobre 5.

La valoración del usuario no coincide con la de la prueba

La satisfacción media por grupos de personas fue de 3,59, 3,10, 3,42 y 3,33 puntos en una escala de cinco. Para las formulaciones originales, que no tienen perfil, es de 4,04. La discrepancia va en ambos sentidos.

• De las 646 tareas con persona completadas con éxito, solo el 62,7% recibió la nota máxima y el 25,9% obtuvo un 3 o menos. Para las formulaciones originales, las cifras son 84,1% y 9,5%. • De las 800 tareas de acción fallidas, el usuario consideraba hechas el 56% en el momento de la entrega. Tras comprobar el estado del sitio, quedó el 27%.

Las preguntas aclaratorias tampoco resuelven el problema. Los agentes hicieron 609 preguntas y solo el 24% se refería a un requisito que el usuario no había expresado. En GPT-6 Astra se probaron dos remedios evidentes: mostrar al agente el perfil del usuario y obligarlo a hacer al menos una pregunta. Ninguno de los dos recuperó la calidad perdida.

Qué implica

Para quienes construyen agentes de correo, compras y reservas, el estudio es una advertencia: una puntuación alta en un benchmark no garantiza que las personas reales queden satisfechas. Donde un error cuesta dinero o puede enviar un mensaje al destinatario equivocado, hacen falta verificaciones que distingan una parada deliberada a petición del usuario de un fallo. También hacen falta pruebas con distintas formulaciones de una misma tarea. Los autores proponen evaluar a los agentes no solo por si completan la tarea, sino también por si tuvieron en cuenta los requisitos y las restricciones que expresó la persona.

Las salvedades son evidentes: los usuarios y el juez son aquí también IA, además de la misma familia, y las tareas son solo 74. Aun así, la dirección es clara: entre «completó la tarea» y «ayudó a la persona» sigue habiendo una brecha notable.