Los agentes proactivos en HALO resultan intrusivos: el 61,20% de las respuestas rechazadas llegan demasiado pronto o son excesivas

Investigadores de la Universidad de California en Davis y la Universidad del Sur de California han presentado HALO, un benchmark para agentes proactivos: asistentes que deciden por su cuenta si hay que ayudar, cuándo hacerlo y hasta dónde llegar, sin esperar una petición directa. Los autores contaron con 20 expertos, que evaluaron manualmente 8000 respuestas de 10 modelos. La conclusión principal es incómoda para toda la industria: incluso el mejor modelo ofrece una ayuda aceptable en el 72,88% de los casos, y la causa principal de los fallos es un exceso de iniciativa.

Cómo funciona HALO y qué evalúa

El benchmark describe cuatro tipos de necesidades. Dependencia (Dependency) es una condición que falta para una tarea futura. Bloqueo (Blockage) es una situación en la que la actividad en curso no puede continuar. Riesgo (Risk) es un posible resultado adverso que todavía no se ha producido. Oportunidad (Opportunity) es un beneficio opcional cuya ausencia no rompe nada.

Todo ello se reparte en 10 áreas de la vida cotidiana: estudios, trabajo, hogar, familia y cuidado de allegados, salud, viajes, finanzas personales, vida comunitaria, vida social y cultural, y aficiones y deporte. Cada área tiene cinco personajes, lo que suma 50 entornos personales, y cada entorno incluye ocho escenarios: 400 en total.

El entorno HALO-Arena incluye correo, calendario, chat, contactos y cartera, respaldados por bases de datos SQLite y archivos de texto. El agente dispone de 29 comandos para buscar información y 19 para actuar. Antes de responder debe encontrar pruebas en datos estructurados o no estructurados y solo después decidir si la ayuda está justificada. Un ejemplo del artículo: una entrada de calendario sobre un viaje puede llevar al agente a revisar la base de datos en busca de los objetos necesarios y de un archivo con el permiso de compra. Esos datos justifican un recordatorio, pero no la compra en sí.

Las respuestas se dividen en cuatro niveles: L0, observación sin intervención; L1, llamar la atención del usuario; L2, preparar una acción sin compromisos externos; L3, ejecución que modifica compromisos o tiene un efecto externo. Un nivel alto no implica mejor ayuda: cuando la contención es adecuada, también se acepta L0.

Los escenarios se construyeron con GPT5.6-Sol y pasaron por un validador, un modelo revisor y dos auditores humanos; un tercero resolvía los casos dudosos. Para el etiquetado se tomaron 2160 puntos de control, con 800 respuestas por modelo. El experto decide primero si la respuesta se acepta y, en las rechazadas, indica qué falla: demasiado pronto, demasiado tarde, insuficiente, excesiva u otros problemas, como la falta de apoyo en los datos.

Resultados: gran dispersión y un líder sin holgura

La aceptabilidad oscila entre el 30,38% de GPT-OSS-20B y el 72,88% de Gemini3.8-Flash, una brecha de 42,50 puntos. Entre los modelos abiertos lidera DeepSeekV4-Pro, con un 56,63%. Los modelos cerrados obtienen de media un 63,08% y los abiertos, un 47,55%, pero los grupos se solapan: DeepSeekV4-Pro superó tanto a Gemini3.1-Pro como a GPT5.6-Luna.

Lo más habitual es que los modelos elijan L1, es decir, que simplemente llamen la atención del usuario: el 69,20% de todas las respuestas. La preparación (L2) es rara, con un 4,18%, y la ejecución (L3) llega al 16,09%. La proporción de ejecución es casi idéntica en ambos grupos, en torno al 16,1%, así que no explica la diferencia de calidad. Los modelos cerrados optan por la inacción aproximadamente el doble de veces.

Hay una diferencia notable en la búsqueda de datos. Los modelos abiertos hacen de media 1,21 rondas de búsqueda por respuesta, frente a 2,55 de los cerrados, es decir, un 53% menos aproximadamente, aunque el gasto de tokens de razonamiento es comparable: 4,77 mil frente a 5,53 mil. Además, Claude-Opus5.5, que ocupó el segundo puesto entre los cerrados, gasta alrededor del 23% de los tokens de razonamiento del líder, de modo que un buen resultado no exige un gasto máximo.

El problema principal es el exceso, no la pasividad

De las 3575 respuestas rechazadas, 2188 (61,20%) correspondían a una reacción demasiado temprana o a una intensidad excesiva. La proporción por modelo va del 44,23% al 79,66%, y en seis de los diez supera la mitad. La intervención demasiado temprana es casi tres veces más frecuente que la tardía, y la excesiva, aproximadamente el doble que la insuficiente. El patrón se repite en los cuatro tipos de necesidades y en las diez áreas. Los dos mejores modelos tienen a la vez los índices más bajos de prematuridad y de exceso.

La contención también influye: Qwen3.8-27B nunca se equivocó por inacción, pero eligió L0 solo en el 0,38% de los casos y obtuvo apenas un 55,13%. En los recordatorios, el acceso al contenido de los datos locales se asocia con una mayor aceptabilidad y una menor proporción de respuestas «insuficientes». Si el momento se elige bien, los recordatorios resultan insuficientes con más frecuencia y la ejecución, excesiva.

Limitaciones

Los datos se refieren a escenarios seleccionados y a los ajustes de inferencia registrados, y el recuento de tokens depende de las reglas de contabilidad de cada proveedor. Los escenarios fueron generados por un modelo, aunque verificados por personas, y de cada escenario se ocupa el mismo anotador. Para los desarrolladores, la conclusión es práctica: al diseñar asistentes proactivos conviene medir no solo cuándo se activan, sino también el momento, el alcance y las atribuciones de la intervención, y obligar al agente a buscar primero confirmaciones en los datos del usuario.