AgentHorizon: el mejor juez, GPT-5.5, solo alcanza un 80,9% en tareas largas de agentes

Los autores de AgentHorizon han publicado un benchmark de 1 373 tareas que no evalúa a los agentes computer-use, sino a los jueces automáticos que emiten un veredicto sobre su trabajo. De los once jueces probados, el mejor fue GPT-5.5 en configuración agéntica, con un 80,9% de balanced accuracy en el split principal AH. Estos jueces ya se usan tanto para entrenar agentes como para evaluarlos sin intervención humana. Por eso, ese resultado en tareas largas parece un margen de seguridad modesto.

Por qué es difícil juzgar una trayectoria larga

La trayectoria de un agente computer-use consiste en una larga secuencia de capturas de pantalla y acciones. Vista desde fuera, puede parecer completa y, aun así, incumplir una restricción de la instrucción o dejar un efecto secundario indeseado. Por ejemplo, el agente llegó hasta el final, pero lo hizo en otra aplicación o con otros parámetros. Para detectarlo, el juez debe contrastar todo el historial con la petición original del usuario. La prueba del éxito o del fracaso suele estar escondida en algún punto entre cientos de pasos.

Los autores construyeron el benchmark con 166 horas de grabaciones humanas en tres sistemas operativos. La clave está en cómo obtuvieron los ejemplos negativos. Para instrucciones de significado cercano se grabaron trayectorias independientes y después se intercambiaron las instrucciones. Así, el juez ve un trabajo hecho con diligencia, pero para una petición vecina e incompatible. La valoración «parece correcto» no sirve aquí: hay que comprobar que se hizo exactamente lo que se pidió.

Qué se midió y cómo

El benchmark se publica en tres variantes: el split frontier principal AgentHorizon (AH), el simplificado AgentHorizon-Simple (AH-S) y el de desarrollo AgentHorizon-Development (AH-D). Los once jueces se probaron de dos maneras. En la primera, se entregaba al modelo la trayectoria completa de una sola vez. En la segunda, los modelos trabajaban como agentes de programación dentro de cinco arneses agénticos (harness) distintos y podían examinar los materiales por su cuenta.

• 1 373 tareas en formato «instrucción — trayectoria»
• 166 horas de grabaciones humanas, tres sistemas operativos
• hasta 300 capturas de pantalla y acciones en una sola trayectoria
• 11 jueces, 5 arneses agénticos
• mejor resultado: GPT-5.5, 80,9% de balanced accuracy en AH

Qué mostraron los resultados

El acceso a herramientas no ayuda a todos. Algunos modelos rindieron mejor con él, pero en los modelos open-weight el resultado empeoró. El arnés agéntico no da una ventaja automática: el juez debe saber buscar bien en los datos y no perder el hilo en distancias largas.

La segunda observación se refiere al tipo de errores. Los jueces divergen mucho en su capacidad de aceptar una trayectoria correcta y rechazar una fallida. Uno tiende a aprobarlo todo; otro pone reparos a soluciones correctas. La precisión global no lo refleja, y por eso la métrica balanced accuracy resulta útil aquí: promedia la calidad en ambas clases, y el azar en una clasificación binaria da en torno al 50%. Frente a ese umbral, un 80,9% es un resultado notable, pero con una cola de errores considerable.

En sus conclusiones, los autores señalan la escasez de jueces capaces de encontrar y verificar las pruebas, a menudo ocultas, de que una tarea se ejecutó correctamente dentro de un historial de interacción largo.

Cómo usar estos datos en la práctica

Los equipos que entrenan agentes con recompensa automática o los comparan en ejecuciones de evaluación pueden probar a su propio juez con pares «instrucción propia — trayectoria ajena». Para ello bastan los tres splits de AgentHorizon. Conviene mirar por separado la proporción de trayectorias correctas aceptadas y la de trayectorias incorrectas rechazadas, y no solo la precisión global. En el caso de los jueces open-weight, vale la pena comprobar si conectar herramientas degrada el resultado. Mientras el mejor juez se equivoque con más frecuencia de la deseable, en tareas largas conviene mantener una revisión humana por muestreo.