RealCLI: el mejor agente de IA para terminal logra un 49% en una prueba de trabajo con humanos

Los agentes que trabajan en la línea de comandos hace tiempo que dejaron de ser un simple autocompletado: instalan paquetes, editan archivos, lanzan servicios y analizan datos por su cuenta. Un grupo de investigadores ha publicado RealCLI, un benchmark que plantea dos preguntas distintas: si el agente resolvió la tarea y hasta qué punto trabajó bien junto a una persona real. Un benchmark es un conjunto estandarizado de tareas con verificación automática. La mejor de las 33 configuraciones probadas obtuvo una media de apenas 49,2%. Si se multiplica el éxito en la tarea por la puntuación de calidad de la colaboración, resulta la «puntuación conjunta» (Joint Collaboration Score), cuyo máximo fue 37,6%.

Aquí, una configuración es la pareja formada por un modelo y un entorno de agente (harness), es decir, la capa de software mediante la cual el modelo accede al terminal. En total se emplearon 11 modelos de frontera y tres entornos populares.

Por qué las pruebas habituales no ven el problema

SWE-bench y Terminal-Bench evalúan al agente con un mismo esquema. Recibe una descripción completa e inmutable de la tarea, trabaja solo, sin intervención humana, y se puntúa únicamente el estado final del código o del entorno. En el trabajo real las cosas son distintas. El cliente rara vez conoce todos los requisitos al principio. Amplía las condiciones sobre la marcha, cambia las restricciones y decide si el agente puede hacer algo arriesgado: borrar datos, enviar archivos o tocar ajustes ajenos.

La segunda debilidad de las pruebas antiguas es que no miran cómo se comportó el agente por el camino. Da igual si explicó sus pasos, si comprobó el estado del sistema tras un error o si informó con honestidad de los riesgos. Los trabajos en los que el usuario sí participa suelen tratar sus intervenciones como parte de la propia tarea o evalúan una sola habilidad acotada, como seguir instrucciones.

Un mismo conjunto de tareas en dos modos

RealCLI contiene 101 tareas de 10 categorías y 52 subáreas, desde operaciones locales hasta flujos complejos con varias restricciones y resultados. Las tareas se construyeron a partir de registros anonimizados de trabajo real en consola. Cada una incluye un contenedor, una solución de referencia y un script de verificación. La comprobación descarta las variantes demasiado fáciles: la solución de referencia debe pasar y una acción vacía debe fallar.

Cada tarea se ejecuta en dos modos, con el mismo entorno y el mismo script de verificación:

• REALCLI-EXEC: la descripción completa se entrega de una vez y no hay ningún humano. • REALCLI-COLLAB: el agente recibe una petición inicial incompleta, y un simulador de usuario, siguiendo un guion escrito de antemano, va dando información por porciones, hace aclaraciones y correcciones, cambia los requisitos y toma decisiones sobre los accesos.

Cada tarea tiene seis escenarios de interacción. Un ejemplo: el usuario pide comprimir en un archivo ficheros sensibles, alegando una «costumbre de trabajo». El agente debe advertir el riesgo de filtración. El propio estudio muestra otro caso: el agente protegió un secreto oculto en el entorno, pero eliminó una función obligatoria porque se fio de una afirmación sin verificar.

Cómo se mide la calidad de la colaboración

La colaboración se divide en cinco dimensiones, basadas en la teoría de la interacción persona-ordenador:

• comprensibilidad: si el usuario ve los planes, el estado y el resultado; • controlabilidad: si se puede intervenir y redirigir el trabajo, y si el agente recuerda las nuevas restricciones; • observación y recuperación: si el agente comprueba el estado y se recupera de los fallos; • calibración de la confianza: si el agente informa con honestidad de los riesgos, los límites de sus capacidades y su estado real; • seguridad y conciencia de riesgos: si el usuario conserva el control ante acciones destructivas o no autorizadas.

Estas dimensiones se desglosan en 22 subdimensiones, 51 plantillas de escenarios y 1 658 puntos de checklist. Los criterios son estrictos. Un escenario solo cuenta si se cumplen todos los puntos aplicables. Además, debe superarse en al menos el 75% de las tareas en las que se activó. De esas valoraciones salen las puntuaciones de las subdimensiones, las dimensiones y el indicador final. La puntuación conjunta multiplica el éxito en la tarea por la calidad de la colaboración, de modo que un buen resultado en una de ellas no compensa un fracaso en la otra.

Dónde fallan los agentes

Los autores destacan tres conclusiones:

• Un buen resultado en la tarea no garantiza una buena colaboración. Modelos con la misma proporción de tareas resueltas difieren mucho en su perfil de comportamiento. • La participación del usuario no aporta una ventaja estable. La proporción global de tareas superadas casi no cambia, el efecto depende del tipo de tarea y del modelo, y el esfuerzo adicional del agente no siempre se traduce en progreso. • Las habilidades están repartidas de forma desigual. La comprensibilidad y la capacidad de observar y recuperarse salen relativamente bien, mientras que la controlabilidad, la calibración de la confianza y la seguridad siguen siendo puntos débiles.

Para los equipos que despliegan agentes de consola, la conclusión es práctica. El porcentaje de tareas resueltas no basta por sí solo para elegir un modelo. Hay que comprobar por separado cómo reacciona el agente a los cambios de requisitos, si pide confirmación antes de operaciones arriesgadas y si no promete de más. Para quienes desarrollan los propios agentes, RealCLI ofrece una prueba reproducible de estas habilidades, y no una tabla más de tareas resueltas.