IBM y Artificial Analysis crean un benchmark: los agentes de IA fracasan en tareas de TI

IBM y Artificial Analysis han presentado ITBench-AA, el primer benchmark integral para evaluar la capacidad de los agentes de IA de resolver tareas reales en entornos de TI corporativos. Los resultados son descorazonadores: los modelos líderes obtuvieron menos del 50%. El sueño de ingenieros de IA autónomos sigue siendo solo eso, un sueño.

Qué evaluó ITBench-AA

El benchmark incluía escenarios de operaciones de TI de la vida real: configuración de infraestructuras de red, gestión de bases de datos, depuración de errores en sistemas de producción, despliegue de aplicaciones, monitorización y optimización de recursos. No son tareas escritas sencillas en las que basta dar la respuesta correcta. Aquí la IA debe actuar como un ingeniero de pleno derecho: interactuar con las interfaces de los sistemas, analizar logs de errores, tomar decisiones en condiciones de incertidumbre y corregir el enfoque si el primer intento no funciona.

Se probaron modelos avanzados: GPT-4, Claude 3 Opus, Gemini Ultra y otros. Los resultados fueron parecidos: todos rondaron el 45–50%. Más llamativo aún: al intentar procedimientos complejos de varios pasos, los agentes a menudo se atascaban o cometían errores críticos.

Cuál es el verdadero problema

El 50% no es solo un mal resultado. Es una señal de limitaciones fundamentales. El trabajo de TI exige no solo conocimientos amplios, sino también cualidades que la IA aún muestra de forma irregular:

• Ausencia de errores: un solo fallo puede tumbar un sistema para miles de usuarios
• Coherencia de razonamiento: los procedimientos de varios pasos exigen seguir la lógica con rigor
• Comprensión del contexto: saber no solo qué hacer, sino por qué cada paso es crítico
• Adaptación sobre la marcha: cuando la instrucción estándar no encaja por las particularidades del entorno
• Responsabilidad: la capacidad de detenerse y pedir ayuda a una persona cuando hay dudas

Tal como están hoy, los agentes son más bien sistemas que pueden ayudar, pero requieren supervisión constante y validación de sus resultados.

Una revisión de expectativas

ITBench-AA ya influye en las estrategias de las empresas. La ilusión de los «trabajadores digitales que sustituirán al departamento de TI en un mes» se disipa. En su lugar crece la demanda de soluciones más realistas: una alianza entre personas e IA, donde el agente asume la rutina (actualizar configuraciones, monitorización básica, registro) y el ingeniero mantiene el control de las operaciones críticas.

Por primera vez, el benchmark también crea un estándar reconocido para evaluar agentes. ITBench-AA será una herramienta para que los desarrolladores de modelos sepan en qué trabajar en las próximas versiones.

Qué significa

La IA avanza, pero más despacio de lo que prometen las startups. Buena noticia para los profesionales de TI: su competencia sigue siendo un recurso escaso. Para las empresas, la señal es que la automatización total de las tareas de TI no es un proyecto de uno o dos años. Para los desarrolladores de modelos, es una hoja de ruta concreta de mejoras.