IBM y Artificial Analysis crean benchmark: agentes de IA fracasan en tareas de TI

IBM y Artificial Analysis presentaron ITBench-AA — el primer benchmark integral para evaluar la capacidad de los agentes de IA para resolver tarefas reales en entornos de TI corporativos. Los resultados son desalentadores: los modelos líderes puntuaron menos del 50%. Esto significa que el sueño de ingenieros de IA autónomos sigue siendo solo un sueño.

Qué probó ITBench-AA

El benchmark incluía escenarios reales de operaciones de TI: configuración de infraestructuras de red, gestión de bases de datos, depuración de errores en sistemas en producción, despliegue de aplicaciones, monitoreo y optimización de recursos. Estas no son tareas escritas simples donde necesitas proporcionar la respuesta correcta. Aquí, la IA debe actuar como un ingeniero de pleno derecho: interactuar con interfaces de sistemas, analizar registros de errores, tomar decisiones bajo incertidumbre, ajustar el enfoque si el primer intento no funcionó.

Se probaron modelos líderes: GPT-4, Claude 3 Opus, Gemini Ultra y otros. Los resultados fueron aproximadamente los mismos: todos tuvieron un desempeño alrededor del 45–50%. Aún más notable es que al intentar ejecutar procedimientos complejos de múltiples pasos, los agentes a menudo se atascaban o cometían errores críticos.

Cuál es el verdadero problema

La cifra del 50% no es solo un resultado bajo. Es una señal de limitaciones fundamentales. El trabajo de TI requiere no solo conocimiento extenso, sino también cualidades que la IA actualmente posee de manera inconsistente:

• Impecabilidad — un error puede derribar un sistema para miles de usuarios
• Pensamiento secuencial — los procedimientos de múltiples pasos requieren adherencia estricta a la lógica
• Comprensión contextual — saber no solo qué hacer, sino por qué cada paso es crítico
• Adaptación sobre la marcha — cuando las instrucciones estándar no se adaptan debido a especificidades del entorno
• Responsabilidad — la capacidad de retroceder y pedir ayuda humana cuando se está inseguro

Los agentes en su forma actual son más bien sistemas que pueden ayudar, pero requieren supervisión constante y validación de resultados.

Reajuste de expectativas

ITBench-AA ya está influyendo en las estrategias de las empresas. La ilusión de "trabajadores digitales que reemplazarán el departamento de TI en un mes" se está desvaneciendo. En su lugar, crece la demanda de soluciones más realistas: asociación entre humanos e IA, donde el agente asume el trabajo rutinario (actualizaciones de configuración, monitoreo básico, registro), e ingeniero mantiene el control sobre operaciones críticas.

El benchmark también crea por primera vez un estándar universalmente reconocido para evaluar agentes. ITBench-AA se convertirá en una herramienta para que los desarrolladores de modelos comprendan en qué trabajar en las próximas versiones.

Qué significa esto

La IA está evolucionando, pero la evolución se mueve más lentamente que lo que prometen las startups. Buenas noticias para especialistas en TI: su experiencia sigue siendo un recurso escaso. Para las empresas, esta es una señal: la automatización completa de tarefas de TI no es un proyecto para uno o dos años. Para desarrolladores de modelos, es un hoja de ruta específica para mejoras.