Los agentes multimodales pierden hasta un 53% de eficacia al integrar sus modulos en un sistema

Un clasificador casi infalible todavia no convierte a un agente en un sistema fiable. Esa es, probablemente, la principal conclusion practica de una seleccion reciente de trabajos sobre modelos multimodales y robots. En uno de los estudios, un modulo individual identificaba el tipo de solicitud necesario con una precision del 99,84%, pero el sistema integrado solo cumplia por completo los requisitos en el 47,08% de los escenarios complejos.

El problema resultara familiar a cualquiera que haya creado un producto a partir de varios componentes de IA. El reconocimiento funciono, el buscador encontro el documento y el modelo eligio una herramienta, pero el usuario aun asi recibio un resultado incorrecto. El error no aparece necesariamente dentro de un unico modulo. Surge en las conexiones: el agente interpreto mal la intencion, llamo a una herramienta inadecuada, omitio una comprobacion o ejecuto los pasos correctos en el orden equivocado.

La precision de los componentes no equivale a la fiabilidad del sistema

Un buen ejemplo es SkinAgent AI, un asistente para el cuidado de la piel que analiza una fotografia, aclara la solicitud y selecciona productos. Sus autores lo limitaron deliberadamente a recomendaciones no medicas: el sistema no debe emitir diagnosticos y esta obligado a respetar las normas de seguridad.

Los componentes individuales parecian convincentes. El clasificador de solicitudes tematicas alcanzo una precision del 99,84%. Sin embargo, en un conjunto interno de 240 tareas complejas, el agente identifico correctamente la intencion del usuario en el 80% de los casos, eligio el conjunto exacto de herramientas en el 62,92% y completo todo el flujo sin infringir los requisitos solo en el 47,08% de los casos.

Imaginemos un servicio de soporte donde el operador casi siempre identifica correctamente el tema de la consulta, pero despues, en la mitad de los casos, abre el formulario equivocado, olvida verificar los datos o cierra la solicitud antes de tiempo. La elevada precision del primer paso sirve de poco consuelo.

Para un equipo de producto, la conclusion es sencilla: no basta con medir la calidad del reconocimiento, la busqueda o la generacion. Hace falta una metrica integral: la proporcion de tareas completadas correctamente, de forma segura y sin omitir pasos. Ademas, las pruebas deben incluir solicitudes ambiguas, fallos de las herramientas y datos que no aparecian en las demostraciones de los desarrolladores.

Las metricas internas tambien pueden enganar

Otro trabajo puso a prueba una idea muy extendida: si las representaciones internas del texto y la imagen son similares, significa que el modelo realmente utiliza la imagen. Los investigadores sustituyeron la imagen por ruido aleatorio. La calidad de las respuestas cayo bruscamente, pero algunos indicadores de «alineacion» siguieron mostrando una similitud elevada.

Dicho de otro modo, el instrumento seguia indicando valores normales incluso despues de que desapareciera la señal util. Para los desarrolladores, esto supone una advertencia: los atractivos graficos de las capas ocultas no pueden considerarse una prueba de que el modelo comprende la imagen. Estos indicadores deben evaluarse junto con el resultado obtenido en una tarea real. Una prueba minima util consiste en retirar la imagen, sustituirla por ruido o proporcionar una imagen contradictoria y observar si la respuesta cambia de la forma esperada.

El simulador es un campo de pruebas, no una prueba de aceptacion

En los estudios de robotica, los agentes de programacion escribieron por si mismos programas para planificar movimientos y, en varios entornos, lograron tasas de ejecucion satisfactoria del 56–95%, frente al 47% de un planificador convencional. Es una señal importante: el agente puede experimentar, precisar las reglas del entorno y transferir el programa descubierto a nuevas disposiciones de objetos.

Sin embargo, las pruebas se realizaron principalmente en simulacion, donde el agente veia el estado exacto de los objetos. Una camara real comete errores de profundidad, pierde de vista objetos ocultos y modifica su estimacion de las coordenadas cuando cambia la iluminacion. Por eso, los resultados no pueden trasladarse directamente a un almacen o a una linea de produccion.

La misma cautela es necesaria al evaluar la verificacion de datos por voz. Un sistema alcanzo una precision del 86,1%, pero se probo con voz sintetizada por una unica voz y sin ruido de fondo real. Para podcasts, entrevistas y emisiones en directo, de momento es un prototipo, no una garantia de calidad lista para produccion.

La conclusion practica es una: estructura la evaluacion en torno al flujo completo del usuario. Comprueba las conexiones entre modulos, deteriora deliberadamente los datos de entrada y etiqueta por separado los resultados obtenidos en simulacion. Hoy, gran parte de la fiabilidad de los sistemas de IA se pierde precisamente ahi, entre una demostracion espectacular y un producto que funciona.