AgentVQA evaluó 22 VLM en tareas de agentes: la mejor obtuvo solo un 58,5%

El mejor de los 22 modelos visión-lenguaje evaluados alcanzó en el nuevo benchmark AgentVQA una precisión de solo el 58,5%. Se trata de un conjunto offline de 1000 ejemplos complejos, seleccionados a mano a partir de 23 datasets de origen. Abarca cinco áreas en las que los VLM trabajan como agentes: agentes web, robótica, vídeo en primera persona, juegos y planificación espacial. Los autores afirman que el ranking de modelos en AgentVQA reproduce el de las evaluaciones online correspondientes. Por tanto, una prueba rápida y barata podría sustituir parte de las costosas ejecuciones en simuladores.

Por qué las evaluaciones online de agentes chocan con el coste

Los VLM hacen muchas cosas: describen imágenes, leen interfaces y responden preguntas sobre vídeo. Sin embargo, se sabe mucho menos de cómo se comportan dentro de un ciclo de agente, donde deben mirar una pantalla o una escena, elegir una acción y ver sus consecuencias. La vía directa para comprobarlo es una evaluación online en un simulador o en un entorno real. Es imprescindible, pero cara, escala despacio y sus resultados son difíciles de comparar entre equipos.

Los benchmarks offline de preguntas y respuestas (VQA) podrían cerrar esa brecha. Los autores de AgentVQA señalan que los conjuntos existentes están fragmentados y son limitados: cada uno cubre un dominio estrecho y no hay una escala común para escenarios de agentes. AgentVQA intenta reunir esa escala en un único conjunto.

Cómo se reunieron mil ejemplos «difíciles»

El equipo no recopiló los datos de forma automática, sino que eligió los ejemplos a mano a partir de 23 fuentes. El criterio fue que fueran escenas realistas y realmente complejas, procedentes de entornos interactivos. Después adaptaron los ejemplos para poder evaluarlos de forma fiable sin ejecutar el entorno. Una situación real de una tarea interactiva se convierte en una pregunta con respuesta verificable, y se conserva el contexto original.

El principal argumento a favor de esta metodología es la correlación con los resultados online. Si el modelo A supera al modelo B en el simulador, por lo general también lo supera en AgentVQA. Para los laboratorios, eso supone un indicador rápido de progreso. Para los clientes, una forma de comparar modelos antes de una integración costosa.

Parámetros clave del benchmark:

• 1000 ejemplos seleccionados a mano;
• 23 datasets de origen;
• cinco dominios: agentes web, robótica, vídeo en primera persona, juegos, planificación espacial;
• 22 modelos evaluados;
• mejor resultado: 58,5% de precisión;
• el ranking de modelos concuerda con las evaluaciones online.

Dónde fallan los modelos: la percepción, no la lógica

La parte más interesante del trabajo es el análisis de errores entre dominios. Los autores estudiaron por qué fallan los modelos y concluyeron que la causa no es una comprensión errónea de la tarea ni una lógica débil en el paso siguiente. El problema principal está en anclar la pregunta a la imagen y mantener una representación precisa del estado visual actual y de sus cambios.

En concreto, hay cuatro tipos de fallos:

• localizar los elementos necesarios de la interfaz en la pantalla;
• interpretar el movimiento;
• seguir los cambios de estado a lo largo del tiempo;
• inferir relaciones espaciales tridimensionales.

Los cuatro aparecen en distintos dominios. Un agente web tiene que encontrar un botón; un robot, entender hacia dónde se ha desplazado un objeto; un agente de juegos, no perder de vista qué ha cambiado entre fotogramas; y un planificador, estimar la posición relativa de los objetos en 3D. Estas tareas comparten una raíz: la percepción sigue siendo el cuello de botella.

Qué deben hacer los equipos que construyen agentes

Primera conclusión práctica: no basta con reforzar la capacidad de razonamiento del modelo si este ve mal la escena de entrada. Conviene mejorar precisamente el anclaje visual, con entrenamiento en datos con localización precisa de elementos, vídeo con dinámica, secuencias de estados y anotación espacial.

La segunda conclusión atañe al proceso de desarrollo. AgentVQA puede servir como filtro previo rápido: se evalúa a los candidatos offline, se descartan los peores y solo los mejores pasan a los costosos entornos online. La correlación con los rankings online da sentido a este enfoque, aunque no elimina la validación final en un entorno real.

La tercera conclusión es para quienes eligen un modelo para un producto. El 58,5% del líder entre 22 modelos indica que, en escenarios complejos de agentes, los VLM actuales están lejos de ser fiables. Si el agente debe hacer clic en interfaces, controlar un robot o planificar en el espacio, necesitará comprobaciones de percepción, mecanismos de reversión y supervisión humana en los pasos críticos. El desglose de errores por tipo, además, indica adónde dirigir primero el esfuerzo de ingeniería.