MisVisAgentBench: los gráficos engañosos reducen en 34 p.p. el éxito de los agentes web

Un grupo de investigadores ha presentado en arXiv el benchmark MisVisAgentBench, la primera prueba ejecutable por pares que mide cómo influyen las visualizaciones engañosas en el comportamiento de los agentes web. El conjunto incluye 280 instancias de tareas organizadas en pares «gráfico honesto — gráfico distorsionado». En trece agentes vision-language, sustituir el gráfico honesto por uno engañoso redujo la tasa media de tareas completadas con éxito en más de 34 puntos porcentuales.

Los agentes web abren cada vez más páginas por su cuenta, leen dashboards y realizan acciones en nombre del usuario. Para un agente así, el gráfico no es la respuesta final, sino una evidencia intermedia sobre la que se apoya el siguiente paso: qué elegir, qué confirmar, dónde hacer clic. Si el gráfico distorsiona la imagen, el error de lectura se convierte en una acción concreta. Los autores subrayan que este ámbito de la fiabilidad apenas se ha estudiado.

En qué se diferencia de chart QA

Las pruebas clásicas de preguntas sobre gráficos terminan en la respuesta del modelo. Aquí, la respuesta solo pone en marcha una cadena de ejecución. Además, no se trata de prompt injection: los gráficos distorsionados no contienen instrucciones maliciosas. Simplemente presentan los datos de forma que el juicio se sesga por sí solo, mediante la elección de la escala, de la forma o de los énfasis.

La característica clave del diseño es que, en cada par, solo cambia la evidencia gráfica. El resto de la tarea permanece igual. Esto permite atribuir la caída de rendimiento al engaño visual y no a la dificultad de la tarea. Para ello, los autores añadieron un marco diagnóstico que separa los fallos provocados por la distorsión de la dificultad base de la tarea (con referencia a Zhu et al., 2025).

Parámetros del trabajo:

• 280 instancias de tareas en pares «gráfico honesto — gráfico distorsionado»;
• 13 agentes web vision-language en la evaluación;
• caída de la tasa media de éxito de más de 34 p.p. al sustituir el gráfico;
• métricas de ejecución: pasos de navegación superfluos y «vacilación» al tomar decisiones;
• el benchmark es ejecutable: el agente actúa, no solo responde preguntas.

Los errores siguen un mismo carril

La observación más interesante no es la magnitud de la caída, sino su estructura. Los fallos siguen en su mayoría la rama de acción falsa a la que apunta el gráfico distorsionado. Los agentes no se desmoronan de forma caótica: sus decisiones los llevan de manera sistemática hacia una dirección prefijada.

Para la seguridad, esto pesa más que el porcentaje medio. El ruido aleatorio se puede amortiguar en parte con ejecuciones repetidas o con votación entre varios agentes. El sesgo dirigido no se corrige así: todas las ejecuciones llegarán a la misma conclusión errónea. Quien controla la presentación de los datos en una página puede, potencialmente, controlar también las acciones del agente sin haber escrito una sola instrucción.

También hay limitaciones. Se trata de un preprint y, por el resumen, no se ve qué tipos de distorsiones forman parte del conjunto, cómo difieren los modelos entre sí ni hasta qué punto los resultados se trasladan a páginas reales. La cifra de 34 p.p. es un promedio de trece agentes, por lo que en sistemas concretos la brecha puede ser notablemente menor o mayor.

Qué deberían hacer los equipos que construyen agentes

Primero: incluir pruebas por pares en la regresión. Si un agente toma decisiones a partir de gráficos, hacen falta tareas en las que los datos sean los mismos y la presentación, distinta. La caída entre la versión «honesta» y la «distorsionada» pasa a ser una métrica propia.

Segundo: no permitir que el gráfico sea la única base para actuar. Cuando estén disponibles la tabla original, una API o un resumen de texto, el agente debe contrastar con ellos la conclusión que ha leído en la imagen.

Tercero: mantener la confirmación humana en los pasos irreversibles, como pagos, publicaciones o cambios de configuración. Confiar en la autocomprobación del modelo es arriesgado, dado que los errores son dirigidos.

Cuarto: registrar el número de pasos de navegación y los indicios de vacilación. Los autores los documentan como efectos de ejecución, y esas señales pueden servir de indicador de que el agente se ha topado con una evidencia visual extraña.