TerraAgent comprueba si la IA mira la imagen: las alucinaciones bajan del 17,1% al 9,8%

Los autores de TerraAgent abordan un problema que la precisión convencional no detecta: un modelo puede responder correctamente a una pregunta sobre una imagen satelital sin apoyarse ni una sola vez en la propia imagen. El framework (en el texto del artículo se llama AVA) envuelve un modelo multimodal congelado para teledetección con tres módulos y no requiere ajuste fino. En los benchmarks RSVQA-LR, RSVQA-HR, VRSBench y LHRS-Bench, la precisión media mejoró como máximo 2,40 puntos respecto a los mejores métodos de referencia en condiciones comparables. La proporción de respuestas construidas solo a partir de conocimiento previo cayó del 46,2% al 21,7%. La de alucinaciones bajó del 17,1% al 9,8%.

Una precisión que no demuestra nada

En RS-VQA, preguntas como «¿hay una masa de agua junto a la carretera?» suelen tener respuestas predecibles. El modelo sabe cómo suelen verse las ciudades y el campo, y acierta por estadística.

La métrica accuracy contabiliza esa suerte como un éxito. Los autores señalan tres fuentes de problemas. Primero, los ejemplos para el aprendizaje in-context, tomados de distintas fuentes, coinciden mal en resolución (GSD), tipo de sensor y textura urbana.

Segundo, las consultas reales arrastran un contexto visual largo: teselas de distintas escalas, imágenes tomadas en momentos diferentes y datos de referencia recuperados. En ese contexto las evidencias se diluyen y los errores se acumulan a lo largo de la cadena de razonamiento. Y tercero, las métricas estándar simplemente no registran una respuesta que no se apoya en la imagen.

Tres módulos alrededor de un solo modelo

GDR se encarga de seleccionar las demostraciones. Agrupa a los candidatos por GSD, los busca mediante grafos de escena y descarta aquellos cuyas respuestas no quedan respaldadas por sus propias imágenes. Un mal ejemplo deja así de darle al modelo una referencia equivocada.

MACE descompone la consulta en un grafo acíclico dirigido de subpreguntas, cada una con el tipo de evidencia que necesita. Las subpreguntas se envían a las herramientas de percepción adecuadas. Los resultados verificados, con indicación de su origen, se escriben en un registro común de evidencias, y el número de intentos de percepción repetida está limitado. Así, un contexto largo se convierte en un conjunto de pasos cortos y verificables.

CVA funciona como auditor. Toma las evidencias a las que remite la respuesta final y las perturba: las elimina o las sustituye. Si la respuesta no cambia, significa que no se sostiene en la imagen. A partir de ahí se calcula una puntuación de dependencia visual, que sirve para calibrar la confianza y para lanzar una nueva consulta que obliga a recurrir a las evidencias.

Qué muestran las mediciones

• Precisión media: hasta +2,40 puntos respecto a los mejores métodos de referencia en las mismas condiciones.
• Visual-dependency score: de 0,28 a 0,49.
• Proporción de respuestas prior-only: del 46,2% al 21,7%.
• Proporción de alucinaciones: del 17,1% al 9,8%.
• Coste: 2,6x el de una pasada del modelo base.
• Entrenamiento: no se requiere; la MLLM base permanece congelada.

La mejora de precisión es modesta. El resultado principal está en otro lugar: casi la mitad de respuestas menos que el modelo da sin mirar la imagen.

Dónde puede resultar útil y qué conviene comprobar

Los escenarios más evidentes son la monitorización de infraestructuras, la evaluación de daños tras inundaciones e incendios, la agricultura y la planificación urbana. En esos ámbitos, una respuesta «por costumbre» puede salir cara, y el registro de evidencias junto con la puntuación de dependencia visual ofrecen una base para la auditoría. El enfoque puede trasladarse a otros modelos congelados si se necesita comprobar que la respuesta se apoya en la imagen sin recurrir al ajuste fino.

También hay limitaciones. Los resultados se obtuvieron en cuatro benchmarks académicos, no con datos de producción cerrados. El coste de 2,6 pasadas se nota en el procesamiento masivo de imágenes. La verificación contrafactual solo es útil en la medida en que el modelo indique con precisión en qué evidencias se apoyó. Antes de implantarlo, conviene medir la visual-dependency con datos propios y comparar la ganancia en fiabilidad con el aumento de latencia y de coste.