TerraAgent vérifie si l'IA regarde vraiment l'image : les hallucinations passent de 17,1% à 9,8%

Les auteurs de TerraAgent s'attaquent à un problème que la précision classique ne détecte pas : un modèle peut répondre correctement à une question sur une image satellite sans jamais s'appuyer sur l'image elle-même. Le framework (appelé AVA dans l'article) enveloppe un modèle multimodal gelé pour la télédétection avec trois modules et ne nécessite aucun fine-tuning. Sur les benchmarks RSVQA-LR, RSVQA-HR, VRSBench et LHRS-Bench, la précision moyenne progresse au maximum de 2,40 points par rapport aux meilleures méthodes de référence dans des conditions comparables. La part des réponses fondées uniquement sur des connaissances a priori passe de 46,2% à 21,7%. Celle des hallucinations recule de 17,1% à 9,8%.

Une précision qui ne prouve rien

En RS-VQA, des questions comme « y a-t-il un plan d'eau près de la route » ont souvent des réponses prévisibles. Le modèle sait à quoi ressemblent d'ordinaire les villes et les campagnes, et il devine à partir des statistiques. La métrique d'accuracy compte cette chance comme un succès.

Les auteurs identifient trois sources de problèmes. Les exemples pour l'apprentissage in-context, tirés de sources différentes, concordent mal en résolution (GSD), en type de capteur et en texture urbaine. Les requêtes réelles traînent un long contexte visuel : tuiles d'échelles différentes, images prises à des moments différents, données de référence retrouvées.

Les indices s'y diluent et les erreurs s'accumulent le long de la chaîne de raisonnement. Enfin, les métriques standard ne détectent tout simplement pas une réponse qui ne s'appuie pas sur l'image.

Trois modules autour d'un seul modèle

GDR gère la sélection des démonstrations. Il regroupe les candidats par GSD, les recherche au moyen de graphes de scène et écarte ceux dont les réponses ne sont pas confirmées par leurs propres images. Un mauvais exemple cesse ainsi de donner au modèle un repère erroné.

MACE découpe la requête en un graphe orienté acyclique de sous-questions, chacune précisant le type d'indices requis. Les sous-questions sont confiées aux outils de perception adaptés. Les résultats vérifiés, avec l'indication de leur provenance, sont consignés dans un registre d'indices partagé, et le nombre de nouvelles tentatives de perception est limité. Le long contexte devient ainsi une suite d'étapes courtes et vérifiables.

CVA joue le rôle d'auditeur. Il prend les indices cités par la réponse finale et les perturbe : il les supprime ou les remplace. Si la réponse ne change pas, c'est qu'elle ne repose pas sur l'image. On en tire un score de dépendance visuelle, utilisé pour calibrer la confiance et relancer une requête qui force le recours aux indices.

Ce que montrent les mesures

• Précision moyenne : jusqu'à +2,40 points par rapport aux meilleures méthodes de référence, dans les mêmes conditions.
• Visual-dependency score : de 0,28 à 0,49.
• Part des réponses prior-only : de 46,2% à 21,7%.
• Part des hallucinations : de 17,1% à 9,8%.
• Coût : 2,6x une seule passe du modèle de base.
• Entraînement : non requis, le MLLM de base reste gelé.

Le gain de précision est modeste. Le résultat principal est ailleurs : presque deux fois moins de réponses que le modèle donne sans regarder l'image.

Où l'utiliser et que vérifier

Les cas d'usage les plus évidents : surveillance d'infrastructures, évaluation des dégâts après inondations et incendies, agriculture, urbanisme. Dans ces domaines, une réponse donnée « par habitude » peut coûter cher, et le journal des indices comme le score de dépendance visuelle fournissent une base d'audit. L'approche peut être transposée à d'autres modèles gelés, dès lors qu'on veut vérifier l'appui sur l'image sans fine-tuning.

Les limites existent aussi. Les résultats proviennent de quatre benchmarks académiques, et non de données de production fermées. Le coût de 2,6 passes se fait sentir lors d'un traitement massif d'images. La vérification contrefactuelle n'est utile que dans la mesure où le modèle indique avec précision les indices sur lesquels il s'est appuyé. Avant un déploiement, il convient de mesurer la visual-dependency sur ses propres données et de comparer le gain de fiabilité à la hausse de la latence et du coût.