FieldGuideRAG compare les photos à des références dans un graphe et devance SigLIP jusqu'à 16 points de précision

Des chercheurs de l'Université nationale de Singapour ont présenté FieldGuideRAG, une méthode GraphRAG sans entraînement qui aide un modèle multimodal à distinguer des espèces animales, végétales et fongiques presque identiques. Au lieu d'une description textuelle, chaque nœud du graphe stocke une seule photo réelle de l'espèce. Une VLM gelée compare l'image de la requête à la photo de chaque candidat, puis récupère les faits sur l'espèce retenue en suivant les arêtes du graphe. Sur sept graphes, cette vérification est plus précise que la recherche par embeddings SigLIP, de 16 points dans les meilleurs cas.

Pourquoi un graphe textuel ne distingue pas les espèces jumelles

Le problème de fond est connu : les VLM décrivent bien les scènes du quotidien, mais se trompent quand les catégories ne diffèrent que par de menus détails. Sur les champignons et les papillons d'iNaturalist, les modèles testés nomment rarement la bonne espèce sans indice. Les systèmes GraphRAG multimodaux existants, comme mKG-RAG, MMGraphRAG, M3KG-RAG et MegaRAG, construisent leurs graphes à partir d'images et de documents, mais décrivent toujours chaque entité avec des mots. Or les mots rendent mal l'étendue du cercle autour de l'œil ou les stries sur la poitrine d'un oiseau. Les descriptions de Wikipédia commencent généralement par la taille et la forme générale, justement les traits que partagent des espèces voisines.

Un prompt multi-images, qui place les photos de tous les candidats dans une seule requête, n'est pas non plus une solution : les VLM comparent mal de nombreuses images à la fois, et un tel prompt ne contient aucun lien menant de l'espèce à des connaissances complémentaires.

Comment fonctionne le pipeline

La conception reprend celle d'un guide d'identification imprimé : la photo d'une espèce à côté de ses sosies, une carte de répartition et des notes sur son comportement. Un nœud porte un nom, une photo, un texte facultatif et une fiche de faits. Les arêtes relient l'espèce à ses apparentées (genre et, sur iNaturalist, famille), aux cellules de la grille de latitude et de longitude où elle a été photographiée, et à des faits écologiques.

Pour les oiseaux de CUB-200, les faits viennent de la base AVONET : régime alimentaire, migration, habitat, mode d'alimentation, masse corporelle. L'aire de répartition est calculée à partir d'environ 50 photos géolocalisées par espèce issues de l'ensemble d'entraînement d'iNaturalist 2021 mini, sans aucune image de test.

Les étapes suivantes s'enchaînent ainsi. SigLIP trouve les nœuds d'entrée, puis les arêtes de parenté ajoutent au pool de sosies des espèces semblables. Pour chaque candidat, la VLM reçoit deux images et la question de savoir s'il s'agit de la même espèce. Le score est la probabilité de la réponse « oui », calculée à partir de deux logits sur le premier token généré. Il s'agit d'une seule passe avant, sans décodage, ce qui permet de vérifier les candidats en parallèle. Le score de vérification est ensuite combiné à la probabilité issue de la cellule d'aire de répartition. La réponse factuelle est tirée des arêtes de l'espèce prédite.

Les expériences ont porté sur deux modèles gelés, Qwen2.5-VL-7B et Qwen3-VL-8B, avec CUB-200, un graphe de photos Wikidata et quatre domaines d'iNaturalist : champignons, oiseaux, lépidoptères et plantes.

Ce que montrent les mesures

Sur chaque graphe, la photo du nœud améliore la vérification par rapport au seul nom de l'espèce. Les descriptions textuelles de Wikipédia et les attributs d'experts de CUB n'apportent presque rien de plus que le nom. La vérification du pool de candidats est plus précise que le retriever SigLIP sur tous les graphes, pour les deux modèles. Dans les domaines où la VLM connaît à peine les espèces de mémoire, elle l'emporte aussi sur le prompt multi-images. Le RAG textuel améliore le résultat en zero-shot, mais sur CUB-200 et le graphe Wikidata, il reste derrière les deux méthodes qui lisent les photos.

L'arête d'aire de répartition ajoute de 7 à 19 points sur iNaturalist, car elle apporte une information absente de la similarité entre embeddings. Les réponses aux questions écologiques via les arêtes de faits sont correctes, au mieux, à 89,5% sur 28 820 questions. Autre effet : le score de vérification maximal sépare mieux que la similarité SigLIP les requêtes dont l'espèce a été retirée du graphe. C'est utile en pratique, car un catalogue réel contient toujours des espèces inconnues.

Limites

Les résultats viennent de bases dotées de catalogues publics, pas de conditions de terrain. Une photo aléatoire par nœud peut se révéler atypique, et l'arête d'aire de répartition ne s'applique qu'aux requêtes accompagnées de coordonnées GPS, comme sur iNaturalist ; CUB-200 n'a pas de localisations. Le travail n'a en outre pas été évalué par des pairs : il s'agit pour l'instant d'un preprint. Les auteurs promettent de publier les graphes, les prompts et le code.

Pour les développeurs de RAG multimodaux, la conclusion est pragmatique : quand la réponse dépend de différences visuelles subtiles, mieux vaut que le graphe stocke des photos de référence et les compare par paires, plutôt que d'accumuler des descriptions textuelles.