FieldGuideRAG compara la foto con referencias en un grafo y supera a SigLIP hasta en 16 puntos de precisión

Investigadores de la Universidad Nacional de Singapur han presentado FieldGuideRAG, un método de GraphRAG que no requiere entrenamiento y ayuda a un modelo multimodal a distinguir especies casi idénticas de animales, plantas y hongos. En lugar de una descripción textual de cada especie, el nodo del grafo almacena una fotografía real. Una VLM congelada compara la imagen de la consulta con la foto de cada candidato y, después, recupera por las aristas del grafo los datos sobre la especie concreta. En siete grafos, esta verificación es más precisa que la búsqueda por embeddings de SigLIP, y en los mejores casos la supera en 16 puntos.

Por qué un grafo de texto no distingue a los dobles

El problema de fondo es conocido: las VLM describen bien escenas cotidianas, pero fallan cuando las categorías se diferencian por detalles mínimos. En hongos y mariposas de iNaturalist, los modelos probados rara vez aciertan la especie si no reciben ninguna pista. Los sistemas GraphRAG multimodales existentes, como mKG-RAG, MMGraphRAG, M3KG-RAG y MegaRAG, construyen grafos a partir de imágenes y documentos, pero siguen describiendo cada entidad con palabras. Y las palabras transmiten mal lo completo que es el anillo alrededor del ojo o las estrías del pecho de un ave. Las descripciones de Wikipedia suelen empezar por el tamaño y la forma general, justo lo que comparten las especies parecidas.

Un prompt multimagen, con las fotos de todos los candidatos en una sola consulta, tampoco es una solución: las VLM comparan mal muchas imágenes a la vez, y ese prompt no incluye vínculos que lleven de la especie a conocimiento adicional.

Cómo funciona el pipeline

El diseño reproduce una guía de campo impresa: la foto de la especie junto a sus dobles, un mapa de distribución y notas sobre su comportamiento. Cada nodo contiene el nombre, la foto, un texto opcional y un registro de datos. Las aristas conectan la especie con sus parientes (género y, en iNaturalist, también familia), con las celdas de la cuadrícula de latitud y longitud donde se fotografió y con datos ecológicos.

En las aves de CUB-200, los datos proceden de la base AVONET: dieta, migración, hábitat, modo de alimentación y masa corporal. El área de distribución se calcula a partir de unas 50 fotografías con geoetiquetas por especie, tomadas del conjunto de entrenamiento de iNaturalist 2021 mini, sin usar imágenes de prueba.

Los pasos son los siguientes. SigLIP encuentra los nodos de entrada y las aristas de parentesco añaden al conjunto de dobles las especies similares. Para cada candidato, la VLM recibe dos imágenes y la pregunta de si son de la misma especie. La puntuación es la probabilidad de la respuesta «sí», calculada a partir de dos logits en el primer token generado. Se trata de una única pasada directa, sin decodificación, por lo que los candidatos pueden verificarse en paralelo. Después, la puntuación de verificación se combina con la probabilidad según la celda del área de distribución. La respuesta factual se toma de las aristas de la especie predicha.

Los experimentos se realizaron con dos modelos congelados, Qwen2.5-VL-7B y Qwen3-VL-8B, sobre CUB-200, un grafo de fotografías de Wikidata y cuatro dominios de iNaturalist: hongos, aves, lepidópteros y plantas.

Qué muestran las mediciones

En todos los grafos, la foto en el nodo mejora la verificación frente al simple nombre de la especie. Las descripciones de Wikipedia y los atributos expertos de CUB aportan casi lo mismo que el nombre. La verificación del conjunto de candidatos es más precisa que el recuperador SigLIP en todos los grafos y con ambos modelos. En los dominios donde la VLM apenas conoce las especies de memoria, también supera al prompt multimagen. El RAG textual mejora el resultado zero-shot, pero en CUB-200 y en el grafo de Wikidata queda por detrás de los dos métodos que leen fotos.

La arista del área de distribución suma entre 7 y 19 puntos en iNaturalist, porque ofrece información que la similitud de embeddings no contiene. Las respuestas a preguntas ecológicas a través de las aristas de datos son correctas, en el mejor de los casos, en el 89,5% de 28 820 preguntas. Hay otro efecto: la puntuación máxima de verificación separa mejor que la similitud de SigLIP las consultas cuya especie se eliminó del grafo. Esto es útil en la práctica, porque en un catálogo real siempre hay especies desconocidas.

Limitaciones

Los resultados proceden de bases de datos con catálogos públicos, no de condiciones de campo. Una foto aleatoria por nodo puede resultar atípica, y la arista del área de distribución solo se aplica a consultas con coordenadas GPS, como en iNaturalist; CUB-200 no tiene localizaciones. Además, el trabajo no ha pasado revisión por pares: por ahora es un preprint. Los autores prometen publicar los grafos, los prompts y el código.

Para quienes desarrollan RAG multimodales, la conclusión es práctica: cuando la respuesta depende de diferencias visuales sutiles, al grafo le conviene más almacenar fotos de referencia y compararlas por pares que acumular descripciones textuales.