FieldGuideRAG compara fotos com referências em um grafo e supera o SigLIP em até 16 pontos de precisão

Pesquisadores da Universidade Nacional de Singapura propuseram o FieldGuideRAG, um método de GraphRAG sem treinamento que ajuda um modelo multimodal a distinguir espécies quase idênticas de animais, plantas e fungos. Em vez de uma descrição textual de cada espécie, o nó do grafo guarda uma fotografia real. Uma VLM congelada compara a imagem da consulta com a foto de cada candidato e, depois, recupera pelas arestas do grafo os fatos sobre a espécie identificada. Em sete grafos, essa verificação é mais precisa que a busca por embeddings do SigLIP, chegando a 16 pontos de vantagem nos melhores casos.

Por que um grafo de texto não distingue espécies parecidas

O problema de base é conhecido: as VLMs descrevem bem cenas cotidianas, mas erram quando as categorias diferem em pequenos detalhes. Em fungos e borboletas do iNaturalist, os modelos testados raramente acertam a espécie sem ajuda. Sistemas multimodais de GraphRAG existentes, como mKG-RAG, MMGraphRAG, M3KG-RAG e MegaRAG, constroem grafos a partir de imagens e documentos, mas ainda descrevem cada entidade com palavras. A extensão do anel ao redor do olho ou as listras no peito de uma ave são difíceis de transmitir em texto. Já as descrições da Wikipédia costumam começar pelo tamanho e pela forma geral, traços que espécies parecidas compartilham.

Um prompt multi-imagem, que reúne as fotos de todos os candidatos em uma única consulta, também não resolve: a VLM compara mal muitas imagens ao mesmo tempo, e esse prompt não tem as ligações que levam da espécie a outros conhecimentos.

Como funciona o pipeline

A estrutura imita um guia de campo impresso: a foto da espécie ao lado de suas semelhantes, o mapa de distribuição e notas sobre o comportamento. Cada nó contém o nome, a foto, um texto opcional e um registro de fatos. As arestas ligam a espécie a parentes (gênero e, no iNaturalist, também família), a células de uma grade de latitude e longitude onde a espécie foi fotografada e a fatos ecológicos.

Para as aves do CUB-200, os fatos vêm da base AVONET: dieta, migração, habitat, modo de alimentação e massa corporal. A área de distribuição é calculada a partir de cerca de 50 fotografias com geotag por espécie, tiradas do conjunto de treino do iNaturalist 2021 mini, sem usar imagens de teste.

As etapas seguintes são estas. O SigLIP encontra os nós de entrada, e as arestas de parentesco adicionam ao pool de espécies parecidas as que são semelhantes. Para cada candidato, a VLM recebe duas imagens e a pergunta se elas mostram a mesma espécie. A pontuação é a probabilidade da resposta «sim», calculada a partir de dois logits no primeiro token gerado. É uma única passagem direta, sem decodificação, o que permite verificar os candidatos em paralelo. Em seguida, a pontuação de verificação é combinada com a probabilidade pela célula da área de distribuição. A resposta factual vem das arestas da espécie prevista.

Os experimentos usaram dois modelos congelados, Qwen2.5-VL-7B e Qwen3-VL-8B, no CUB-200, em um grafo de fotografias do Wikidata e em quatro domínios do iNaturalist: fungos, aves, lepidópteros e plantas.

O que as medições mostraram

A foto no nó melhora a verificação em comparação com apenas o nome da espécie, em todos os grafos. As descrições textuais da Wikipédia e os atributos de especialistas do CUB rendem quase o mesmo que o nome. A verificação do pool de candidatos é mais precisa que o retriever SigLIP em todos os grafos, para os dois modelos. Nos domínios em que a VLM quase não conhece as espécies de memória, ela também supera o prompt multi-imagem. O RAG textual melhora o resultado em zero-shot, mas, no CUB-200 e no grafo do Wikidata, fica atrás dos dois métodos que leem as fotos.

A aresta de área de distribuição soma de 7 a 19 pontos no iNaturalist, porque traz informação que a similaridade entre embeddings não tem. As respostas a perguntas ecológicas obtidas pelas arestas de fatos estão corretas em até 89,5% de 28 820 perguntas. Outro efeito: a pontuação máxima de verificação separa, melhor que a similaridade do SigLIP, as consultas cuja espécie foi removida do grafo. Isso é útil na prática, já que um catálogo real sempre tem espécies desconhecidas.

Limitações

Os resultados vêm de bases com catálogos públicos, e não de condições de campo. Uma foto aleatória por nó pode ser atípica, e a aresta de área de distribuição só se aplica a consultas com coordenadas de GPS, como no iNaturalist; o CUB-200 não tem localizações. O trabalho também ainda não passou por revisão por pares: por ora, é um preprint. Os autores prometem publicar os grafos, os prompts e o código.

Para quem desenvolve RAG multimodal, a conclusão é prática: quando a resposta depende de diferenças visuais sutis, vale mais armazenar no grafo fotos de referência e compará-las par a par do que ampliar as descrições textuais.