FieldGuideRAG сверяет фото с эталонами в графе и обгоняет SigLIP до 16 пунктов точности

Исследователи из Национального университета Сингапура предложили FieldGuideRAG — метод GraphRAG без обучения, который помогает мультимодальной модели различать почти одинаковые виды животных, растений и грибов. Вместо текстового описания каждого вида в узле графа хранится одна реальная фотография. Замороженная VLM сравнивает снимок запроса с фотографией каждого кандидата, а потом по рёбрам графа достаёт факты об определённом виде. На семи графах такая проверка точнее поиска по эмбеддингам SigLIP, в лучших случаях на 16 пунктов.

Почему текстовый граф не различает двойников

Базовая проблема знакомая: VLM хорошо описывают бытовые сцены, но ошибаются, когда категории отличаются мелкими деталями. На грибах и бабочках из iNaturalist протестированные модели без подсказки редко называют верный вид. Существующие мультимодальные GraphRAG-системы вроде mKG-RAG, MMGraphRAG, M3KG-RAG и MegaRAG строят графы из изображений и документов, но каждую сущность всё равно описывают словами. Полнота кольца вокруг глаза или штрихи на груди птицы словами передаются плохо. Описания из Википедии обычно начинаются с размера и общей формы, а их как раз разделяют похожие виды.

Мультиизображенческий промпт, где все фото кандидатов лежат в одном запросе, тоже не выход: VLM слабо сравнивает много картинок одновременно, а связей, ведущих от вида к дальнейшим знаниям, в таком промпте нет.

Как устроен конвейер

Конструкция повторяет печатный определитель: фото вида рядом с двойниками, карта ареала и заметки о повадках. Узел несёт название, фото, необязательный текст и запись с фактами. Рёбра связывают вид с родственниками (род, а на iNaturalist ещё и семейство), с ячейками сетки широты и долготы, где вид снимали, и с экологическими фактами. Для птиц CUB-200 факты берутся из базы AVONET: рацион, миграция, среда обитания, способ кормёжки, масса тела. Ареал считается по примерно 50 фотографиям с геометками на вид из обучающей выборки iNaturalist 2021 mini, без тестовых снимков.

Дальше шаги такие. SigLIP находит входные узлы, а рёбра родства добавляют в пул двойников похожих видов. Для каждого кандидата VLM получает два изображения и вопрос, один ли это вид. Балл — вероятность ответа «да» из двух логитов на первом сгенерированном токене. Это один прямой проход без декодирования, поэтому кандидатов можно проверять параллельно. Затем балл проверки объединяется с вероятностью по ячейке ареала. Фактический ответ берётся из рёбер предсказанного вида.

Эксперименты шли на двух замороженных моделях, Qwen2.5-VL-7B и Qwen3-VL-8B, на CUB-200, графе из фотографий Wikidata и четырёх доменах iNaturalist: грибы, птицы, чешуекрылые и растения.

Что показали измерения

Фото на узле улучшает проверку по сравнению с одним названием вида на каждом графе. Текстовые описания из Википедии и экспертные атрибуты CUB дают почти столько же, сколько название. Проверка пула кандидатов точнее SigLIP-ретривера на всех графах для обеих моделей. На доменах, где VLM почти не знает виды по памяти, она также точнее мультиизображенческого промпта. Текстовый RAG улучшает результат zero-shot, но на CUB-200 и графе Wikidata уступает обоим методам, читающим фото.

Ребро ареала добавляет от 7 до 19 пунктов на iNaturalist, потому что даёт информацию, которой нет в сходстве эмбеддингов. Ответы на экологические вопросы по рёбрам фактов верны в лучшем случае на 89,5% из 28 820. Ещё один эффект: максимальный балл проверки лучше сходства SigLIP отделяет запросы, чей вид удалили из графа. Это пригодится на практике, ведь в реальном каталоге всегда есть неизвестные виды.

Ограничения

Результаты получены на базах с публичными каталогами, а не в полевых условиях. Одна случайная фотография на узел может оказаться нетипичной, а ребро ареала применимо только к запросам с GPS-координатами, как на iNaturalist; у CUB-200 локаций нет. Работа ещё и не прошла рецензирование: пока это препринт. Авторы обещают опубликовать графы, промпты и код.

Для разработчиков мультимодальных RAG вывод практичный: когда ответ зависит от тонких визуальных различий, графу полезнее хранить эталонные снимки и сравнивать попарно, а не наращивать текстовые описания.