FieldGuideRAG يطابق الصور مع صور مرجعية في الرسم البياني ويتفوق على SigLIP بما يصل إلى 16 نقطة دقة

اقترح باحثون من الجامعة الوطنية في سنغافورة نظام FieldGuideRAG، وهو منهج GraphRAG لا يتطلب تدريبًا، ويساعد النموذج متعدد الوسائط على التمييز بين أنواع الحيوانات والنباتات والفطريات المتطابقة تقريبًا. فبدلًا من وصف نصي لكل نوع، تخزّن عقدة الرسم البياني صورة فوتوغرافية حقيقية واحدة. يقارن نموذج VLM المجمّد صورة الاستعلام بصورة كل مرشّح، ثم يستخرج عبر حواف الرسم البياني حقائق عن النوع المحدد. وعلى سبعة رسوم بيانية، جاء هذا الفحص أدق من البحث بتضمينات SigLIP، وبلغ الفارق في أفضل الحالات 16 نقطة.

لماذا لا يميّز الرسم البياني النصي بين الأنواع المتشابهة

المشكلة الأساسية معروفة: تصف نماذج VLM المشاهد اليومية جيدًا، لكنها تخطئ عندما تختلف الفئات في تفاصيل دقيقة. وعلى الفطريات والفراشات من iNaturalist، نادرًا ما تذكر النماذج المختبرة النوع الصحيح دون تلميح. أما أنظمة GraphRAG متعددة الوسائط القائمة، مثل mKG-RAG وMMGraphRAG وM3KG-RAG وMegaRAG، فتبني رسومًا بيانية من الصور والمستندات، لكنها تظل تصف كل كيان بالكلمات. ومن الصعب نقل اكتمال الحلقة حول العين أو الخطوط على صدر الطائر بالكلمات. كما تبدأ أوصاف ويكيبيديا عادةً بالحجم والشكل العام، وهما بالضبط ما تشترك فيه الأنواع المتشابهة.

ولا يشكّل الموجّه (prompt) متعدد الصور، الذي توضع فيه صور جميع المرشّحين في استعلام واحد، حلًّا أيضًا: فنماذج VLM ضعيفة في مقارنة صور كثيرة في آن واحد، ولا توجد في هذا الموجّه روابط تقود من النوع إلى المعرفة اللاحقة.

كيف يعمل خط المعالجة

يحاكي التصميم دليل التعريف المطبوع: صورة النوع بجوار الأنواع المشابهة له، وخريطة نطاق الانتشار، وملاحظات عن السلوك. تحمل العقدة الاسم والصورة ونصًّا اختياريًا وسجلًّا بالحقائق. وتربط الحواف النوع بأقاربه (الجنس، وعلى iNaturalist العائلة أيضًا)، وبخلايا شبكة خطوط العرض والطول التي صُوّر فيها النوع، وبالحقائق البيئية. وبالنسبة إلى الطيور في CUB-200، تؤخذ الحقائق من قاعدة AVONET: النظام الغذائي، والهجرة، والموطن، وطريقة التغذية، ووزن الجسم. ويُحسب نطاق الانتشار من نحو 50 صورة موسومة جغرافيًا لكل نوع من مجموعة التدريب iNaturalist 2021 mini، دون صور الاختبار.

أما الخطوات اللاحقة فهي كالتالي. يجد SigLIP عقد الدخول، وتضيف حواف القرابة أنواعًا مشابهة إلى مجموعة الأنواع المتشابهة. وبالنسبة إلى كل مرشّح، يتلقى نموذج VLM صورتين وسؤالًا عمّا إذا كانتا لنوع واحد. الدرجة هي احتمال الإجابة «نعم» محسوبًا من لوجيتين (logits) عند أول رمز مولَّد. وهذا تمريرة أمامية واحدة دون فك ترميز، ولذلك يمكن فحص المرشّحين بالتوازي. بعد ذلك تُدمج درجة الفحص مع الاحتمال المستمد من خلية نطاق الانتشار. وتؤخذ الإجابة الواقعية من حواف النوع المتوقَّع.

أُجريت التجارب على نموذجين مجمّدين هما Qwen2.5-VL-7B وQwen3-VL-8B، وعلى CUB-200، ورسم بياني من صور Wikidata، وأربعة مجالات من iNaturalist: الفطريات والطيور والحرشفيات والنباتات.

ماذا أظهرت القياسات

تحسّن الصورة على العقدة الفحص مقارنةً باسم النوع وحده في كل رسم بياني. أما أوصاف ويكيبيديا وسمات الخبراء في CUB فتعطي نتيجة قريبة مما يعطيه الاسم. ويتفوق فحص مجموعة المرشّحين في الدقة على مُسترجِع SigLIP في جميع الرسوم البيانية ولدى النموذجين. وفي المجالات التي لا يعرف فيها VLM الأنواع من الذاكرة تقريبًا، يتفوق الفحص أيضًا على الموجّه متعدد الصور. ويحسّن RAG النصي نتيجة zero-shot، لكنه يتخلف في CUB-200 ورسم Wikidata البياني عن المنهجين اللذين يقرآن الصور.

تضيف حافة نطاق الانتشار من 7 إلى 19 نقطة على iNaturalist، لأنها توفر معلومات غير موجودة في تشابه التضمينات. وتصح الإجابات عن الأسئلة البيئية عبر حواف الحقائق في أفضل الحالات بنسبة 89,5% من أصل 28 820 سؤالًا. وثمة أثر آخر: تفصل أعلى درجة فحص الاستعلامات التي حُذف نوعها من الرسم البياني أفضل مما يفعل تشابه SigLIP. وهذا مفيد في التطبيق العملي، إذ توجد دائمًا في أي فهرس حقيقي أنواع مجهولة.

القيود

جاءت النتائج على قواعد بيانات ذات فهارس عامة، لا في ظروف ميدانية. وقد تكون صورة عشوائية واحدة لكل عقدة غير نمطية، كما لا تنطبق حافة نطاق الانتشار إلا على الاستعلامات المقترنة بإحداثيات GPS، كما في iNaturalist؛ أما CUB-200 فلا تتضمن مواقع. كذلك لم يخضع العمل بعدُ لمراجعة الأقران: فهو حاليًا نسخة أولية (preprint). ويعد المؤلفون بنشر الرسوم البيانية والموجّهات والشفرة البرمجية.

أما الخلاصة العملية لمطوري RAG متعدد الوسائط فهي: عندما تعتمد الإجابة على فروق بصرية دقيقة، يستفيد الرسم البياني أكثر من تخزين صور مرجعية والمقارنة الثنائية، بدلًا من التوسع في الأوصاف النصية.