سبيربنك: رسم المعرفة Yago لم يفد البحث إلا قليلًا، بينما أضاف LightRAG 12 نقطة مئوية إلى الدقة

روى سبيربنك كيف حاول تحسين جودة البحث الداخلي باستخدام رسم المعرفة (knowledge graph) ونظام RAG الهجين. فالمحاولة الأولى بالرسم العام الجاهز لم تحقق أثرًا يُذكر، بينما رفع الانتقال إلى LightRAG ومدونة المستندات الخاصة دقة الإجابات بصورة ملحوظة.

لماذا لم ينجح الرسم

كانت المخططات المتجهية والهجينة قائمة أصلًا في أساس البحث في جزء من خدمات سبيربنك، لكن الفريق اصطدم بالقيود المعتادة لهذا النهج. فالمستند الواحد يُضغط في متجه واحد، ولذلك تضيع الفروق الدقيقة. والتقارب الدلالي لا يعني دائمًا أن المستند يجيب فعلًا عن السؤال. أما الاستعلامات متعددة القفزات (multi-hop)، التي تتطلب المرور عبر عدة كيانات ومستندات، فيعالجها البحث المتجهي التقليدي بصورة ضعيفة. ومن هنا نشأت الفرضية: إذا أُضيف رسم المعرفة كمصدر مستقل للسياق، فستصبح الإجابات أدق وأكثر ثباتًا.

للتحقق من الفرضية، استخدم الفريق اختبار SimpleQA من OpenAI بعد ترجمته إلى الروسية، ويضم 4326 سؤالًا واقعيًا، واعتمد مخطط llm-as-a-judge للتقييم الآلي. وبُني النموذج الأولي على Yago 4.5، أحد أكبر رسوم المعرفة المفتوحة، وقد جرى تحميله في Apache Jena Fuseki، ثم أُنشئت فوق البيانات واجهة API ووكيل (agent). وكان خط المعالجة تقليديًا: استخراج الكيانات من الاستعلام، ثم استعلام قالبي في قاعدة بيانات الرسم، ثم ترتيب العقد والروابط المستخرجة، وأخيرًا تلخيص الإجابة عبر LLM. وبدا كل ذلك مقنعًا على الورق، لكن الزيادة في الأرقام جاءت ضعيفة.

13 تجربة متتالية

بعد القياسات الأولى، أنشأ الفريق منصة اختبار مستقلة وأجرى 13 تجربة بإجمالي 184 قياسًا. اختبر أولًا الرسم الصرف، ثم دمج الرسم مع البحث المعتاد عبر معيد ترتيب (reranker) يجمع قائمة موحدة بأفضل المرشحين للإجابة. وكان الاستنتاج الأساسي مخيّبًا: على ruSimpleQA أضاف الرسم في حالة العزل +3 نقاط مئوية فقط، وعند دمجه مع البحث المعمول به لم تتجاوز النتيجة حدود الخطأ الإحصائي.

• أُضيفت مصادر إضافية، منها IMDB، لكن دون تجميع معقد للبيانات على مستوى قاعدة البيانات
• جرت محاولة ترتيب الكيانات بحسب الصلة، مثلًا بعدد الروابط عند العقدة
• غُيّرت الحدود بعد الترتيب لتحقيق توازن بين اكتمال السياق وحجمه
• اختُبر تجوال ذكي في الرسم بعمق يصل إلى ثلاثة مستويات، وبحث بالعرض (BFS) لقفزة أو قفزتين
• أُضيف بحث متجهي بتضمينات (embeddings) العقد وخوارزميات رسوم مثل البحث عن مسار بين كيانات

ولم تكن المشكلات في البنية التحتية وحدها، بل في طبيعة الرسم نفسه. فقد اضطر الفريق إلى استخدام أوصاف قصيرة وفقيرة للكيانات في التضمينات، ما جعل البحث المتجهي على الرسم غير مستقر في حد ذاته. وتبيّن أن Yago عام أكثر من اللازم: فهو يغطي العالم بصورة جيدة بوجه عام، لكنه لا يعكس جيدًا المواضيع المحددة والروابط المهمة لاستعلامات المستخدمين الفعلية. يضاف إلى ذلك أن كل خطوة في سلسلة الوكيل أضافت خطأً جديدًا، من استخراج الكيان وحتى التلخيص النهائي.

التحول نحو LightRAG

بعد ذلك غيّر الفريق استراتيجيته: فبدلًا من رسم عالمي عام، قرر بناء الرسم مباشرة من مستنداته الخاصة. واختار لذلك LightRAG، وهو إطار GraphRAG ببحث ثنائي المستوى يجمع بين الروابط المحلية بين الكيانات ونظرة موضوعية أوسع. يستخرج النظام أولًا العقد والروابط من النص، ثم يصفها ويحوّل قيمها إلى متجهات، ويخزن الرسم مع تضميناته. ويساعد هذا النهج على عدم فقدان السياق بين المقاطع (chunks)، ولا يجبر LLM على لصق أجزاء عشوائية من مستندات مختلفة بصورة عمياء.

«المدخلات الرديئة ستؤدي على الأرجح إلى مخرجات رديئة.»

فهرس سبيربنك عبر LightRAG مدونة مستندات اختيرت بما يلائم الأسئلة التي لم يكن البحث الإنتاجي يجيب عنها، ثم أعاد تشغيل الاختبارات المعيارية. وهنا ظهر الأثر بوضوح: قدّم LightRAG إجابات صحيحة عن 74% من بضع مئات من الأسئلة التي لم تكن مغطاة سابقًا، وأضاف 12 نقطة مئوية إلى الدقة على المجموعة الكاملة من 4326 استعلامًا. وثمة ميزة إضافية هي الكلفة: تذكر المادة أن LightRAG أرخص بنحو 30–40 مرة من Microsoft GraphRAG في مرحلة الفهرسة مع جودة مماثلة. والخطوة التالية هي الاختبار على حركة المرور الإنتاجية وتسريع الفهرسة، التي لا تزال تتوقف عند نحو 200 مستند في الساعة حتى على H100.

ماذا يعني ذلك

تُظهر تجربة سبيربنك أمرًا بسيطًا: رسم المعرفة الكبير وحده لا يجعل البحث أذكى. فالأهم هو مدى ارتباط الرسم بمجالك، وكيفية اتصاله بالبحث المتجهي، وعلى أي إخفاقات فعلية تقيس أداءه. وبالنسبة للفرق التي تبني بحث RAG، فهذه إشارة جيدة إلى عدم الانجرار وراء عرض توضيحي جذاب برسم عام، والاستثمار بدلًا من ذلك في مدونة عالية الجودة واسترجاع (retrieval) هجين وتقييم صادق على سيناريوهات حية.