أنظمة RAG تفشل مع البيانات الحقيقية: السبب هو retrieval لا النموذج
غالباً ما تفشل مسارات RAG ليس بسبب النموذج، بل بسبب retrieval. عندما يعثر النظام على المستند الخطأ أو المقطع النصي الخطأ، يبدأ حتى GPT-4 في الهلوسة. النموذج لا
خط أنابيب RAG يبدو وكأنه سحر: حمل المستندات، قسمها إلى أجزاء، توليد التضمينات، توصيل قاعدة بيانات متجهة. اطرح سؤال — يجيب النموذج بثقة وبالتفصيل. أظهرها للعميل، فهو معجب. لكن بعد ذلك يبدأ الاختبار الحقيقي على الأسئلة الفعلية، وتبين أن النظام يخطئ في نصفها.
اختناق RAG
على الأسئلة الحقيقية، غالباً ما يجيب النظام بشكل غير صحيح. إما أنه يجد المستند الخاطئ تماماً، أو يجد المستند الصحيح لكن يستخرج جزء النص الخاطئ، أو لا يسترجع أي شيء ذي صلة وينتج عن النموذج هلاوس واثقة. يبدو أن المشكلة في النموذج. في الواقع، الاسترجاع هو المسؤول.
يجيب GPT-4 و Claude بشكل مثالي إذا تم تقديم السياق الصحيح لهما. إذا كان السياق خاطئاً — الهلاوس مضمونة، بغض النظر عن جودة النموذج. يجيب النموذج فقط بقدر جودة السياق المقدم له.
المشكلة ليست في النماذج. المشكلة في الاسترجاع — في كيفية البحث عن أجزاء المستندات ذات الصلة من قاعدة البيانات الخاصة بك. هذا هو الاختناق الذي يمر من خلاله خط أنابيب RAG بأكمله. إذا أعطى الاسترجاع للنموذج السياق الخاطئ، فإن كل شيء آخر هو وقت وأموال مهدرة.
"يجيب النموذج فقط بقدر جودة السياق المقدم له."
عندما يفشل الاسترجاع
يمكن أن يفشل الاسترجاع لعشرات الأسباب. إليك الأكثر شيوعاً:
- التقسيم كبير جداً أو صغير جداً. يمكن لقطعة بحجم 512 كلمة أن تلتقط سياقاً مجاوراً بدلاً من القطعة المطلوبة. سؤال عن سياسة الإرجاع، تحتوي القطعة على وصف جدول الأحجام
- تم توليد التضمينات لبيانات باللغة الإنجليزية، لكن السؤال باللغة الروسية. المسافة الدلالية بين متجه السؤال ومتجهات المستندات ضخمة، لا توجد تطابقات
- تمت إعادة صياغة السؤال بطريقة لا يطابق فيها متجه تضمينه متجهات قاعدة البيانات. تبحث عن "إرجاع الطلب"، تحتوي المستندات على "إرجاع المنتج" — دلالة مختلفة
- وجدت الوثيقة ذات الصلة 8 من 10، لكن تم إعطاء النموذج فقط أفضل 5 نتائج. السياق المطلوب لا يقع في نافذة الرؤية
- فهرس مليء بالنسخ المكررة والضوضاء. تدفع العديد من الأجزاء غير ذات الصلة المعلومات الصحيحة خارج النتائج
كل واحدة من هذه المشاكل تؤدي إلى نفس النتيجة: ينتج عن النموذج هلاوس بدلاً من تقديم الإجابة الصحيحة.
تكلفة الاسترجاع
تحسين الاسترجاع ليس هواية للمتحمسين. إنه عمل حقيقي: أسبوع أو أسبوعان يقضيهما المطور على التحليل سيكشفان أن النظام أقل بنسبة 30-40٪ من الدقة المتوقعة. السبب ليس النموذج، بل أن الاسترجاع يبحث بشكل غير صحيح. في المشاريع الحقيقية، هذه خسارة ضخمة: الوقت الذي يقضيه على RAG، والأموال المنفقة على البنية الأساسية، والنظام لا يعمل لأن متجهات المستندات لا تطابق متجهات الأسئلة.
ماذا يعني هذا
يعمل RAG فقط إذا كان الاسترجاع يعمل. بدونه، حتى أفضل نموذج سيكون خاطئاً. هذا يعني أنه قبل إطلاق RAG في الإنتاج، تحتاج إلى الاستثمار في الوقت الجدي لتحسين البحث، واختبار البيانات الحقيقية، ثم تحسين خط أنابيب الاسترجاع بشكل تكراري.