أخطاء RAG: 6 أسباب تجعل ذاكرة الوكيل الذكي تتعثّر، وكيف تُشخِّص عملية الاسترجاع

يربط RAG (التوليد المعزَّز بالاسترجاع) قاعدة معرفة خارجية بإجابات نماذج اللغة الكبيرة، واعدًا بتخليص النموذج من التهيّؤات. عمليًا، 73% من أعطال أنظمة RAG تحدث بسبب ضعف البحث، و40% من خطوط المعالجة لا تستطيع استخراج البيانات المطلوبة على الإطلاق. غالبًا ما يحاول المهندسون معالجة الأعراض — تغيير نموذج التضمين، أو رفع قيمة top-k، أو تحديث نموذج اللغة الكبير. لكن إذا وصل إلى المُحفِّز منذ البداية سياق غير مناسب، فإن طبقة الاسترجاع هي المعطَّلة، والتهيّؤ ليس إلا نتيجة لهذا الخطأ.

كشفت دراسة RAGGED أن نموذجي LLaMA و Claude يبلغان أفضل أداء عند 5 قطع فقط، وبعد ذلك تتراجع الجودة بسرعة. وقد حقق Claude أفضل نتيجة مع قطعة واحدة بالغة الدقة. وتضخيم السياق إلى أقصى حد أمر ضارّ.

نقاط الفشل الستّ

1. التقطيع يدمّر السياق — التقسيم الثابت كل 512 رمزًا يفصل الكيان عن الجملة التي تصف صفته، فتفقد القطعة الخالية من عنوانها معناها، ويتحوّل جدول من 200 سطر إلى ضجيج. الحل: التقسيم بحسب بنية الوثيقة، ونقل العناوين إلى كل قطعة، واستخدام متجهات تضمينية سياقية. وبحسب شركة Anthropic، تُقلِّص هذه الأخيرة الأخطاء بنسبة 35%، وبنسبة 49% عند استخدام BM25 سياقي، وبنسبة 67% مع إعادة الترتيب (reranking).

2. الفجوة الدلالية — المتجهات التضمينية لا تلتقط النية. يسأل المستخدم «كيف أُلغي اشتراكي؟»، بينما تُسمَّى الوثيقة «Account Termination Policy». الحل: البحث الهجين (متجهات تضمينية + BM25 عبر Reciprocal Rank Fusion بقيمة k=60)، وإعادة صياغة الاستعلام، وتقنية HyDE (البحث بناءً على إجابة افتراضية).

3. عدم التوافق بين الاسترجاع والتوليد — رفع قيمة top-k يحسّن مؤشر Hit@k، لكن جودة الإجابة تتراجع بعد ذلك. أظهرت دراسة ليو وزملائه «Lost in the Middle» أن النموذج يستفيد بشكل أفضل من المعلومات الموجودة في بداية السياق ونهايته. يتم تحديد القيمة المثلى لـ top-k تجريبيًا؛ وأظهرت دراسة RAGGED أن القيمة المثلى تتراوح بين k ≤ 1 و k ≥ 10. وتُستخدم نسبة recall البالغة 85% كعتبة — وإذا كانت أقل، فلا بدّ من إصلاح الاسترجاع.

4. التفكير متعدد الخطوات (Multi-hop) — لا يستطيع RAG الاستدلال عبر سلسلة من الخطوات. سؤال مثل «من هو الرئيس التنفيذي للشركة التي استحوذ عليها مورِّد أحد المنافسين؟» يتطلّب أربع خطوات بحث متتالية. الحل: RAG التكراري (الوكيلي) أو الذاكرة البيانية (Neo4j، Cognee، Microsoft GraphRAG). والتكلفة هي زيادة في زمن الاستجابة والكلفة الحسابية.

5. غياب فهم البعد الزمني — لا يعرف الفهرس أن وثيقة معيّنة قد أصبحت قديمة. الحل: التصفية حسب البيانات الوصفية (metadata)، والإصدارات (versioning)، وإعادة الفهرسة التلقائية، ومراقبة انحراف الجودة.

6. حلّ الكيانات (Entity Resolution) — كلمة «Apple» (الشركة أم الفاكهة؟)، أو «محمد أ.» و«أ. محمد»، تبدو كيانات مختلفة. الحل: استخراج الكيانات عند الفهرسة، وبناء فهرس مرتبط، والبحث عبر رسم بياني (graph).

حين لا تكون RAG مناسبة

استعلام مثل «أظهر جميع العملاء الذين تتجاوز مخاطر فقدانهم (churn) نسبة 0.7» هو استعلام SQL، لا بحث نصي. فـ RAG لا يستطيع إجراء عمليات تجميع أو ترتيب أو تصفية رقمية. يحتاج الأمر إلى تقنية Text-to-SQL أو طبقة دلالية فوق مستودع البيانات. وتُفوِّت أدوات الكشف العامة 43% من الأخطاء الحسابية.

التشخيص: ثلاثة مقاييس

يكشف مقياس Context Relevance أخطاء التقطيع والاسترجاع (عند إرجاع قطع غير مناسبة). ويكشف مقياس Context Recall حالات الإغفال (عند عدم إرجاع القطعة التي تحتوي على الإجابة). ويكشف مقياس Groundedness التهيّؤات التي تحدث رغم وجود سياق صحيح. والسؤال الجوهري هو: هل المُعطَّل هو الاسترجاع أم التوليد؟ فهاتان مشكلتان هندسيتان مختلفتان، لهما حلول مختلفة.