نظام RAG يبحث في 11 000 ملف خلط بين أرقام الأصناف وعرض بيانات آلة أخرى

البوت الذي يخدم قسم المبيعات ويجيب استنادًا إلى الوثائق التقنية يكلّف خطؤه أكثر من خطأ بوت الدعم في متجر إلكتروني. فالمدير يحصل على رقم، ينقله إلى العميل، ويطلب العميل آلة غير مناسبة. هذه بالضبط الحالة التي عُرضت على Habr: 11 000 ملف من الوثائق التقنية، وأكثر من 100 مدير مبيعات، وبوت RAG كان يذكر بثقة أرقامًا من جواز طراز مجاور.

ما المعروف عن الحالة

المنشور في صفحة Habr لا يتوفر حتى الآن إلا في صيغة إعلان، لذلك نعتمد فقط على ما ورد فيه. أما بقية النص فهو منطق هندسي عام لمثل هذه الأنظمة، وليس عرضًا لقياسات أجراها المؤلف.

• المدوّنة: نحو 11 000 ملف من الوثائق التقنية.
• الجمهور: أكثر من 100 مدير مبيعات.
• العَرَض: يجيب البوت بثقة، لكنه يأخذ المعايير من جواز آلة أخرى.
• فئة المشكلة: الاستعلامات التي تعتمد على رقم الصنف والتسمية الدقيقة للطراز.
• النتيجة المعلنة: يصف المؤلف ما نجح في النهاية، مع تحليل للأسباب.

لماذا يخلط البحث المتجهي بين أرقام الأصناف

تضغط التضمينات الكثيفة مقطعًا نصيًا في متجه يعكس المعنى. ويعمل ذلك جيدًا مع سؤال مثل «ما قدرة المغزل في مركز التشغيل الآلي». أما في الاستعلام عن رقم صنف مثل «XYZ-4200-B» فالصورة مختلفة. إذ يقطّع المُجزّئ (tokenizer) هذه السلسلة إلى أجزاء فرعية، ولا يلتزم نموذج التضمين باعتبار الفرق بين «4200-B» و«4200-D» جوهريًا. وفي الفضاء المتجهي تقع هذه التسميات متجاورة.

وتزيد جوازات المنتجات من السلسلة نفسها المشكلة تعقيدًا. فهي مكتوبة وفق قالب واحد: الأقسام نفسها، والصياغات نفسها، والجداول نفسها. ولا يختلف بينها سوى الأرقام. ومن وجهة نظر التضمين، هذه وثيقة واحدة تقريبًا، ولذلك يُرجع البحث بهدوء إلى قائمة أعلى 5 مقاطع تعود إلى عدة طرازات في آن واحد.

بعد ذلك تعمل الآلية المعتادة لنماذج LLM. فعندما يصل إلى السياق مقطع يبدو مقنعًا، يقتبس النموذج منه. وهو لا يعرف أن الجواز غير صحيح، لأن الاستعلام يحتوي على رقم الصنف بينما السياق لا يحتويه، ولا أحد يتحقق من هذا التباين. ينشأ الخطأ في مرحلة retrieval لا في مرحلة التوليد، ولذلك فإن تعديل system prompt هنا عديم الفائدة تقريبًا.

ما الذي يجب فحصه في نظام RAG لديك

الأساليب المناسبة لهذه المهام معروفة، ويستحق كل منها الاختبار على استعلامات المديرين الفعلية.

الأول: البحث الهجين. يوضع فهرس لفظي مثل BM25 إلى جانب الفهرس المتجهي، وتُدمج النتائج عبر Reciprocal Rank Fusion أو بالترجيح. فيحصل التطابق التام مع سلسلة رقم الصنف على وزن لا يتوفر للمتجه.

الثاني: استخراج المعرّفات من الاستعلام. إذا ورد رقم صنف في السؤال، فيمكن التعرف عليه بتعبير نمطي (regular expression) أو بالاعتماد على دليل الطرازات، ثم استخدامه مرشّحًا صارمًا على بيانات وصف الوثيقة (metadata). عندئذ لا يصل جواز آلة أخرى إلى نتائج البحث أصلًا.

الثالث: السياق داخل المقطع (chunk). إذا أُضيف إلى كل مقطع عند التقطيع اسم الطراز والسلسلة واسم الملف، فلن يبقى الجدول المليء بالأرقام مجهول الهوية.

الرابع: إعادة الترتيب (reranker). يطابق نموذج Cross-encoder المطبّق على أعلى N مرشحًا بين الاستعلام والمقطع بدقة أكبر من مقارنة متجهين مستقلين.

الخامس، وهو الأرخص: التحقق قبل الإجابة. إذا لم يُعثر على رقم الصنف الوارد في الاستعلام ضمن المصادر التي دخلت السياق، فعلى البوت أن يقول «لم أجد» بدل أن يخمّن.

للاختبار، اجمعوا مجموعة من الأسئلة الحقيقية التي تتضمن أرقام أصناف، بما في ذلك أزواج الطرازات المتشابهة، واحسبوا نسبة الحالات التي وصلت فيها الوثيقة المطلوبة إلى أعلى k نتيجة. سيكشف هذا المقياس المشكلة قبل أن يلاحظها العميل.