التوليد المعزز بالاسترجاع (RAG)

التوليد المعزز بالاسترجاع (RAG) هي تقنية تسمح لنموذج اللغة بجلب مستندات ذات صلة من قاعدة معرفة خارجية قبل الإجابة والاستناد إلى تلك المستندات في إجابته. وهي تقلل من الهلوسات وتحافظ على تحديث الإجابات دون إعادة تدريب النموذج.

يجمع التوليد المعزز بالاسترجاع بين مكونين: جهاز الاسترجاع والمولد. عندما يأتي سؤال، يحول جهاز الاسترجاع السؤال إلى تضمين، ويبحث في قاعدة بيانات متجهية لمستنداتك عن مقاطع متشابهة دلالياً، ويسلم أفضل المطابقات لنموذج اللغة كسياق. ثم يكتب النموذج إجابته مستندة إلى تلك المقاطع بدلاً من الاعتماد فقط على ما حفظه أثناء التدريب.

يحل هذا النهج ثلاث مشاكل مزمنة في نماذج اللغة الكبيرة في آن واحد. تحديث المعرفة: تحدّث قاعدة المستندات، وليس النموذج. الهلوسات: يستشهد النموذج بنصوص مسترجعة بدلاً من اختراع الحقائق. البيانات الخاصة: لا تحتاج أبداً الويكيات المؤسسية والعقود وتذاكر الدعم إلى الدخول في تدريب النموذج - فتبقى في الفهرس وتُجلب في وقت الاستعلام.

التوليد المعزز بالاسترجاع ليس حلاً شاملاً: جودة الإجابة محدودة بجودة الاسترجاع. إذا أرجعت خطوة البحث أجزاء غير ذات صلة، سيلخص النموذج بثقة المادة الخاطئة. لذلك تستثمر الأنظمة الإنتاجية في استراتيجية تقسيم المحتوى والبحث الهجين (البحث عن كلمات رئيسية والبحث المتجهي) وإعادة الترتيب وتقييم خطوة الاسترجاع بشكل منفصل عن خطوة التوليد.