لماذا تخطئ النماذج اللغوية حتى عندما تعرف الإجابة الصحيحة: تحليل لقيود LLM

تعرف النماذج اللغوية الكثير، لكن بين المعرفة والاستدلال الصحيح فجوة تبدو أهم بكثير من حجم بيانات التدريب. وقد حلّل فاليري شاباشيف، مطوّر Python في «تِك فيل» وطالب الدراسات العليا الذي يبحث في سلوك LLM والانجراف المفاهيمي (concept drift)، هذه المفارقة استنادًا إلى أحدث الأبحاث.

تعرف الإجابة، لكنها تخطئ

لا يضمن توفر المعلومات استنتاجًا صحيحًا. فقد «تعرف» النماذج الإجابة الصحيحة في سياق ما، ثم تخطئ في سياق آخر يبدو مماثلًا. وهذا ليس عيبًا في تنفيذ بعينه، ولا نتيجة لقلة بيانات التدريب، بل خاصية منهجية في البنية نفسها.

تظهر الأخطاء بأشكال متعددة: إخفاقات منطقية في الاستدلال متعدد الخطوات، وتجاهل لسياق مهم في الـ prompt، واستنتاجات لا تنبع شكليًا من البيانات الأصلية. وقد يسوق النموذج بثقة حججًا لصالح استنتاج خاطئ، ويفعل ذلك بإقناع ودون أي علامات ظاهرة على التردد.

تبرز هذه الفجوة بوضوح خاص عندما يُطلب من النموذج بناء سلسلة منطقية من عدة خطوات أو مراعاة شروط متعارضة. وكلما ازدادت المهمة تعقيدًا، ضعفت العلاقة بين ثقة النموذج وصحة إجابته. وتشير الأبحاث إلى أن calibration error في النماذج الكبيرة يزداد تحديدًا في المهام المعقدة: يصبح النموذج أكثر ثقة في إجابات تتبيّن أخطاؤها بوتيرة متزايدة.

أنماط إخفاق متكررة

تتكرر عدة أنواع من الأخطاء بغض النظر عن حجم النموذج أو إصداره:

• Hallucination — توليد حقائق واثقة لكنها كاذبة، حتى عندما تكون الإجابة الصحيحة موجودة في السياق
• Position bias — الميل إلى الاعتماد على المعلومات في بداية السياق أو نهايته وتجاهل وسطه (lost-in-the-middle)
• Sycophancy — تكييف الإجابة مع ما يتوقعه المستخدم، لا مع الحقائق
• Reasoning shortcut — استبدال الاستدلال العميق متعدد الخطوات بمطابقة سطحية للأنماط
• Conceptual drift — انزياح تدريجي في المعنى عبر سلاسل الاستدلال الطويلة

لا تُحل أي من هذه المشكلات بمجرد تكبير النموذج أو إضافة بيانات. فهي متأصلة في مبدأ التوليد الانحداري الذاتي (autoregressive): يتنبأ النموذج بالرمز (token) التالي استنادًا إلى الرموز السابقة، لكنه لا يملك آلية تتحقق من اتساق سلسلة الاستدلال بأكملها عند كل خطوة.

التحقق: الحلقة الأضعف

المشكلة الرئيسية التي لم تُحل حتى اليوم ليست نقص المعرفة لدى النماذج، بل غياب آلية موثوقة للتحقق من الاستدلال. فالنموذج لا «يعرف» متى يخطئ: ليست لديه أداة مدمجة تستطيع تقييم جودة ما ولّده بصورة مستقلة.

تحقق محاولات حل ذلك عبر chain-of-thought prompting وself-consistency sampling وتقنيات أخرى تحسنًا ملحوظًا في الـ benchmarks، لكنها لا تعالج المشكلة جذريًا. ويبدو الاتجاه القائم على مدققين خارجيين أكثر وعدًا: فالنموذج لا يستدل في فراغ، بل يتلقى تغذية راجعة من البيئة. وعلى هذا المبدأ تقوم معماريات مثل ReAct وأطر الوكلاء (agent frameworks) الحديثة.

«لم يعد السؤال الجوهري اليوم ما الذي يعرفه النموذج، بل كيف يستخدم هذه

المعرفة»، — شاباشيف.

وتسجّل أبحاث الانجراف المفاهيمي التي يجريها شاباشيف في دراسته العليا مشكلة أخرى: فقد تُرمَّز المفاهيم نفسها بطرق مختلفة في تنشيطات النموذج (activations) بحسب السياق. فـ«المعرفة» لدى LLM ليست مستقرة ولا قابلة للتكرار، بل ظرفية. وقد يجيب النموذج نفسه عن سؤال ما إجابة صحيحة في سيناريو، ويخطئ في سيناريو شبه مطابق. وهذا يجعل سلوك النموذج صعب التنبؤ في بيئة الإنتاج (production)، خصوصًا في المهام التي تتطلب إمكانية تكرار النتيجة.

ماذا يعني ذلك

تكون LLM موثوقة حيث يمكن التحقق من الإجابة من خارجها، وخطرة حيث لا يمكن ذلك. ودمج وكلاء الذكاء الاصطناعي في العمليات الحرجة دون حلقة تغذية راجعة يعني الاعتماد على نظام لا يستطيع التحقق من استنتاجاته بصورة موثوقة. وهذا ليس سببًا للتخلي عن التقنية، لكنه توجيه مباشر إلى تصميم أنظمة تفصل صراحةً بين التوليد والتحقق.