معهد MIT يقترح مقياسًا يكشف الأخطاء الواثقة وهلوسات نماذج LLM

اقترح باحثو MIT طريقة جديدة لقياس عدم يقين نماذج اللغة الكبيرة، تتيح رصد الحالات التي يجيب فيها الذكاء الاصطناعي بثقة وهو مخطئ بدقة أكبر. الفكرة بسيطة: لا يحتاج المستخدم إلى إجابة منمّقة فحسب، بل إلى إشارة توضح مدى إمكانية الوثوق بهذه الثقة أصلًا، خصوصًا في المهام التي يترتب على الخطأ فيها ثمن حقيقي.

لماذا تفشل المقاييس القديمة

إحدى الطرق الشائعة اليوم للتحقق من موثوقية نماذج LLM هي طرح السؤال نفسه عدة مرات ومراقبة ما إذا كان النموذج يجيب بالطريقة نفسها. وإذا تطابقت الإجابات، فكثيرًا ما يُفسَّر ذلك بأنه مستوى عالٍ من الثقة.

لكن المشكلة أن هذا الفحص يقيس الاتساق الداخلي للنموذج وحده. فهو يوضح مدى ثقة النموذج بنفسه، لكنه لا يخبرنا ما إذا كان على صواب فعلًا. وهو إشارة مريحة في واجهة الاستخدام، لكنها ليست مفيدة دائمًا.

ومن هنا ينشأ السيناريو الخطير: قد يكرر النموذج الإجابة الخاطئة نفسها مرارًا، محتفظًا بمظهر الموثوقية. ويزداد هذا الخطر على المستخدم في المهام التي يكلّف فيها الخطأ كثيرًا، مثل الطب والمالية والتحليلات التطبيقية. في مثل هذه الحالات تبدو الهلوسة الواثقة أكثر إقناعًا من إجابة حذرة وصادقة مصحوبة بتحفظات.

لذلك قرر الباحثون ألا يقيسوا ثقة النموذج بنفسه فحسب، بل أيضًا احتمال أن يكون اختيار هذا النموذج موفقًا أصلًا للسؤال المطروح.

كيف تعمل الطريقة الجديدة

أضاف فريق MIT إلى مقياس الاتساق الذاتي المعتاد إشارة أخرى هي التباين بين النماذج. فبدلًا من توجيه السؤال نفسه إلى نموذج LLM واحد عدة مرات، يقارن الباحثون إجابة النموذج المستهدف بإجابات مجموعة صغيرة من النماذج المشابهة له في الحجم والفئة المعمارية.

إذا بدأت هذه النماذج تتباعد في المعنى بشكل ملحوظ، فهذه علامة مهمة على أن الإجابة الأصلية قد لا تكون موثوقة، حتى لو بدا النموذج المستهدف نفسه واثقًا جدًا.

والنقطة المهمة أن المقارنة لا تقتصر على التطابق الحرفي في الصياغة، بل تتناول التقارب الدلالي بين الإجابات. وهذا النهج يعكس الاتفاق أو الاختلاف الفعلي بين النماذج أفضل من مجرد مطابقة الكلمات.

ووفق الباحثين، كان الخيار الأبسط بشكل مفاجئ هو الأفضل عمليًا: اختيار نماذج طورتها شركات مختلفة. وقد اختُبرت مخططات أكثر تعقيدًا لانتقاء المجموعة، لكنها لم تحقق مكسبًا مقارنةً بهذه الاستراتيجية المباشرة والواضحة.

• أولًا، يُختار النموذج المستهدف الذي يراد تقييم إجابته.
• ثم يُوجَّه الطلب نفسه إلى عدة نماذج LLM مشابهة.
• بعد ذلك يقيس النظام مدى تطابق الإجابات من حيث المعنى.
• يُدمج هذا المؤشر مع مقياس الاتساق الذاتي المعتاد.
• والنتيجة النهائية مقياس لعدم اليقين الكلي — total uncertainty.

يسمّي المؤلفون المكوّن الثاني عدم اليقين المعرفي (epistemic): فهو يبيّن مدى توفيق اختيار النموذج نفسه للمهمة المحددة. وعند جمعه مع عدم اليقين العشوائي (aleatoric)، الذي يعكس عدم الاستقرار الداخلي للإجابة، نحصل على صورة أشمل للمخاطر. وببساطة، يتحقق النظام من أمرين: هل يرتبك النموذج مع نفسه، وهل يختلف عن نماذج أخرى معقولة.

وتعمل الطريقة بصيغة الصندوق الأسود (black-box)، إذ تكفيها الإجابات النصية، دون الحاجة إلى الوصول إلى اللوجيتات أو الحالات الداخلية للنموذج.

أين تكون الطريقة أكثر فائدة

اختبر الباحثون المقياس المدمج على عشر مهام واقعية، منها سيناريوهات الأسئلة والأجوبة والتلخيص والترجمة والاستدلال الرياضي. وفي السلسلة الرئيسية من التجارب قارنوا عدة نماذج مضبوطة على التعليمات، وأجروا اختبارات منفصلة على نماذج متاحة عبر API.

وفي هذه الاختبارات، كشف مؤشر عدم اليقين الكلي الإجابات غير الموثوقة بصورة أكثر ثباتًا من كل مكوّن على حدة. وظهر النهج الجديد بأفضل صورة في المهام التي توجد فيها إجابة صحيحة واحدة، مثل الأسئلة والأجوبة الوقائعية أو الترجمة.

تكرار النموذج للإجابة نفسها مرات عديدة لا يعني بعد أن الإجابة صحيحة.

وهناك قيد مهم أيضًا: ففي المهام الأكثر انفتاحًا، التي يمكن أن تكون فيها عدة إجابات جيدة مقبولة، قد تكون إشارة التباين بين النماذج أقل فائدة. بعبارة أخرى، إذا لم يكن الأمر متعلقًا بحقيقة بل بتوليد أكثر حرية، فإن اختلاف النماذج بحد ذاته لا يعني دائمًا وجود خطأ. ويشير المؤلفون صراحةً إلى أنهم يرغبون مستقبلًا في تكييف هذه التقنية لمثل هذه السيناريوهات تحديدًا، ودراسة أشكال أخرى لتقييم عدم اليقين الداخلي للنموذج بصورة منفصلة.

ومن المزايا العملية الأخرى توفير الموارد الحسابية. ففي عدد من التجارب تطلّب حساب عدم اليقين الكلي طلبات أقل من التقييم التقليدي القائم على الاتساق الذاتي وحده. وهذا يعني خفض تكاليف الاستدلال (inference)، وربما استهلاكًا أقل للطاقة عند الاستخدام الواسع لمثل هذه الفحوص.

وهذه حجة مهمة للإنتاج: فإذا كان المقياس أدق وأرخص في آن واحد، فإن فرص دخوله إلى منتجات الذكاء الاصطناعي الفعلية أكبر بكثير من أن يبقى فكرة أكاديمية بحتة.

ماذا يعني ذلك

بالنسبة إلى القطاع، تمثل هذه الخطوة انتقالًا من تقييم «إلى أي حد يبدو النموذج واثقًا» إلى تقييم «إلى أي حد يمكن تصديق هذه الثقة». وإذا ترسخ هذا النهج في الإنتاج، فستتمكن خدمات الذكاء الاصطناعي من التحذير من الهلوسات بدقة أكبر، وسيقل خلط المستخدمين بين خطأ مقنع الصياغة وإجابة موثوقة.

ويكتسب ذلك أهمية خاصة في جميع السيناريوهات التي لم يعد فيها نموذج LLM لعبة، بل أداة عمل تؤثر في القرارات والأموال والعمليات اليومية داخل الشركة.