MarkTechPost يستعرض كيفية بناء نظام LLM يقيّم نفسه ويقدّر ثقته ويلجأ إلى البحث على الويب

صدر تحليل عملي لنظام LLM واعٍ بعدم اليقين (uncertainty-aware): في هذا المخطط لا يكتفي النموذج بالإجابة عن الطلب، بل يُظهر فورًا مدى ثقته بنفسه في النتيجة. يقوم النهج على خط معالجة (pipeline) من ثلاث خطوات: بعد الإجابة الأولى يبدأ تقييم ذاتي، ثم، عند الحاجة، بحث تلقائي على الويب لإعادة التحقق. وما يجعل المادة لافتة أنها لا تركّز على النظرية، بل على التطبيق العملي لهذه الحلقة.

كيف يعمل خط المعالجة

الفكرة بسيطة: ألّا يُترك النموذج يتحدث بالقدر نفسه من الثقة عن كل شيء. في الخطوة الأولى يولّد الـLLM إجابة عادية، لكنه يُرفقها بتقدير رقمي للثقة وبشرح قصير يبيّن لماذا يعدّ هذه الإجابة قوية أو مشكوكًا فيها. وهذا يحوّل النظام من صندوق أسود إلى أداة أكثر قابلية للتحكم: فالمطوّر لا يحصل على النص فحسب، بل على إشارة عن جودته يمكن توظيفها في منطق التطبيق وفي توجيه الطلبات.

• أولًا، يصوغ النموذج إجابة عن الطلب.
• ثم يمنح نفسه confidence score ويضيف مبرراته باختصار.
• بعد ذلك تأتي مرحلة منفصلة من التقييم الذاتي (self-evaluation) يراجع فيها النموذج استنتاجاته.
• إذا كانت الثقة منخفضة أو كانت نقاط الضعف المكتشفة جوهرية، ينتقل النظام إلى بحث خارجي على الويب ويجمع حقائق إضافية.

وفي المرحلة الأخيرة يمكن لخط المعالجة أن يعيد بناء الإجابة بالاستناد إلى المعلومات التي عثر عليها. أي أن النموذج لا يقرّ بوجود عدم اليقين فحسب، بل تتوافر له آلية مدمجة للتعامل معه: يقيّم أولًا احتمال الخطأ، ثم يحاول تقليصه، بدلًا من تقديم نص مفرط الثقة من المحاولة الأولى. وهكذا يصبح الشك جزءًا صريحًا من البنية المعمارية، لا مشكلة خفية داخل النموذج.

لماذا نحتاج إلى التقييم الذاتي

هذا تحوّل مهم في عالم الـLLM. فمعظم روبوتات الدردشة ومساعدات الذكاء الاصطناعي تحاول افتراضيًا أن تبدو مقنعة حتى حين لا تكفيها البيانات. ولهذا تبدو الإجابات القوية والهلوسات سلسة بالدرجة نفسها. أما التقييم الذاتي في خطوة مستقلة فيضيف طبقة من الرقابة الداخلية: يدقّق النظام في منطقه، ويبحث عن ثغرات في الحجة، وقد يدرك أن الحقائق تنقصه قبل أن يرى المستخدم الإجابة.

ويفيد هذا النمط خصوصًا حيث يكون ثمن الخطأ أعلى من المعتاد: في التحليلات، والبحث المؤسسي، وأدوات الدعم (support)، ومساعدات البحث (research)، وسيناريوهات copilot الداخلية. فبدلًا من المعادلة الثنائية «توجد إجابة أو لا توجد»، يظهر نموذج سلوك أكثر واقعية. إذا كانت الثقة عالية، يمكن تقديم الإجابة فورًا. وإذا كانت متوسطة، توسَم الإجابة بأنها أولية. وإذا كانت منخفضة، يُحوَّل النظام تلقائيًا إلى البحث أو إلى تشغيل ثانٍ أو إلى تصعيد الأمر لشخص. وهذا مناسب أيضًا على مستوى الواجهة: إذ يمكن أن يرى المستخدم الإجابة مع درجة موثوقيتها.

ما الذي يتغير بالنسبة للمطوّرين

من الزاوية الهندسية، المادة مثيرة للاهتمام لأنها لا تصف نموذجًا جديدًا، بل نمطًا معماريًا. ويمكن تطبيقه فوق نماذج LLM القائمة بإضافة بضع طبقات بسيطة من التنسيق (orchestration): جمع confidence score، وعتبات اتخاذ القرار، وفحص ذاتي (self-check)، ووحدة للبحث على الويب. ويتكامل هذا النهج جيدًا مع أنظمة RAG وقواعد المعرفة الداخلية والسيناريوهات القائمة على الوكلاء، حيث يتعيّن على النموذج باستمرار أن يجيب اعتمادًا على بيانات ناقصة أو سريعة التقادم.

لا يعد هذا النهج بالاختفاء السحري للأخطاء، لكنه يمنح الفرق روافع واضحة للتحكم في الجودة والتكلفة وسرعة الاستجابة. وللتصميم أيضًا مقايضات. فالمراحل الإضافية تجعل الإجابة أبطأ وأغلى، وتعتمد جودة البحث على الويب على حداثة المصادر وعلى قدرة النظام على انتقاء الصفحات ذات الصلة. كما لا ينبغي الوثوق دون تحفّظ حتى بتقييم النموذج لنفسه: فـconfidence score مفيد كإشارة، لا كضمان مطلق. ولذلك تتحقق أفضل النتائج بمزيج من العتبات والتسجيل (logging) والتقييم على حالات واقعية والمراجعة الدورية لمعرفة متى ينتقل النظام إلى البحث دون داعٍ ومتى يجيب بنفسه مبكرًا أكثر مما ينبغي.

ماذا يعني ذلك

تبتعد الصناعة تدريجيًا عن فكرة «موجّه واحد — إجابة واحدة» نحو أنظمة ذكاء اصطناعي أكثر نضجًا، قادرة على الشك وإعادة فحص نفسها وجلب البيانات من الخارج. وبالنسبة لفرق المنتجات، هذا طريق عملي إلى مساعدات أكثر موثوقية، دون أن يكون تغيير النموذج الأساسي إلزاميًا، ودون إعادة نظر كاملة في المكدّس التقني القائم.