أظهر MarkTechPost كيفية بناء نظام LLM مزود بالتقييم الذاتي والثقة والبحث على الويب

أظهر MarkTechPost كيفية بناء نظام LLM مع التقييم الذاتي والثقة والبحث على الويب

ظهر شرح عملي لنظام LLM على دراية بعدم اليقين: النموذج في مثل هذا المخطط لا يرد فقط على الاستعلام، بل يعرض على الفور مدى ثقته بالنتيجة. أساس النهج هو خط أنابيب ثلاثي المراحل حيث بعد الإجابة الأولى يتم تشغيل التقييم الذاتي وعند الحاجة يتم إطلاق بحث ويب تلقائي للتحقق. المادة مثيرة للاهتمام لأنها تركز ليس على النظرية بل على التطبيق العملي لمثل هذه الحلقة.

كيف يعمل خط الأنابيب

الفكرة بسيطة: لا تجبر النموذج على التحدث بنفس درجة الثقة حول كل شيء. في الخطوة الأولى، ينشئ LLM إجابة عادية، لكنه يعيد في نفس الوقت درجة ثقة رقمية وتفسيراً موجزاً لسبب اعتباره هذه الإجابة قوية أو على العكس من ذلك مشكوكاً فيها. يحول هذا النظام من صندوق أسود إلى أداة أكثر قابلية للإدارة: يحصل المطور ليس فقط على نص بل أيضاً على إشارة جودة يمكن استخدامها في منطق التطبيق وتوجيه الاستعلام.

• أولاً، ينشئ النموذج إجابة على الاستعلام.
• ثم يعطي نفسه درجة ثقة ويضيف تبريراً موجزاً.
• بعد ذلك يتبع مرحلة تقييم ذاتي منفصلة يتحقق فيها من استنتاجاته الخاصة.
• إذا كانت الثقة منخفضة أو كانت نقاط الضعف المحددة كبيرة، يذهب النظام إلى بحث ويب خارجي ويجمع حقائق إضافية.

في المرحلة النهائية، يمكن لخط الأنابيب إعادة تجميع الإجابة مع الأخذ بعين الاعتبار المعلومات الموجودة. أي أن النموذج لا يعترف فقط بعدم اليقين بل يتلقى أيضاً آلية مدمجة للتعامل معه: أولاً قيّم خطر الخطأ ثم حاول تقليله بدلاً من تقديم نص واثق جداً من المحاولة الأولى. بشكل أساسي، يصبح الشك هنا جزءاً واضحاً من البنية المعمارية وليس مشكلة مختبئة داخل النموذج.

لماذا يهم التقييم الذاتي

بالنسبة إلى LLM هذا تحول مهم. تحاول معظم روبوتات الدردشة ومساعدات الذكاء الاصطناعي بشكل افتراضي أن تبدو مقنعة حتى عندما تكون البيانات غير كافية. لهذا السبب تبدو الإجابات القوية والهلوسات متساوية السلاسة.

يضيف التقييم الذاتي في خطوة منفصلة طبقة من التحكم الداخلي: يتحقق النظام من منطقه الخاص ويبحث عن فجوات في الحجج ويمكنه أن يفهم أنه يفتقد الحقائق قبل أن يراها المستخدم. مثل هذا الوضع مفيد بشكل خاص حيث تكون تكلفة الخطأ أعلى من المعتاد: في التحليل والبحث في المؤسسة وأدوات الدعم ومساعدات البحث وسيناريوهات copilot الداخلية. بدلاً من مخطط ثنائي "الإجابة موجودة أم لا" يظهر نموذج سلوك أكثر واقعية.

إذا كانت الثقة عالية يمكن تسليم الإجابة على الفور. إذا كانت متوسطة — ضع علامة عليها كمبدئية. إذا كانت منخفضة — قم بتبديل النظام تلقائياً إلى البحث أو إعادة التشغيل أو التصعيد للإنسان.

هذا مناسب أيضاً على مستوى الواجهة: يمكن عرض المستخدمين ليس فقط الإجابة بل أيضاً درجة موثوقيتها.

ما يتغير للمطورين

من وجهة نظر الهندسة المادة مثيرة للاهتمام لأنها تصف ليس نموذجاً جديداً بل نمطاً معمارياً. يمكن استخدامه فوق LLM الموجودة بالفعل بإضافة بضع طبقات بسيطة من التنسيق: جمع درجات الثقة وحدود القرار والفحص الذاتي وحدة البحث على الويب. يعمل هذا النهج بشكل جيد مع أنظمة RAG والقواعس المعرفية الداخلية وسيناريوهات الوكيل حيث يتعين على النماذج الإجابة بانتظام على بيانات غير كاملة أو تتقادم بسرعة.

لا يعد هذا النهج بالاختفاء السحري للأخطاء لكنه يمنح الفريق أدوات واضحة للسيطرة على الجودة والتكلفة وسرعة الاستجابة. لهذا التصميم مقايضاته. تجعل المراحل الإضافية الإجابة أبطأ وأكثر تكلفة وتعتمد جودة البحث على الويب على حداثة المصادر وقدرة النظام على اختيار الصفحات ذات الصلة.

علاوة على ذلك لا يمكنك الثقة بدون تحفظ حتى بتقييم النموذج الخاص به: درجة الثقة مفيدة كإشارة لكنها ليست ضمانة مطلقة. لذلك فإن أفضل النتائج تأتي من مزيج من الحدود والتسجيل والتقييم على الحالات الحقيقية والتحقق المنتظم من الوقت الذي يذهب فيه النظام إلى البحث دون داع وعندما على العكس يرد بسرعة كبيرة جداً بمفرده.

ماذا يعني هذا

تتحرك الصناعة تدريجياً بعيداً عن فكرة "موجه واحد — إجابة واحدة" نحو أنظمة ذكاء اصطناعي أكثر نضجاً يمكنها الشك والتحقق الذاتي وجمع البيانات من الخارج. بالنسبة لفرق المنتج هذا مسار عملي نحو مساعدين أكثر موثوقية دون تغييرات إلزامية في النموذج الأساسي وبدون مراجعة كاملة للمكدس الموجود.