كيف تجعل هندسة السياق نموذج LLM محلي ضعيف وكيلاً موثوقاً

أظهر مؤلف مقالة على Habr: بالنسبة لنموذج اللغة المحلي الذي يعمل في حلقة مغلقة على أجهزة محدودة، فإن موثوقية الوكيل لا تحددها قوة النموذج، بل كيفية تنظيم سياقه.

لماذا ببساطة «أخذ نموذج أكبر» لا يعمل

عندما يعمل النموذج محلياً — داخل محيط الشركة، على أجهزة محدودة — فإن زيادة حجمه ببساطة غير ممكنة: لا توجد طريقة لأخذ نموذج سحابة من المستوى الأعلى بعدد كبير من المعاملات. يجادل المؤلف بأنه في هذه الظروف، فإن الرافعة الرئيسية للجودة ليست النموذج نفسه، بل السياق: بالضبط ما يُظهر له، وبأي ترتيب، وكيف يتم تصفية المعلومات غير الضرورية.

ما يشكل السياق «الصحيح»

وفقاً لوصف المؤلف، السياق ليس مجرد نص مدرج، بل تجميع يأخذ في الاعتبار ثلاث معاملات: من يطرح السؤال، ومن أين أتى، وما بالضبط يتم السؤال عنه. يتم إضافة عنصرين إضافيين إلى هذا:

• حد الصلة الصادق — يُظهر النموذج فقط ما يتعلق بالسؤال، وليس كل شيء «احتياطياً»
• ترتيب الأقسام المدروس — يتم وضع المعلومات المهمة للإجابة بحيث لا يفقدها النموذج بين التفاصيل الثانوية

بعبارة أخرى، بالنسبة لنفس السؤال، سيختلف السياق اعتماداً على دور المستخدم وقناة الاتصال والموضوع: يجب أن يرى موظف الدعم والمطور أجزاء مختلفة من قاعدة المعرفة، حتى لو كانوا يطرحون رسمياً «نفس السؤال».

كيف تختلف النماذج القوية عن النماذج الضعيفة في هذا السيناريو

الملاحظة الرئيسية للمقالة — كيف يعفو النموذج عن أخطاء في تنظيم السياق — تعتمد على حجمه وقوته. على نموذج سحابة قوي، يتم غالباً العفو عن السياق المجمع بإهمال من خلال احتياطيات التفكير — سيكتشف النموذج بنفسه ما هو مهم وما هو ليس كذلك. على نموذج محلي متوسط المدى، لا توجد مثل هذه الاحتياطيات: نفس السياق المهمل يكسر جودة الاستجابة مباشرة.

في الممارسة العملية، هذا يعني أنه يجب اختبار المطالبات وcontext-pipeline على النموذج الهدف (الضعيف)، وليس على نموذج سحابة من المستوى الأعلى — ما يبدو قابلاً للعمل على نموذج قوي قد ينهار عند نقله إلى نموذج محلي.

حيث هذا حرج بشكل خاص

يتم اختيار النماذج المحلية في الغالب حيث لا يمكن للبيانات مغادرة المحيط — البنوك والقطاع العام والطب والتصنيع. في مثل هذه البيئات، لا يملك الفريق خياراً لـ «ببساطة أخذ نموذج أقوى»: الأجهزة والرخص للواجهات البرمجية السحابية من المستوى الأعلى إما غير متاحة أو محظورة بموجب سياسة الأمان. في هذه الظروف، هندسة السياق — الرافعة الوحيدة التي يمكن إدارتها مباشرة، بخلاف معمارية النموذج نفسه.

يركز المؤلف بشكل خاص على الفرق بين «السياق بشكل عام» و «السياق لطلب معين»: إذا قام النظام مرة واحدة بتجميع مجموعة عالمية من المستندات وإطعامها للنموذج بدون تمييز، بغض النظر عن من يطرح السؤال وعن ماذا، فإن احتمالات الحصول على إجابة مجزأة أو غير صحيحة على نموذج ضعيف أعلى بشكل ملحوظ من التجميع الدقيق لكل حالة.

ماذا يعني هذا

بالنسبة للفرق المجبرة — من خلال متطلبات الأمان أو قيود ميزانية الأجهزة أو نطاق البيانات — للعمل مع نماذج محلية غير قوية جداً، فإن انضباط هندسة السياق يصبح ليس تحسيناً اختيارياً، بل شرطاً بدونه لا يعمل الوكيل بشكل موثوق.