Constrained decoding لا يفسد استدلال نماذج LLM: اختبار على 11 نموذجًا مفتوحًا

ظل constrained decoding، أي إجبار LLM على توليد مخرجاته وفق صيغة محددة مسبقًا، يُعدّ منذ زمن تنازلًا لا مفر منه: فمن يريد JSON صالحًا أو إجابة محددة بصرامة عليه أن يتقبل خسارة في جودة الاستدلال. اختبر مؤلفو الورقة البحثية arXiv 2610.35328 هذا الافتراض على أربع عائلات من النماذج وأحد عشر نموذجًا مفتوحًا. وخلاصتهم أن الآلية نفسها لا تُفسد الاستدلال. فجزء كبير من حالات التراجع السابقة يعود إلى اختلاف المطالبات وصيغ المخرجات بين التجارب، لا إلى القيد في حد ذاته.

من أين جاء الشك في فك الترميز المقيَّد

الحدس وراء هذا الشك مفهوم. فإذا حُجب جزء من الرموز (tokens) في كل خطوة، تتشوه توزيعات الاحتمالات، ويُفترض أن النموذج يُجبر على اختيارات أسوأ. وفي الممارسة دعمت هذا الانطباع مقارنات من نوع «التوليد الحر مقابل المخرجات المنظَّمة». لكن القيد لم يكن العنصر الوحيد المتغير في تلك المقارنات. فقد تغيّر المطلب نفسه، وتغيّرت صيغة الإجابة، وتغيّرت طريقة استخراج النتيجة. ويُظهر المؤلفون أن جزءًا كبيرًا من الأثر يختفي عند توحيد الظروف. فما عُدّ ثمنًا للقيد كان في الواقع ثمن اختلاف صياغة المهمة.

وتضيف الورقة أيضًا تبريرًا نظريًا: القيود المختارة بعناية قد تحافظ على الجودة، بل قد تحسّنها، لأنها تُخرج من فضاء البحث المسارات غير الصالحة بداهةً.

ثلاثة أنواع من القيود، وثلاثة تأثيرات مختلفة

الإسهام الرئيس للورقة هو التصنيف. فبدل السؤال «هل يضر constrained decoding؟»، يفصّل المؤلفون ثلاث فئات من القيود:

• قيود بنية المخرجات. تحدد صيغة الإجابة: مخططًا أو قالبًا أو قواعد نحوية. وغايتها الحصول على نتيجة مقروءة آليًا.
• قيود صلاحية الإجابة. تحجب الخيارات غير المقبولة، مثل إجابة خارج مجموعة القيم المسموح بها. وهي ترفع موثوقية الإجابة وسهولة استخراجها، لأن النتائج غير الصالحة لا تُولَّد أصلًا.
• قيود مسار الاستدلال. تضيّق المسارات المسموح بها التي يصل النموذج عبرها إلى الإجابة. وإذا اختير المسار جيدًا، تتحسن جودة الاستدلال، ومعها الدقة النهائية.

وخلاصة الدراسة أن تأثير constrained decoding يتحدد بنوع القيد وبحجم الجزء الذي يزيله من فضاء المخرجات. فإذا أزال القيد ما لا قيمة له، فالمكسب ممكن. أما إذا استبعد مسارات استدلال مفيدة، فالخسائر حقيقية تمامًا.

كيف أُجري الاختبار

أُجريت التجارب على معايير أداء متنوعة، مع استراتيجيات حديثة لفك الترميز المقيَّد. وشملت أربع عائلات من النماذج وأحد عشر نموذجًا مفتوحًا. وللممارسين، المنهجية هي الأهم: صُممت المقارنات بحيث لا تحلّ فروق المطالبات والصيغ محل أثر القيد نفسه. ونشر المؤلفون الشيفرة، فيمكن إعادة إنتاج النتائج وتطبيقها على الأنظمة الخاصة بكل فريق.

ما الذي ينبغي تغييره في بيئة الإنتاج

كثيرًا ما تتخلى الفرق التي تبني الوكلاء وأنظمة استخراج البيانات واستدعاء الأدوات عن المخرجات المنظَّمة خوفًا على الجودة. وتمنح هذه الدراسة سببًا لإعادة النظر في هذا القرار. فقبل التطبيق، ينبغي تحديد الفئة التي ينتمي إليها القيد المطلوب. فإذا كان يحدد البنية فقط أو يستبعد الإجابات غير الصالحة، فإن الخطر على الدقة، بحسب بيانات الدراسة، محدود، في حين أن المكسب في استقرار التحليل ملموس.

وعند إجراء اختبارات A/B ينبغي مقارنة صياغات متكافئة: التعليمات نفسها، وصيغة الإجابة النهائية نفسها، وإجراء الاستخراج نفسه. وإلا فإن القياس سيعكس الفرق بين المطالبات، لا بين أساليب فك الترميز. أما قيود مسار الاستدلال فينبغي التعامل معها كأداة لضبط الجودة: فقد تفيد، لكن جدواها يجب أن تُثبَت على مهامكم ونماذجكم.