TACO: منهج يعالج «تلوث» الائتمان في التعلّم المعزّز للنماذج اللغوية

نشر باحثون على arXiv في 10 يوليو 2026 منهج TACO — Tail-Aware Credit Calibration — لتحسين تدريب النماذج اللغوية بالتعلّم المعزّز. يعالج المنهج عيبًا منهجيًا في خوارزميات التعلّم المعزّز: فالرموز قليلة الاحتمال والخاطئة من حيث السياق تنال ائتمانًا إيجابيًا مماثلًا لما تناله الرموز الصحيحة، ما يؤدي تدريجيًا إلى تدهور جودة الاستدلال.

لماذا يُفسد الائتمان المتساوي الاستدلال

تعمل طرق التعلّم المعزّز الخالية من الناقد (critic-free) للنماذج اللغوية الكبيرة — مثل GRPO — وفق مبدأ واحد: إذا اعتُبرت إجابة النموذج صحيحة، فإن جميع رموزها تنال ائتمانًا إيجابيًا متساويًا. والمنطق واضح: لماذا نميّز بين الرموز ما دامت الإجابة صحيحة في مجملها؟

تكمن المشكلة في التفاصيل. فبين رموز الإجابة الصحيحة تظهر حتمًا رموز «ذيلية» — قليلة الاحتمال وغير معتادة في سياقها. قد تكون هذه الرموز خاطئة محليًا من الناحية النحوية أو الدلالية، لكنها وردت في إجابة صحيحة «بمحض الصدفة». وحين تنال الائتمان نفسه الذي تناله الرموز السليمة، فإنها تدرّب النموذج تدريجيًا على إعادة إنتاج أنماط مماثلة.

يسمّي المؤلفون هذه الظاهرة Positive-Credit Contamination، أي التلوّث بالائتمان الإيجابي. ويتراكم أثرها: فكلما طالت جلسة التعلّم المعزّز، ترسّخ في النموذج مزيد من الأنماط الخاطئة.

• تمسّ المشكلة جميع طرق التعلّم المعزّز الخالية من الناقد، بما فيها GRPO وREINFORCE
• تتعزّز الرموز «الذيلية» — قليلة الاحتمال وغير المعتادة في السياق — على قدم المساواة مع الرموز الصحيحة
• في جلسات التدريب الطويلة، كثيرًا ما تتدهور جودة الإجابات في الطرق القياسية

كيف يحسب TACO مخاطرة كل رمز

يضيف TACO إلى خط أنابيب التعلّم المعزّز مكوّنًا جديدًا واحدًا هو tail-risk score: تقدير لكل رمز يبيّن إلى أي حد يُعدّ حالة «ذيلية» غير مرغوبة.

والفكرة الجوهرية هي التمييز بين نوعين من الندرة. الأول: «ندرة ناجمة عن عدم اليقين»، حين يقف النموذج أمام مجموعة من الخيارات المقبولة بالقدر نفسه ويستكشف فضاء الإجابات. هذا أمر طبيعي، وتواصل هذه الرموز نيل الائتمان الكامل. والثاني: «ندرة ناجمة عن خطأ»، أي شذوذ سياقي لا ينسجم مع توزيع الإجابات الصحيحة. وهذا النوع تحديدًا هو الذي يُكبَح.

ومع ذلك، لا يصفّر TACO تدرّج الرموز عالية المخاطرة بالكامل، بل يخفّض ائتمانها الإيجابي فقط. ويحافظ هذا النهج على الأنماط النادرة المفيدة التي تتكرر بصورة منتظمة، ويُخمد تدريجيًا الضجيج العشوائي.

ماذا أظهرت الاختبارات على ثمانية معايير تقييم

اختُبر المنهج على ثلاثة نماذج لغوية وثمانية معايير قياسية لتقييم الاستدلال. وتفوّق TACO باستمرار على الحلول الأساسية المبنية على GRPO في جميع المجموعات.

وأبرز النتائج دلالة هي استقرار التدريب. فالطرق القياسية الخالية من الناقد كثيرًا ما تتدهور في جلسات التعلّم المعزّز الطويلة: تتلوّث إشارة الائتمان ويتوقف تحسّن الجودة. أما TACO فقد حقّق نموًا مستقرًا في المؤشرات طوال التدريب دون تراجعات، وهو أمر بالغ الأهمية للتعلّم المعزّز طويل الأمد الذي تقوم عليه نماذج الاستدلال (reasoning) الحديثة.

الشيفرة المصدرية منشورة على GitHub: github.com/xiuyilou/TACO.

ماذا يعني ذلك

تُناقَش مشكلة الائتمان المتساوي في التعلّم المعزّز للنماذج اللغوية الكبيرة منذ وقت طويل في الأوساط البحثية، لكنها لم تجد حتى الآن حلًا بسيطًا قابلًا للدمج. ويتميّز TACO بأنه مضغوط ويُدمج فوق خط الأنابيب القائم دون إعادة بناء البنية. وفي عامَي 2025–2026، تعتمد جميع مختبرات frontier تقريبًا التعلّم المعزّز طويل الأمد وسيلة رئيسية لتحسين قدرات الاستدلال في النماذج. وإذا أمكن تكرار نتائج TACO في تجارب أكبر، فقد يصبح مكوّنًا قياسيًا في تدريب التعلّم المعزّز للجيل القادم.