TACO: طريقة تزيل «تلوث» الإسناد في تدريب نماذج اللغة باستخدام RL
نُشرت على arXiv ورقة بحثية تقدم TACO — Tail-Aware Credit Calibration. المشكلة: في RL القياسي، تحصل جميع رموز الإجابة الصحيحة على الإسناد نفسه، بما في ذلك الرموز الخاطئة منخفضة الاحتمال — ويُسمى ذلك Positive-Credit Contamination. يحسب TACO درجة مخاطر لكل رمز ويخفض المكافأة في الحالات «الذيلية» من دون تصفير التدرج. وأظهرت الاختبارات على ثلاثة LLMs وثمانية benchmarks نتائج أفضل من GRPO بشكل ثابت.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.CL؛ بتحرير Hamidun News
نشر الباحثون على arXiv في 10 يوليو 2026 طريقة تاكو — Tail-Aware Credit Calibration — لتحسين تدريب التعلم المعزز لنماذج اللغة. تزيل الطريقة عيباً نظامياً في خوارزميات التعلم المعزز: الموقف الذي تتلقى فيه الرموز غير المحتملة والخاطئة من الناحية السياقية نفس الائتمان الإيجابي للرموز الصحيحة، مما يؤدي إلى تدهور تدريجي في جودة التفكير.
لماذا يدمر الائتمان الموحد التفكير
تعمل طرق التعلم المعزز الخالية من الناقد للنماذج اللغوية الكبيرة — مثل GRPO — على مبدأ واحد: إذا تم التعرف على إجابة النموذج كصحيحة، فإن جميع الرموز في تلك الإجابة تتلقى ائتماناً إيجابياً متطابقاً. المنطق واضح: لماذا نفرق بين الرموز إذا كانت الإجابة بالكامل صحيحة؟
تكمن المشكلة في التفاصيل. من بين رموز الإجابة الصحيحة، لا بد أن تكون هناك رموز "ذيل" — غير محتملة وغير نمطية للسياق المحدد. قد تكون خاطئة من الناحية النحوية أو الدلالية محلياً، لكنها انتهت في الإجابة الصحيحة "بالصدفة." بتلقيها نفس الائتمان الذي يتلقاه الرموز الصحيحة، تعلم النموذج تدريجياً أن يعيد إنتاج أنماط مماثلة.
يسمي المؤلفون هذا تلوث الائتمان الإيجابي — التلوث بالائتمان الإيجابي. يتراكم التأثير: كلما طالت جلسة التعلم المعزز، زادت الأنماط الخاطئة المتجذرة في النموذج.
- تؤثر المشكلة على جميع طرق التعلم المعزز الخالية من الناقد، بما فيها GRPO و REINFORCE
- يتم تعزيز رموز "الذيل" — غير المحتملة وغير النمطية للسياق — بالتساوي مع الرموز الصحيحة
- في جلسات التدريب الطويلة، غالباً ما تتدهور الطرق القياسية في جودة الإجابة
كيف يحسب تاكو المخاطر لكل رمز
يضيف تاكو مكوناً جديداً واحداً إلى خط أنابيب التعلم المعزز — درجة مخاطر الذيل: تقييم لكل رمز بمدى كونه حالة "ذيل" غير مرغوب فيها.
الفكرة الأساسية هي فصل نوعي الندرة. أولاً: "نادر بسبب عدم اليقين" — يكون النموذج عند نقطة خيارات متعددة مقبولة بالتساوي ويستكشف مساحة الإجابات. هذا طبيعي، وتستمر هذه الرموز في تلقي ائتمان كامل. ثانياً: "نادر بسبب خطأ" — شذوذ سياقي لا يتناسب مع توزيع الإجابات الصحيحة. هذا هو النوع الذي يتم قمعه.
وفي الوقت نفسه، لا يلغي تاكو التدرج تماماً للرموز المخاطرة، بل يقلل فقط ائتمانها الإيجابي. يحافظ هذا الأسلوب على الأنماط النادرة المفيدة التي تحدث بشكل منهجي ويقلل تدريجياً من الضوضاء العشوائية.
ما أظهرته الاختبارات على ثمانية معايير
تم اختبار الطريقة على ثلاثة نماذج لغوية وثمانية معايير قياسية لتقييم التفكير. تفوق تاكو باستمرار على حلول القاعدة المستندة إلى GRPO على جميع مجموعات البيانات.
الأكثر دلالة هو النتيجة في استقرار التدريب. غالباً ما تتدهور طرق التعلم المعزز القياسية الخالية من الناقد في جلسات طويلة: يصبح إشارة الائتمان ملوثة، وتتوقف الجودة عن النمو. وفر تاكو نمواً ثابتاً في المقاييس طوال التدريب بدون انعكاسات — وهو أمر مهم بشكل خاص للتعلم المعزز على المدى الطويل، الذي يكمن في أساس نماذج التفكير الحديثة.
تم نشر الكود المصدري على GitHub: github.com/xiuyilou/TACO.
ماذا يعني هذا
تم نقاش مشكلة الائتمان الموحد في التعلم المعزز للنماذج اللغوية الكبيرة لفترة طويلة في المجتمع، لكنها لم تكن تحتوي حتى الآن على حل بسيط وقابل للتوصيل. تاكو مضغوط ويتكامل فوق خط أنابيب موجود بدون إعادة هندسة معمارية. في 2025–2026، تستخدم عملياً جميع مختبرات الحدود التعلم المعزز على المدى الطويل كطريقة أساسية لتحسين قدرات التفكير في النموذج. إذا تم إعادة إنتاج تاكو في تجارب أكبر، فإن الطريقة قد تصبح مكوناً قياسياً في التدريب بالتعلم المعزز من الجيل التالي.
هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟
AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.