AWS تطلق Multi-Turn RL في SageMaker: gpt-oss-20b يرتفع من 15 إلى 69% بتكلفة $339

فتحت AWS في SageMaker AI خدمة Multi-Turn Reinforcement Learning (MTRL). تدرّب الخدمة النماذج على مهام من عدة خطوات لا يُعرف فيها سوى الناتج النهائي: هل نجحت سلسلة الإجراءات كلها أم لا. في تشغيل تجريبي، ارتفعت نسبة كلمات Wordle المحلولة لدى gpt-oss-20b من 61 إلى 84% على عينة التحقق المستبعدة عند مستوى reasoning effort الافتراضي. وعند مستوى effort المنخفض الذي جرى عليه التدريب، ارتفعت النتيجة من 15 إلى 69%. وبلغت تكلفة رموز التدريب نحو $339.

لماذا لا يناسب الضبط الدقيق التقليدي الوكلاء

يعلّم Supervised fine-tuning النموذجَ تقديم أفضل إجابة عن prompt واحد. أما الوكيل الذي يُعدّ تقرير سلفة مالية أو يعالج تذكرة دعم فيعمل بطريقة مختلفة: كل خطوة تعتمد على الخطوات السابقة، وفي الغالب لا يوجد تسلسل مرجعي يمكن محاكاته. ولا يستطيع RL أحادي الخطوة أن ينسب الفضل إلى قرار اتُّخذ قبل النتيجة بثلاث خطوات. تعتمد MTRL على الإشارة الوحيدة المتوافرة في العمليات الواقعية، أي المكافأة على الحلقة (episode) المكتملة. فلا تصفون المسار الصحيح، بل تحددون فقط كيف يُقيَّم الناتج.

تنقسم البنية إلى نصفين. يتولى SageMaker AI مهمة التدريب ونموذج policy. أما الوكيل والبيئة ودالة المكافأة فتعمل في Amazon Bedrock AgentCore، أو على بنيتكم التحتية (EKS وEC2 وFargate) عبر Lambda-forwarder. في كل roll-out تستدعي الخدمة بيئة AgentCore مع سطر واحد من مجموعة البيانات. يتصل وكيل مبني على Strands بنموذج policy عبر نقطة نهاية متوافقة مع OpenAI، ويلعب حتى ست محاولات عبر الأداة guess_word، ثم يعيد في النهاية رقمًا واحدًا. وتقارن Group Relative Policy Optimization (GRPO) مكافآت عدة roll-outs للكلمة نفسها، ثم تحدّث محوّل LoRA.

تعتمد المكافأة بقوة على النتيجة. يمنح الفوز من 1,05 إلى 1,55 بحسب السرعة، ويمنح الخسارة −0,5، أما غياب أي تخمين صالح فيمنح −1,5. ويشجّع حدّ shaping صغير الاستراتيجية الجيدة داخل كل مستوى. تحتوي مجموعة البيانات على الكلمة المخفية فقط. أما قوائم المفردات المبنية على SCOWL فموجودة داخل الوكيل، وتُستخدم لحساب المكافأة فحسب. وللتحقق أُخذت 128 كلمة لا تتقاطع مع الكلمات التدريبية البالغ عددها 640 (خمس دفعات كاملة، حجم كل منها 128).

كم كلّفت 100 خطوة

لا تتطلب MTRL اختيار instances. يُدفع مقابل كل مليون رمز في ثلاثة بنود: prefill وsample وtrain. وفي المهام متعددة الخطوات يرتفع prefill، لأن كل جولة تعيد قراءة السجل السابق. وعالج التشغيل المؤلف من 100 خطوة 105 486 roll-out خلال 12 ساعة و40 دقيقة، بالأسعار المعلنة في us-east-1:

• Prefill: 491 616 806 رموز بسعر $0,12 لكل مليون، أي $58,99 • Sample: 159 737 098 رموز بسعر $0,30، أي $47,92 • Train: 643 308 554 رموز بسعر $0,36، أي $231,59 • الإجمالي: 1 294 662 458 رمز، $338,50 • بيئة AgentCore وقت التشغيل: نحو $79 مقابل vCPU والذاكرة بحسب مقاييس CloudWatch، أي ما يقارب $417 في المجموع

يرتفع بند train، وهو أكبر بنود الإنفاق، مع طول المسار. لذلك ينبغي توفير النفقات عبر تقصير الحلقات وتقليل الاستدلال المسهب. وفي مهام التقييم استهلك reasoning effort المنخفض رموز sample أقل بنسبة 63–83% في اللعبة الواحدة مقارنة بالمستوى المتوسط.

النماذج المدعومة وفخاخ الإعداد

تعمل الخدمة حاليًا مع أربعة نماذج أساسية، ويُدرَّب كل منها عبر محوّل LoRA:

• Amazon Nova 2 Lite: us-east-1 وus-west-2 • GPT-OSS-20B: us-east-1 وus-west-2 • Gemma 4 31B (instruction-tuned): us-west-2 فقط • Qwen 3.6 27B: us-west-2 فقط

اختار المؤلفون GPT-OSS-20B لأن سعر الرمز فيه الأدنى بين النماذج الأربعة، ولإمكان تحديد reasoning effort لكل طلب.

يصف الدليل عدة نقاط غير بديهية. يجب أن يثق دور مهمة التدريب بـ job.sagemaker.amazonaws.com، لا بـ sagemaker.amazonaws.com. ويلزم تفعيل العمليتين sts:AssumeRole وsts:TagSession معًا، وإلا فشل CreateJob مع الرسالة «Could not assume role». ولا يُسمّى الـ principal إلا بعد عدة محاولات متكررة. أما المُزخرِف sagemaker_rft_handler فلا يشغّل خادم HTTP بنفسه. يجب تغليفه بـ BedrockAgentCoreApp وبـ @app.entrypoint، على أن يكون entrypoint في الخارج، وإلا اصطدم كل استدعاء بمهلة 30 ثانية. ويتطلب التشغيل botocore 1.43.37 أو أحدث، إذ ظهرت فيه للمرة الأولى عملية AgentRFT CreateJob. ويجب أن تكون المهمة وبيئة التشغيل في المنطقة نفسها، لأن CreateJob يرفض ARN العابر للمناطق. كما يلزم تطبيق MLflow لجمع المقاييس.

قبل إنفاق وقت GPU، يُستحسن إجراء smoke-test بحمولة payload من المستودع، مع وضع حسابكم في ARN. والنتيجة المتوقعة: الرمز 400 مع «Could not find job» ومكافأة −1,5، لأن الوكيل لم يصل إلى النموذج. وهذا يؤكد أن التحليل والمصادقة والإبلاغ عن الأخطاء تعمل. وإذا ظهر 403 فهذا يعني أن ARN يحمل حسابًا آخر. وإذا ظهرت مهلة انتظار فهذا يعني أن الخادم لا يبدأ.

ماذا يعني ذلك عمليًا

Wordle هنا مجرد مثال تعليمي، وتتعامل معه نماذج frontier بنجاح. تكمن القيمة العملية في أمر آخر: أن يُؤخذ نموذج صغير رخيص ويُعلَّم عملية متعددة الخطوات غير موجودة في بيانات التدريب العامة، مثل الموافقة الداخلية على الطلبات أو توجيه التذاكر. ولذلك يجري في main.py تغيير تحليل المهمة والأدوات ودالة المكافأة، ويبقى بقية خط المعالجة كما هو. ويمكن أن تكون مجموعة البيانات سطرًا يحوي القائمة الكاملة للرسائل، أو إعداد أدوات، أو مواصفة مكافأة، لأن الخدمة تمررها إلى الوكيل دون تحليل.

تبقى البيانات والوكيل والنموذج المدرَّب في حساب AWS الخاص بكم، ولا تُستخدم لتدريب النماذج الأساسية. والتقدير النهائي للتكلفة بسيط: نحو $340 للرموز و$80 لبيئة التشغيل تمنحان نموذجًا متخصصًا من فئة 20B. ولكي لا يرتفع السعر، ينبغي تصميم حلقات قصيرة منذ البداية، ومكافأة تعطي النتيجة النهائية وزنًا أكبر من النقاط الوسيطة.