AWS تستعرض بنية تحتية للتدريب بالتعلّم المعزَّز متعدد الجولات لنموذج Amazon Nova

نشرت مدوّنة AWS Machine Learning Blog تعليمات لنشر بنية تحتية من مرحلتين للتعلّم المعزَّز (RL) متعدد الجولات لنموذج Amazon Nova، باستخدام Amazon Nova Forge على منصة Amazon SageMaker HyperPod.

كيف يعمل خط التدريب

ينتج عن عملية النشر خط معالجة (pipeline) قائم على الأحداث (event-driven)، أي تحرّكه الأحداث: يبدأ التدريب تلقائيًا لحظة رفع المستخدم بيانات إلى حاوية Amazon S3. وتُستخدم في المادة لعبة الكلمات Wordle مهمةً توضيحية لتدريب النموذج، ويصفها المؤلفون صراحةً بأنها «عنصر نائب» (placeholder) يمكن للقارئ استبداله بمهمة RL خاصة به. وتناسب Wordle الغرض التعليمي لأنها لعبة بسيطة ذات نتيجة واضحة يسهل التحقق منها في كل خطوة — أي هل خُمّنت الكلمة أم لا — ما يسهّل بناء إشارة مكافأة مفهومة للنموذج.

• تتألف البنية التحتية من مرحلتين، وتبدأ تلقائيًا عند وقوع حدث
• المُحفِّز هو رفع البيانات إلى حاوية Amazon S3
• يُنفَّذ التدريب على Amazon SageMaker HyperPod باستخدام Amazon Nova Forge
• المهمة التوضيحية هي تدريب النموذج على لعبة Wordle، وهي مجرد مثال ويمكن استبدالها بأي مهمة RL أخرى

لماذا نحتاج إلى التعلّم المعزَّز متعدد الجولات؟

التعلّم المعزَّز متعدد الجولات (multi-turn reinforcement learning) هو تدريب النموذج عبر سلسلة متتابعة من الخطوات أو الردود مع تغذية راجعة، بدلًا من توليد إجابة واحدة معزولة. وتزداد أهمية هذا النهج في أنظمة الذكاء الاصطناعي الوكيلية (agentic)، أي النماذج التي يتعيّن عليها التخطيط لعدة خطوات مقدمًا، وتغيير استراتيجيتها أثناء الحوار أو اللعبة، والتعلّم من نتيجة سلسلة الإجراءات بأكملها لا من رد منفرد — كمساعدي دعم العملاء، ووكلاء التداول أو الألعاب، والأدوات التي تستدعي واجهات API خارجية.

Amazon Nova هي عائلة من النماذج الأساسية قدّمتها AWS ضمن منصة Bedrock؛ أما Amazon Nova Forge فهو في هذا السياق أداة لإعادة تدريب هذه النماذج وتخصيصها. وتُعدّ Amazon SageMaker HyperPod بنية تحتية مُدارة من AWS للتدريب الموزَّع المستقر على عناقيد GPU كبيرة، وهي مصمَّمة للتعافي التلقائي من أعطال العُقد الفردية دون فقدان تقدّم عملية التدريب بأكملها.

وتحمل البنية القائمة على الأحداث أهمية بحد ذاتها هنا: فبدلًا من تشغيل التدريب يدويًا كلما ظهرت بيانات جديدة، يستجيب خط المعالجة لمجرد رفع ملف إلى S3 ويبدأ التدريب تلقائيًا. وهذا يسهّل تنظيم إعادة التدريب المستمرة للنموذج مع وصول بيانات جديدة، ويقلّل عدد العمليات اليدوية التي يحتاجها الفريق لإطلاق دورة RL جديدة. كما أن التعافي التلقائي لعنقود HyperPod بعد عطل عُقد فردية يقلّل خطر اضطرار الفريق إلى إعادة تدريب استغرق ساعات أو أيامًا من البداية بسبب عطل عتادي منفرد.

ماذا يعني ذلك

تُظهر هذه المادة أن AWS تواصل توسيع أدواتها لضبط نماذج Nova الخاصة بها بالتعلّم المعزَّز مباشرةً على بنية تحتية مُدارة، وهو ما ينافس عروضًا مماثلة لإعادة تدريب النماذج بالتعلّم المعزَّز لدى OpenAI وGoogle وAnthropic، ويسهّل على العملاء بناء أنظمة ذكاء اصطناعي وكيلية خاصة بهم فوق Nova. كما أن اختيار لعبة مبسّطة عمدًا مثل Wordle مثالًا تعليميًا يدل على أن AWS لا توجّه المادة إلى الفرق البحثية فحسب، بل أيضًا إلى المهندسين الذين يحتاجون إلى مثال انطلاق واضح لمشاريعهم الخاصة.