AWS تشرح إطلاق التدريب المعزَّز (reinforcement fine-tuning) في Amazon Bedrock عبر واجهات API متوافقة مع OpenAI

نشرت AWS شرحًا تفصيليًا لكيفية تشغيل reinforcement fine-tuning في Amazon Bedrock عبر واجهات API متوافقة مع OpenAI. وتقترح الشركة عمليًا مسارًا مألوفًا للمطورين: حزمة OpenAI SDK نفسها، لكن مع Bedrock بوصفه منصة للتدريب والتقييم والاستدلال.

كيف تعمل العملية

يُستخدم Reinforcement fine-tuning، أو RFT، حين لا يكفي أن نعرض على النموذج الإجابات الصحيحة فقط، كما في supervised fine-tuning التقليدي. هنا يولّد النموذج عدة صيغ للإجابة عن الطلب (prompt) نفسه، ثم تمنحها دالة مكافأة (reward) مستقلة تقييمًا رقميًا. ويأخذ Amazon Bedrock هذه الإشارة ويدير بنفسه دورة التحسين عبر خوارزمية GRPO. وهذا يعني أن الفريق لا يحتاج إلى بناء بنية تحتية ثقيلة للتعلّم المعزَّز: فالخدمة تتولى التنسيق (orchestration) والتوازي ونقاط الحفظ (checkpoints) والمقاييس.

ويُظهر الشرح العملي من AWS أن مدخل هذا السيناريو صُمّم ليشبه إلى أقصى حد حزمة OpenAI المعتادة. يكفي أن يوجّه المطوّر `OPENAI_BASE_URL` إلى نقطة Bedrock Mantle الإقليمية، وأن يمرّر `OPENAI_API_KEY` المُولَّد لـ Bedrock. بعد ذلك يمكن استخدام الاستدعاءات نفسها: `client.files.create()` و`client.fine_tuning.jobs.create()` و`client.chat.completions.create()`. أي أن العائق ليس حزمة SDK جديدة، بل مدى جودة صياغتك الرسمية لمعيار جودة الإجابة.

البيانات ودالة المكافأة

في المثال، تستخدم AWS مجموعة بيانات GSM8K لمسائل الرياضيات المدرسية. تُحمَّل البيانات عبر Files API بصيغة JSONL: يحتوي كل سطر على كتلة `messages`، وتُضاف إليها `reference_answer` للمسائل القابلة للتحقق. وتتيح هذه الصيغة إرسال السؤال إلى النموذج مع الاحتفاظ بالإجابة المرجعية أو قاعدة التحقق. ويوضح الشرح بشكل منفصل أن الطلب (prompt) يمكن هيكلته مسبقًا بحيث يسهل استخراج الإجابة النهائية تلقائيًا، مثلًا بصيغة خاصة مثل `\boxed{}` أو بعد العلامة `####`.

والعقدة المحورية في المخطط كله هي دالة المكافأة على AWS Lambda. في العرض التوضيحي تتلقى هذه الدالة المسارات (trajectories)، وتعثر على آخر إجابة للمساعد، وتستخرج الإجابة الصحيحة من `reference_answer`، ثم تُرجع درجة (score) بين 0 و1. وفي الرياضيات يكون ذلك فحصًا ثنائيًا بسيطًا، لكن المنطق لا يقتصر على هذه الحالات. وتؤكد AWS بشكل منفصل أنه يمكن تضمين قواعدك الخاصة داخل Lambda، وأنه يمكن استخدام نهج model-as-a-judge للمهام الأقل قابلية للصياغة الرسمية. وثمة نقطة مهمة للمؤسسات: لا تغادر البيانات أثناء العملية بيئة AWS المحمية، ولا تُستخدم لتدريب نماذج Bedrock.

التدريب والتشغيل

يبدو إطلاق التدريب نفسه مختصرًا نسبيًا: يُمرَّر إلى `fine_tuning.jobs.create()` النموذج الأساسي وملف التدريب ونوع الطريقة `reinforcement` ومعرّف ARN الخاص بمُقيِّم Lambda ومجموعة من المعاملات الفائقة (hyperparameters). يظهر في المثال `openai.gpt-oss-20b` وحقبة واحدة (epoch) و`batch_size=4` و`learning_rate_multiplier=1.0`، مع أن الوثائق توصي بالبدء بقيمة أقل من واحد لتحقيق الاستقرار. بعد ذلك ينشئ Bedrock المهمة بنفسه ويحصي الخطوات ويحفظ نقاط حفظ (checkpoints) وسيطة يمكن استخدامها لتقييم الجودة قبل انتهاء التدريب.

وأثناء التدريب تقترح AWS متابعة أحداث المقاييس إضافة إلى حالة المهمة. في المثال، تمر المهمة على مجموعة فرعية من GSM8K بـ 67 خطوة، ويرتفع منحنى المكافأة من نحو 0.56 إلى نطاق 0.85–0.97 بحلول منتصف التدريب. وبالتوازي تصبح الإجابات أقصر، وهو ما يفسره المؤلفون بأن النموذج تعلّم حل المسائل بدقة أكبر ومن دون إسهاب زائد.

• `critic_rewards_mean` — الإشارة الرئيسية: إذا كانت في ارتفاع، فالنموذج يتعلّم
• `actor_entropy` — يوضح ما إذا كان تنوع الإجابات ينهار نحو mode collapse
• `actor_grad_norm` — يساعد على رصد عدم الاستقرار إذا بدأت التدرجات (gradients) تقفز بحدة
• `response_length_mean` — مفيد ضد reward hacking، حين يبدأ النموذج بتضخيم إجاباته طلبًا للتقييم

وبعد اكتمال المهمة لا يحتاج النموذج إلى نشر منفصل. يكفي الحصول على `fine_tuned_model` من تفاصيل المهمة واستدعاؤه فورًا عبر Chat Completions API أو Responses API، بما في ذلك البث (streaming). وهذه هي الميزة العملية الأهم في المخطط كله: يبقى التدريب والاستدلال ضمن بيئة API واحدة. وتوضح وثائق Bedrock بشكل منفصل أن المسار المتوافق مع OpenAI للضبط الدقيق (fine-tuning) متاح حاليًا لـ `openai.gpt-oss-20b` و`qwen.qwen3-32b` في المنطقة `us-west-2`.

«لا endpoint منفصل ولا استضافة».

ماذا يعني ذلك

تحاول AWS بوضوح أن تجعل reinforcement fine-tuning أداة هندسية اعتيادية لا ترفًا بحثيًا. فإذا كان لدى الفريق شيفرة مبنية على OpenAI SDK ومنطق مكافأة واضح، يصبح الدخول إلى RFT أسهل بشكل ملحوظ: يمكن البدء بـ 100–200 مثال، والتحقق من المقاييس، ومقارنة نقاط الحفظ (checkpoints)، ومعرفة ما إذا كان الضبط سيمنح نموذجًا أرخص وأسرع لمهمة بعينها. ويبدو ذلك مثيرًا للاهتمام خصوصًا في الرياضيات والبرمجة وغيرها من السيناريوهات التي يمكن فيها التحقق من جودة الإجابة تلقائيًا.