شركة Together AI تطلق خدمة Post-Training: تدريب بالتعزيز (RL) وضبط دقيق (SFT) على شريحة B200 مقابل $9 لكل ساعة GPU

أطلقت شركة Together AI رسميًا خدمة Together Post-Training، التي تتيح تدريب النماذج الخاصة سواء عبر التعلم المعزز (RL) باستخدام مكافآت البيئة، أو عبر الضبط الدقيق الخاضع للإشراف (SFT) على بيانات مصنفة، دون الحاجة إلى بناء بنية تحتية وإدارتها ذاتيًا. تتوفر عند الإطلاق أربعة نماذج مفتوحة: Muse Spark Open وGLM 5.3 وKimi K3 وQwen 3.8-27B. وخلال الأسابيع الثمانية الأولى، تبلغ تكلفة تشغيل شريحة B200 نحو $9 لكل ساعة. وكانت النسخة التجريبية (Beta) تعمل منذ أبريل، وأصبحت الخدمة الآن متاحة للجميع.

كيف تعمل الخدمة؟

على عكس خدمة الضبط الدقيق (fine-tuning) التقليدية لدى Together، يتحكم المستخدم هنا في دورة التدريب بأكملها. يمكن ربط أي بيانات، وبيئات عمل، وأطر عمل للوكلاء البرمجيين، فضلًا عن إضافة خطوات مخصصة مثل تسجيل البيانات أو مقاييس الأداء الخارجية. وتُنفذ الحسابات على ما يُعرف بـ Model Resources، وهي وحدات GPU مخصصة لا تتنافس مع طلبات أطراف أخرى. ويستوعب كل مورد تدريبي جلسة تدريب (Training Session) واحدة أو أكثر، وتمثل كل جلسة تجربة منفصلة على نموذج أساسي محدد. وتضم كل جلسة مكوّن Trainer لتنفيذ التمرير الأمامي والخلفي، ومكوّن Generator لتوليد مسارات السياسة (rollouts).

تشمل الخصائص الأساسية للخدمة ما يلي:

• أوضاع التدريب: دعم LoRA، بما في ذلك تشغيل عدة محولات (adapters) على نفس سعة الـ GPU، إلى جانب إعادة التدريب الكامل للأوزان لبعض النماذج؛
• دوال خسارة مدمجة: تشمل cross-entropy وGRPO وCISPO وDPPO، مع إمكانية حساب دالة الخسارة محليًا وإرسال التدرجات (gradients) إلى الـ Trainer؛
• تعلم معزز غير متزامن (asynchronous RL) لاستغلال طاقة وحدات GPU أثناء مسارات توليد الوكلاء الطويلة؛
• إمكانية تشغيل المورد دون أي وحدات Generator أثناء مهام SFT، لتجنب دفع تكاليف غير ضرورية؛
• احتساب التكلفة بدقة بالدقيقة لكل GPU؛
• سهولة الانتقال من سكربتات Tinker عبر استبدال سطر استيراد واحد: `import together.post_training.tinker as tinker`.

أين تكمن السرعة والتوفير المالي؟

يتمثل الخطر التقني الأكبر في التعلم المعزز، وفقًا لمطوري الخدمة، في عدم اتساق محركات التدريب والاستدلال. فإذا أدت نفس الأوزان إلى مخرجات متباينة قليلًا بسبب اختلافات الحسابات العددية، فقد يتراجع أداء التجربة أو يفشل التدريب بالكامل. وتؤكد Together أنها تقضي على مصادر انحراف السياسة (policy drift) عبر أساليب قياسية مثل Rollout Routing Replay، إلى جانب حلول طورتها داخليًا لضمان استقرار التدريب.

يُستنزف الجزء الأكبر من وقت التعلم المعزز في توليد المسارات، وهنا تعتمد Together على بنية الاستدلال الخاصة بها. وتعتمد الوكلاء متعددة الخطوات على آليات التخزين المؤقت وتوجيه الطلبات لتقليل الحسابات المتكررة وإبقاء استهلاك الذاكرة تحت السيطرة. أما من جانب التدريب، فتتحقق السرعة عبر موازاة محسنة وتجميع التسلسلات (sequence packing). وتدعي الشركة أنه مع توسيع نطاق التجارب، تنخفض تكلفة التدريب عن نموذج التسعير القائم على الرموز (tokens). تجدر الإشارة إلى أن هذه الادعاءات صادرة عن الشركة المزودة نفسها، ولا يتضمن الإعلان أي قياسات مستقلة.

إلى جانب ذلك، قدمت الشركة حلًا لمرحلة ما بعد التدريب؛ حيث وفّرت ميزة multi-LoRA serving ضمن خدمة الاستدلال المخصص (Dedicated Model Inference)، مما يسمح بتبديل المحولات على بيئة GPU واحدة دون الحاجة إلى نشر منفصل لكل تجربة. وتتعهد Together بالحفاظ على جودة نقطة التفتيش (checkpoint) عند الانتقال من أخذ العينات عبر multi-LoRA إلى نموذج موحد بصيغة FP4.

ماذا يقول العملاء الأوائل؟

أفادت شركة Deel بأنها بدأت تشغيل تجارب RL واقعية في غضون ساعتين، مع تشغيل ما يصل إلى خمس تجارب متوازية على سعة GPU واحدة. وقامت Jack & Jill بتدريب نموذج يتنبأ بالمرشحين الذين يفضل مسؤول التوظيف مقابلتهم، وأظهرت التقييمات غير المتصلة بالإنترنت (offline) وصوله إلى أداء يضاهي النماذج المغلقة، ولكن بتكلفة تشغيل واستدلال أقل بفضل اعتماده على نموذج مفتوح. وتعمل Collinear AI مع الخدمة منذ إطلاق نسختها التجريبية في أبريل، وتجري تجارب RL واسعة النطاق للوكلاء البرمجيين. علمًا بأن جميع هذه الشهادات نُقلت مباشرة عبر شركة Together.

خلاصة عملية للفرق التقنية

إذا كان لديك بالفعل وكيل برمجي يعمل بنموذج مغلق وتمتلك مقياس جودة واضح، تتيح لك الخدمة اختبار إمكانية استبداله بنموذج مفتوح مخصص. ويوفر الخصم الحالي نقطة دخول اقتصادية بسعر $9 لكل ساعة GPU لشريحة B200 لمدة ثمانية أسابيع. ولاختبار الفكرة، توفر الشركة دليلًا تطبيقيًا (cookbook) على GitHub يضم أمثلة لتطبيق GRPO على GSM8K، وتطبيق DPO كدالة خسارة مخصصة، وتشغيل محولات LoRA متعددة على مورد واحد.

أما بالنسبة لمستخدمي Tinker، فلن يستغرق نقل المشاريع سوى دقائق معدودة. وقبل الانتقال الفعلي، قارن مقاييس الأداء غير المتصلة على عدة نماذج أساسية، واحسب التكلفة النهائية للاستدلال بصيغة FP4. وبالنسبة للشركات التي تفتقر إلى خبرة داخلية في التعلم المعزز، توفر Together مهندسين ميدانيين للمساعدة في اختيار النموذج وأطر عمل الوكلاء، وجمع البيانات والبيئات، ثم إطلاق نقطة نهاية (endpoint) محسنة للإنتاج.