Together AI ترفع حدود Batch Inference API بمقدار 3000 ضعف وتخفض الأسعار بنسبة 50%

حدّثت Together AI واجهة Batch Inference API، وهي خدمة لمعالجة أعداد كبيرة من الطلبات الموجَّهة إلى نماذج LLM بتنفيذ مؤجَّل. وأعلنت الشركة ثلاثة تحسينات رئيسية: رفع الحدود 3000 ضعف، وخفض السعر بنسبة 50%، وإعادة تصميم الواجهة لتبسيط العمل.

التوسع دون اختناقات

يتعلق التغيير الأهم بالحدود. فقد كان السقف السابق 10 ملايين توكن لكل مستخدم عن كل نموذج، أما الآن فصار 30 مليار توكن. وهذا ليس مجرد رقم، بل حل لمشكلة معمارية تواجهها الشركات التي تعالج مجموعات بيانات ضخمة.

كان التعامل مع الأحجام الكبيرة في السابق بسيطاً في فكرته: تُقسَّم مجموعة البيانات إلى أجزاء، وتُنشأ مهام batch صغيرة كثيرة، وتُتابَع كل مهمة على حدة، ثم تُنسَّق النتائج. وكان ذلك غير عملي ويستغرق وقتاً طويلاً ويرفع التكلفة.

أما الآن فيمكن تحميل مجموعة البيانات كاملة في عملية واحدة والحصول على النتيجة ضمن اتفاقية مستوى خدمة (SLA) مدتها 24 ساعة، وغالباً في وقت أقصر بكثير.

وفي الوقت نفسه جرى تحديث التسعير. إذ تكلّف معالجة batch الآن نحو نصف تكلفة real-time API لحجم الحوسبة نفسه. وحين يدور الحديث عن مليارات التوكنات، يصبح فارق السعر مؤثراً في ميزانيات المشاريع.

أي نموذج، وواجهة بسيطة

يعمل API الآن مع جميع نماذج منصة Together التي يزيد عددها على 40 نموذجاً، بما في ذلك عمليات النشر (deployments) الخاصة. وكان الاختيار سابقاً محصوراً في عدد قليل من النماذج، ما شكّل عائقاً أمام الفرق التي أرادت التجريب واختبار نماذج مختلفة في وضع batch.

وأُعيد تصميم الواجهة بالكامل. فقد كان المستخدم يضطر سابقاً إلى كتابة استدعاءات API وفهم الوثائق وتصحيح الشيفرة. أما الآن فيتم كل شيء عبر تطبيق ويب: إنشاء المهمة، ومتابعة التقدم، وتنزيل النتائج. بضع نقرات وينتهي الأمر. وهذا يخفض عتبة الدخول أمام الفرق التي لا ترغب في الانشغال بكتابة شيفرة لكل طلب batch.

لمن هذه الخدمة

• تحليل المشاعر وتصنيف النصوص على ملايين المستندات
• كشف المعاملات الاحتيالية عبر فحص ملايين المدفوعات والعمليات
• توليد البيانات الاصطناعية لتدريب نماذج جديدة
• تحويل المجموعات النصية الكبيرة إلى متجهات (embedding-generation)
• إشراف على المحتوى في الشبكات الاجتماعية والمنصات التي تعتمد على UGC
• اختبارات المقارنة المعيارية (benchmark) لتقييم جودة النماذج ومقارنتها

ومن الأمثلة الملموسة أن مختبر Inception Labs يستخدم batch API بالفعل أساساً لسير عمله الإنتاجي (production workflow). وقال المؤسس المشارك فلاديمير كوليشوف:

«نعتمد على

Batch Inference API لمعالجة أحجام كبيرة جداً من الطلبات. تتيح لنا الحدود المرتفعة تشغيل تجارب ضخمة دون اختناقات. وتكتمل المهام أسرع بكثير من اتفاقية SLA البالغة 24 ساعة، وغالباً خلال بضع ساعات.»

ماذا يعني ذلك للقطاع

يخرج Batch Inference من دائرة المتخصصين ليصبح أداة واسعة الاستخدام. فقد شكّلت التكاليف المرتفعة والتعقيد التقني عائقاً جدياً في السابق، ولم يكن بوسع سوى مختبرات الأبحاث الكبرى والمشاريع الحكومية والشركات الكبيرة استخدام معالجة batch. أما الآن فقد حصلت الشركات الناشئة والفرق المتوسطة الحجم على الأدوات نفسها.

ويزيل خفض السعر بنسبة 50% ورفع الحدود 3000 ضعف أبرز العقبات أمام الاعتماد الواسع. ويُتوقع في عام 2025 ارتفاع حاد في استخدام batch-inference في تطبيقات production، بدءاً من الإشراف على المحتوى بالزمن الفعلي ووصولاً إلى توليد كميات كبيرة من بيانات التدريب لأغراض fine-tuning للنماذج الخاصة.