Axion 1.0-35B يحقق 52,2% على HLE ومطوّروه ينشرون كود تدريب الوكيل

إذا كان على وكيلك العثور على معلومات في مصادر متعددة ومقارنتها وحساب الإجابة، فلن يكفي تزويده بإمكانية البحث. يجب أيضًا تعليم النموذج كيفية الاستفادة مما يعثر عليه. يقدّم Axion 1.0 منهجًا مفتوحًا لهذا التدريب. وبالنسبة إلى المطور، هذه فرصة لدراسة إعداد البيانات واختبار النهج على مهامه الخاصة.

للمشروع نتيجة لافتة: حققت نسخة Axion 1.0-35B نسبة 52,2% على Humanity’s Last Exam مع استخدام الأدوات. لكن بالنسبة إلى فريق يبني منتجًا، هناك سؤال أكثر فائدة: ما أجزاء هذه النتيجة التي يمكن إعادة إنتاجها، وكم ستكلّف في حالة الاستخدام الخاصة به؟

ما الذي أُتيح تحديدًا؟

بحسب مستودع المشروع، يضم النموذج الأصغر 35 مليار معلمة، تنشط منها 3 مليارات أثناء الحسابات. ويحتوي المستودع على كود توليد البيانات وتصفيتها، والتعليمات، وكود التدريب والتقييم. لكن ملف README يوجّه المستخدمين إلى أوزان أعاد المجتمع إنتاجها، ويوضح صراحة أنها ليست نقطة تحقق رسمية لنموذج Axion. لذلك، لا يزال الوعد بـ«تنزيل نموذج المطوّرين وتكرار النتيجة» بحاجة إلى تحقق منفصل.

يتكوّن التدريب من مرحلتين باستخدام أمثلة مُعدّة مسبقًا، ثم مرحلة للتعلّم المعزّز. يبدأ النموذج بحل مهام تتوافر معلوماتها في نص المسألة، ثم يتعلّم الحصول على المعلومات الناقصة باستخدام الأدوات. وفي المرحلة الأخيرة، يتلقى مكافأة على النتيجة وعلى التقدم الوسيط القابل للتحقق. وتصف ورقة المطوّرين هذا التسلسل.

تكمن الفائدة العملية هنا في إمكانية دراسة العملية جزءًا جزءًا. فقد تكون طريقة إعداد مهام قابلة للتحقق أكثر فائدة للفريق من النموذج نفسه. ويكتسب ذلك أهمية خاصة إذا كان الوكيل يعرف بالفعل كيفية استدعاء الأدوات، لكنه يختار باستمرار بيانات غير صحيحة للحسابات.

كيف يبدو ذلك في مهمة عمل فعلية؟

لنتخيّل مساعدًا للمشتريات. عليه اختيار المورّد الذي يقدّم أقل تكلفة للطلب مع الالتزام بموعد تسليم محدد. ويجب أن يعثر على العروض، ويتحقق من التوافر، ويوحّد عملة الأسعار، ويضيف تكلفة الشحن. لا قيمة لإجابة مصاغة بإتقان إذا كان الوكيل قد قارن بين تجهيزات مختلفة.

لتدريب مساعد كهذا، يمكن إعداد جدول للعروض مسبقًا وحساب الاختيار الصحيح برمجيًا. ثم يُعطى النموذج السؤال فقط، مع إمكانية الوصول إلى المصادر المسموح بها. ويُحفَظ الحل الناجح مع تسلسل الإجراءات. هذا مثال يوضح كيفية تطبيق فكرة المهام القابلة للتحقق داخل منتج؛ ولا يعلن المطوّرون عن وكيل مشتريات جاهز.

ينبغي ألا يقتصر التحقق على المبلغ النهائي. هل اختيرت التجهيزات الصحيحة؟ هل تتوافق مواعيد التسليم؟ هل احتُسب الشحن؟ تساعد هذه الفحوص الوسيطة على تحديد الموضع الذي تتعطل فيه سلسلة الخطوات بدقة. وإذا جاءت الإجابة الصحيحة بالمصادفة، فمن الأفضل عدم اعتبار المثال نموذجًا للأداء الموثوق.

يمكن البدء من دون إجراء تدريب خاص. اجمع مجموعة صغيرة من الطلبات المعتادة، وسجّل المصادر والإجابات الصحيحة، ثم اختبر وكيلك الحالي عليها. ستكشف هذه الخطوة وحدها ما ينقصه: البحث، أم الحساب، أم فهم الشروط. وبعد ذلك، يصبح تحديد الحاجة إلى مجموعة بيانات جديدة أسهل.

لماذا لا تكفي نتيجة 52,2% لاختيار النموذج؟

في وصف التقييم، يعرض المطوّرون أفضل نتيجة لتشغيل منفرد، وليس المتوسط. وفي التقييم الرئيسي على HLE، يُقيَّد الوصول إلى بعض المواقع. كما أُخذت بعض نتائج المنافسين من تقارير خارجية، ولذلك لا تتطابق ظروف المقارنة بالكامل. ولا يمكن تعميم التعادل مع GPT-5.5 في الجدول على جميع مهام العمل.

كذلك، فإن وجود ثلاثة مليارات معلمة نشطة لا يعني أن استضافة النموذج تتطلب مقدار الذاكرة نفسه الذي يحتاجه نموذج تقليدي بهذا الحجم. يجب احتساب جميع الأوزان والسياق وطريقة التشغيل المختارة. وتشمل تكلفة إنجاز المهمة بنجاح أيضًا البحث وتنفيذ الكود والمحاولات المتكررة.

في تجربة أولية، سأقارن Axion بالحل الحالي باستخدام الأدوات نفسها والحدود نفسها. وسأقيس نسبة الإجابات الصحيحة ووقت التنفيذ والتكلفة لكل مهمة مكتملة. وسأختبر بصورة منفصلة الحالات التي يتعذر فيها الوصول إلى مصدر أو تتعارض فيها البيانات. إذا استمرت الأفضلية في هذه الظروف، فسيكون هناك أساس لمناقشة اعتماد النموذج. أما حاليًا، فأبرز حصيلة عملية لهذا الإصدار هي إتاحة عملية تدريب الوكيل للدراسة.