Apertus 1.5 السويسري يكتسب الرؤية والسمع وسياقًا بطول 262 ألف رمز

أصدر المشروع السويسري Apertus النسخة Apertus 1.5، وهي تحديث لنماذجه المفتوحة بحجم 8B و70B من المعاملات. أصبحت النماذج الآن تستقبل الصور والصوت، وتستطيع التبديل إلى وضع التفكير، وتعمل بسياق يبلغ 262 144 رمزًا (أي أكبر بأربع مرات من Apertus 1.0)، كما تحسّن استدعاؤها للأدوات الخارجية. نُشرت الأوزان على Hugging Face في 24 يوليو 2026 بترخيص Apache 2.0، فيما صدر التقرير التقني المفصّل في أكتوبر. والإصدار تدريب إضافي للنسخة الأولى: تلقّى نموذج 8B مزيدًا من البيانات النصية ومتعددة الوسائط بمقدار 4 تريليونات رمز (ليصل المجموع إلى 19 تريليونًا)، وتلقّى نموذج 70B ما مقداره 2 تريليون رمز (ليصل المجموع إلى 17 تريليونًا).

أبرز ما في الإصدار هو الطريقة التي أضاف بها الفريق تعدد الوسائط. والانفتاح كامل أيضًا: الأوزان والبيانات ووصفات التدريب وميثاق القيم متاحة للعموم.

تعدد الوسائط دون مشفّر مستقل

بدلًا من الصيغة المعتادة التي تعتمد على مشفّر بصري، اختار المطورون الدمج المبكر (early fusion). تتحول الصور والصوت إلى رموز منفصلة تدخل في تسلسل واحد مع النص. يتولى Emu3.5 تجزئة الصور: فالصورة بأبعاد 512×512 تعطي 1 024 رمز. ويعالج WavTokenizer الصوت بمعدل 40 رمزًا في الثانية. تبقى البنية المعمارية كما هي، ويتوسع القاموس فقط، ولذلك يجري التدريب بسرعة نموذج نصي. وهناك قيد: النماذج تفهم الصور والصوت لكنها تولّد النص فقط. ويُعدّ العمل مع الكلام تجريبيًا حتى الآن.

جرى التدريب المسبق على أربع مراحل: بيانات غير مترابطة (نص إضافة إلى صور وتسجيلات صوتية منفصلة)، وبيانات مقترنة (تعليقات على الصور ونصوص مفرّغة)، ومرحلة cooldown مع التركيز على الرياضيات والبرمجة، ثم زيادة السياق من 8k إلى 262k رمز. بقي أكثر من نصف الرموز نصيًا بحتًا حتى لا تضيع المهارات اللغوية التي اكتسبها Apertus 1.0. وحُدّث المتن النصي بإضافة FineWeb2-HQ+ وFinePDFs وNemotron-CC. والشروط نفسها: بيانات عامة فقط بتراخيص مسموحة، ويُراعى طلب الاستبعاد عبر robots.txt بأثر رجعي.

خمس مراحل لما بعد التدريب

بعد التدريب المسبق تمر النماذج بسلسلة من SFT، وSFT بسياق طويل، وRL، وDPO، ثم المواءمة وفق الميثاق (SDPO).

• SFT على 3,7 مليون مثال نصي، إضافة إلى بيانات الصور والكلام. تُضاف مسارات الاستدلال فقط إلى التعليمات التي لا يحلّها النموذج دونها. أما بيانات استخدام الأدوات (tool use) فتقتصر على المسارات التي جرى التحقق منها بالتنفيذ.
• SFT على النافذة الكاملة بطول 262k يعيد القدرة على العمل بسياق طويل، وهي قدرة يُضعفها التدريب القصير.
• RLVR بمكافآت قابلة للتحقق على نحو 350 ألف تعليمة في الرياضيات والبرمجة واتباع التعليمات وتعدد اللغات والرؤية، مع تشغيل وضع التفكير وإيقافه.
• DPO على أزواج صنّفها مُحكِّم، ويحسّن جودة المحادثة والعمل مع الأدوات والأمان.
• SDPO يوائم النموذج مع Apertus Charter عبر تغذية راجعة من المُحكِّم والتقطير الذاتي. وطُبّقت هذه المرحلة على نموذج 8B فقط.

ولاحظ الفريق في دراسات الاستئصال (ablations) أمرًا لافتًا: البيانات متعددة الوسائط في SFT تحسّن النتائج في جميع الوسائط. كما أن المكسب الناتج عن مسارات الاستدلال متعددة الوسائط يصمد أمام RL النصي اللاحق: فالرياضيات تتحسن أكثر مما لو بدأ التدريب من نقطة حفظ نصية بحتة.

ماذا تُظهر الاختبارات المرجعية

يقرّ المؤلفون بصراحة بأن النماذج لا تزال أدنى من الحلول المتقدمة مفتوحة الأوزان. ومع ذلك فالتقدم ملحوظ.

• يتفوق Apertus 1.5 8B على النماذج المفتوحة المماثلة في الحجم في مهام اتباع التعليمات وتعدد اللغات.
• يرفع وضع التفكير النتائج في الاختبارات الصعبة مثل AIME.
• في تعدد الوسائط يقترب النموذج من Gemma 4 12B وغيره من الحلول الحالية مفتوحة الأوزان. وهو منافس في الفهم المكاني والعمل مع المستندات والرسوم البيانية بين النماذج المفتوحة بالكامل.
• في المسائل القانونية السويسرية يبلغ النموذج مستوى أبرز النماذج مفتوحة الأوزان.
• في Last Translation Benchmark يعادل إصدار 8B نموذج GPT-OSS-20B ويتفوق على Claude Haiku 4.5 وGoogle Translate.

وجرى التشديد بوجه خاص على شفافية التقييم. نُشرت النتائج بصيغة Every Eval Ever بالتعاون مع EvalEval Coalition: فلا تُسجَّل النتيجة وحدها، بل أيضًا من شغّل الاختبار، وكيف جرى الوصول إلى النموذج، وما إعدادات التوليد المستخدمة. وبحسب تقدير EvalEval، يغطي هذا الإطار 56 من 60 عنصرًا من عناصر الإفصاح التي تشترطها المادة 55 من EU AI Act وGPAI Code of Practice. وتعمل الاختبارات على نسخة عامة متفرعة من lm-evaluation-harness، ولذلك يمكن إعادة تشغيلها.

أين تجد النماذج وما الخطوة التالية

يشمل الإصدار النماذج الأساسية ونقاط الحفظ الخاصة بمراحل SFT وRL وDPO والنهائية لنموذجَي 8B و70B (والنسخة النهائية من 70B توافق مرحلة DPO). وعلى Hugging Face نُشرت نقاط حفظ وسيطة، ومزيج SFT النصي، ومجموعة التفضيلات، وأزواج التدريب. يعتمد الكود على Megatron-LM وverl. وقد دمج Proton Lumo وInfomaniak Euria النماذج بالفعل. وأعلنت Swisscom وInfomaniak وPhoeniqs ومزودون آخرون عن واجهات API.

بالنسبة للشركات الأوروبية ذات المتطلبات الصارمة بشأن مصدر البيانات والامتثال، هذا أحد الخيارات القليلة التي يمكن فيها التحقق من المسار كله، من المتن إلى نقطة الحفظ. وجميع المراحل متاحة للباحثين للدراسة. وقد تجاوز عدد التحميلات على Hugging Face خمسة ملايين. وحدّد الفريق خطوته التالية في AI+X Summit في زيورخ: Apertus 2.0 ببنية MoE متفرقة بنحو 600B معامل، وجدول تدريب أطول، وأولوية للوكلاء والرياضيات والبرمجة.