OpenMythos: إعادة بناء مفتوحة المصدر لبنية Claude Mythos في PyTorch بـ 770M معاملات

لم تنشر Anthropic أبداً ورقة بحثية تقنية حول Claude Mythos. لم يمنع هذا مجتمع البحث — والآن ظهر مشروع OpenMythos على GitHub، يحاول الإجابة على السؤال: كيف بالضبط تم هيكلة هذه الهندسة المعمارية؟ اقترب مؤلف المشروع Kye Gomez من المهمة انطلاقاً من المبادئ الأولى. لم يعتمد على تسريبات داخلية أو معلومات مطلعين — فقط على منشورات مراجعة الأقران والأبحاث المتاحة للجمهور في مجال بنى نماذج اللغات الكبيرة.

النتيجة هي إعادة بناء كاملة للهندسة المعمارية المفترضة لـ Claude Mythos، مُنفذة في PyTorch. أهم النتيجة التقنية للمشروع: نموذج يتضمن 770 مليون معامل يُظهر أداءً مقارناً بهندسات محولات Transformer القياسية التي تضم 1.3 مليار معامل.

إن كانت هذه الملاحظة صحيحة، فإنها تشير إلى نهج مختلف جوهرياً للتوسع — ليس من خلال زيادة عدد المعاملات، بل من خلال تنظيم أكثر كفاءة لها. من بين الحلول المعمارية المفترضة التي أعاد بناءها Gomez في OpenMythos آليات انتباه متخصصة، مخططات تطبيع غير قياسية، وعلى ما يبدو، الابتعاد عن المخطط الكلاسيكي decoder-only لنماذج تشبه GPT. إن المزيج من هذه الحلول، بحسب قول المؤلف، هو ما يوفر كفاءة معاملات شاذة بشكل عالٍ.

من المهم أن نفهم: OpenMythos ليس هندسة عكسية بالمعنى التقني ولا محاولة لإعادة إنتاج أوزان النموذج الفعلي من Anthropic. إنها فرضية نظرية تم تشكيلها في شكل كود عملي. يصرح Gomez بذلك بشكل صريح في التوثيق: يعكس المشروع تفسيراً واحداً محتملاً لكيفية هيكلة هندسة معمارية من هذا القبيل، بدلاً من الادعاء بالتكرار الدقيق للأصل.

مع ذلك، فإن حقيقة ظهور هذا المشروع نفسه بليغة. لقد أصبح انغلاق Anthropic فيما يتعلق بتفاصيل البنية المعمارية للـ Claude هو القاعدة — تنشر الشركة أبحاثاً حول الأمان والقابلية للتفسير والتعلم المعزز، لكنها تتجنب الكشف عن التفاصيل التقنية لنماذجها الرئيسية. يُحدث هذا فراغاً معلوماتياً تملأه المجتمع بمفردها.

ليس OpenMythos أول محاولة من هذا النوع. في السابق، اشتغل المجتمع على إعادة بناء بنى نماذج GPT-4 و Gemini Ultra، معتمداً على مؤشرات غير مباشرة من معايير الأداء وأنماط الأخطاء والمنشورات من المؤلفين المنتسبين. الفرق هو أننا هنا نتعامل مع هندسة معمارية لم تعلنها Anthropic رسمياً أبداً — لا يُذكر Claude Mythos إلا في سياق الشائعات والتسريبات غير المؤكدة.

بالنسبة لممارسي التعلم الآلي، فإن OpenMythos مثير للاهتمام قبل كل شيء كمصدر للأفكار المعمارية. حتى لو أثبتت إعادة البناء أنها غير دقيقة، فإن الحلول المحددة — في تنظيم الانتباه ومخططات التطبيع ونهج التوسع — قد تثبت أنها مفيدة بصرف النظر عن أصلها. يُنشر المشروع تحت ترخيص مفتوحة، مع توفر الكود على GitHub.

هذا يعني أن أي شخص يمكنه تشغيل الهندسة المعمارية والتحقق من الخصائص المعلنة واقتراح تفسيرات خاصة بهم. في الواقع، فتح Gomez تحقيقاً جماعياً — وستواصله المجتمع الآن.