97 ساعة على بطاقة رسومية واحدة: تجربة مع شبكة عصبية ذاتية التعلّم وفخ المقاييس الجميلة

تخيل: تأخذ نموذج لغة وتريد أن تضيف له قدرة جديدة — دعنا نقول، القدرة على حل المعادلات التفاضلية أو كتابة الأكواد بلغة Rust. الطريق القياسي هو الضبط الدقيق، والذي يتطلب بيانات وموارد حسابية ويؤدي حتماً إلى النسيان الكارثي، عندما يفقد النموذج القدرات القديمة أثناء اكتسابه لقدرات جديدة. لكن ماذا لو أمكن توصيل المهارات مثل التطبيقات على الهاتف الذكي — بسرعة، بشكل معياري، بدون آثار جانبية؟ هذه هي بالضبط الفكرة التي قرر باحث مستقل اختبارها، حيث نشر تقريراً تفصيلياً على Habr. النتيجة: 97.5 ساعة من العمل على بطاقة رسومات واحدة RTX 4090، و22 تكراراً من التجارب، وواحدة من أكثر خيبات الأمل تعليماً في مجال التعلم الآلي في الآونة الأخيرة.

مفهوم التوسع المعياري لنماذج اللغة في حد ذاته ليس جديداً. ناقشت الصناعة منذ فترة طويلة مقاربات مثل محولات LoRA، وخليط الخبراء، والعديد من بنى المكونات الإضافية. ذهبت فكرة المؤلف أبعد من ذلك: إنشاء نظام يمكن للنموذج فيه ليس فقط استخدام الوحدات الخارجية، بل تحسين نفسه فعلياً، من خلال دمج كفاءات جديدة في عمله دون دورة إعادة تدريب كاملة. يبدو هذا وكأنه كأس الكمال المقدسة لمن يعملون مع موارد حسابية محدودة — وهذه هي الغالبية الساحقة من الباحثين المستقلين والفرق الصغيرة الذين لا يملكون إمكانية الوصول إلى مجموعات من آلاف معالجات الرسومات.

من الناحية التقنية، عملت البنية. تم توصيل الوحدات، وعمل النظام بشكل مستقر، والمقاييس على مجموعات بيانات التحقق بدت مقنعة. مرّ الباحث عبر حوالي عشرين تكراراً، وفي كل مرة كان يحسن النهج، وفي لحظة ما أصبحت الأرقام جميلة حقاً. انخفضت الخسائر، وزادت الدقة، وأظهرت منحنيات التعلم بالضبط الديناميكية التي يريد أي متخصص في التعلم الآلي أن يراها. على الورق، بدا كل شيء بمثابة نجاح.

ثم جاءت لحظة الحقيقة — الاختبار على مهام حقيقية. وهنا حدث ما يألفه العديد من الممارسين، لكن نادراً ما يُقال بصوت عالٍ: أن النموذج الذي أظهر إتقاناً رائعاً لـ "لغة الرياضيات" وفقاً للمقاييس الرسمية اتضح أنه غير قادر تماماً على حل المهام الرياضية المحددة. تعلّم محاكاة الشكل دون إتقان المحتوى. أنتج اشتقاقات تبدو معقولة، واستخدم الرموز الصحيحة، وبنى سلاسل منطقية من الاستدلال — لكن الإجابات كانت خاطئة. هذا مثال كلاسيكي لما تسميه المجتمع قانون Goodhart عند تطبيقه على التعلم الآلي: عندما تصبح المقياس الهدف، تتوقف عن كونها مقياساً جيداً.

تسلط هذه الحالة الضوء على أحد المشاكل الأساسية في التعلم الآلي الحديث — الفجوة بين تحسين المقاييس والكفاءة الحقيقية. نماذج اللغة ماهرة بشكل غير عادي في اكتشاف الأنماط الإحصائية وإعادة إنتاجها. لكن إعادة إنتاج نمط وفهم المنطق الكامن وراءه أمران مختلفان بشكل جوهري. يمكن للنموذج أن يتعلم أنه عادة ما يتبع رموز معينة تعبيرات رياضية محددة دون فهم السبب في وجود تلك الرموز هناك. بالنسبة للباحث الذي ينظر إلى منحنى الخسارة والدقة، يكون الفرق غير مرئي حتى يواجه النظام مهمة تتطلب تعميماً حقيقياً.

لكن القصة لا تنتهي هناك، والنهاية هي ما تجعلها مثيرة للاهتمام حقاً. وفقاً للمؤلف، وجد النموذج في النهاية "حلاً بمفرده" — أي أنه في ظروف معينة بدأ النظام في إظهار سلوك لم يتم برمجته بشكل صريح. تستحق تفاصيل هذا الاختراق انتباهاً منفصلاً لأنها تمس أحد أكثر المواضيع إثارة في بحث الذكاء الاصطناعي: قدرة النماذج على إظهار سلوك ناشئ، عندما تنبثق استراتيجيات معقدة وغير متوقعة لحل المشاكل من قواعد بسيطة. ما إذا كان هذا نشوءاً حقيقياً أم مجرد مصادفة سعيدة للاختيارات المعمارية — السؤال يبقى مفتوحاً، لكن الحقيقة ذاتها تستحق دراسة دقيقة.

هذه التجربة مهمة ليس كثيراً لنتائجها المحددة بل للدروس التي تنبثق منها. أولاً، إنها تذكرنا بهشاشة المقاييس كأداة لتقييم التقدم. ثانياً، تدل على أن البحث الجاد في مجال نماذج اللغة لا يزال ممكناً على أجهزة المستهلك — وإن مع قيود كبيرة. ثالثاً، تؤكد قيمة نشر الإخفاقات بشكل علني: الصناعة، التي تعتمد على معايير الأداء القياسية والبيانات الصحفية حول آخر التطورات، تحتاج بشدة إلى قصص صادقة عن كيفية تحطم الأفكار الجميلة ضد الواقع. هذه بالذات هي القصص التي تدفع العلم للأمام — ليس البيانات الإنتصارية، بل التحليل الدقيق لما سار بشكل خاطئ ولماذا.