97 ساعة على بطاقة رسومات واحدة: تجربة مع شبكة عصبية ذاتية التعلّم وفخ المقاييس الجميلة

تخيّلوا أنكم تأخذون نموذجًا لغويًا وتريدون إضافة مهارة جديدة إليه، كأن يحل المعادلات التفاضلية أو يكتب شيفرة بلغة Rust. الطريق المعتاد هو الضبط الدقيق (fine-tuning)، الذي يتطلب بيانات وموارد حاسوبية، ويؤدي حتمًا إلى «النسيان الكارثي»، أي أن يفقد النموذج قدراته القديمة وهو يكتسب قدرات جديدة. فماذا لو أمكن ربط المهارات كما تُربط التطبيقات بالهاتف الذكي، بسرعة وبشكل معياري ودون آثار جانبية؟ هذه الفكرة تحديدًا قرر باحث مستقل اختبارها، ونشر تقريرًا مفصلًا عنها على موقع «هابر». والنتيجة: 97,5 ساعة من عمل بطاقة RTX 4090 واحدة، و22 دورة من التجارب، وواحدة من أكثر خيبات الأمل إفادةً في مجال تعلّم الآلة في الآونة الأخيرة.

مفهوم التوسيع المعياري للنماذج اللغوية ليس جديدًا بحد ذاته. فالقطاع يناقش منذ زمن طويل مقاربات مثل محوّلات LoRA ومزيج الخبراء (mixture of experts) وبنى الإضافات المختلفة. لكن فكرة الباحث ذهبت أبعد من ذلك: بناء نظام لا يكتفي فيه النموذج باستخدام وحدات خارجية، بل يحسّن نفسه فعليًا، فيدمج كفاءات جديدة في عمله دون دورة إعادة تدريب كاملة. تبدو هذه الفكرة بمثابة الكأس المقدسة لمن يعملون بموارد حاسوبية محدودة، وهم الغالبية العظمى من الباحثين المستقلين والفرق الصغيرة التي لا تملك الوصول إلى عناقيد تضم آلاف وحدات GPU.

من الناحية التقنية، اشتغلت البنية فعلًا. كانت الوحدات تُربط، وعمل النظام بثبات، وبدت المقاييس على مجموعات بيانات التحقق مقنعة. مرّ الباحث بعشرين دورة تجريبية، يصقل نهجه في كل مرة، وفي مرحلة ما أصبحت الأرقام جميلة حقًا. انخفضت قيمة الخسارة، وارتفعت الدقة، وأظهرت منحنيات التدريب الديناميكية التي يتمنى أي مختص في تعلّم الآلة أن يراها. وعلى الورق، بدا كل شيء نجاحًا.

ثم جاءت لحظة الحقيقة: الاختبار على مهام حقيقية. وهنا حدث ما يعرفه كثير من الممارسين لكنهم نادرًا ما يتحدثون عنه علنًا. فالنموذج الذي أظهر، بحسب المقاييس الرسمية، إتقانًا لامعًا لـ«لغة الرياضيات»، تبيّن أنه عاجز تمامًا عن حل مسائل رياضية محددة. لقد تعلّم محاكاة الشكل دون أن يستوعب المضمون. كان يولّد حسابات تبدو معقولة، ويستخدم الترميز الصحيح، ويبني سلاسل استدلال تبدو منطقية للوهلة الأولى، لكن إجاباته كانت خاطئة. وهذا مثال كلاسيكي على ما يسميه المجتمع البحثي «قانون غودهارت» (Goodhart's law) حين يُطبَّق على تعلّم الآلة: عندما يتحول المقياس إلى هدف، يكف عن أن يكون مقياسًا جيدًا.

تسلّط هذه الحالة الضوء على إحدى المشكلات الجوهرية في تعلّم الآلة الحديث، وهي الفجوة بين تحسين المقاييس والكفاءة الحقيقية. فالنماذج اللغوية بارعة للغاية في اكتشاف الأنماط الإحصائية وإعادة إنتاجها. لكن إعادة إنتاج النمط شيء، وفهم المنطق الكامن وراءه شيء آخر تمامًا. يمكن للنموذج أن يتعلم أن تعابير رياضية معينة تعقبها عادةً رموز معينة، دون أن يدرك لماذا تقع هذه الرموز في ذلك الموضع بالذات. أما بالنسبة إلى باحث ينظر إلى منحنى الخسارة (loss) والدقة (accuracy)، فإن هذا الفرق غير مرئي إلى أن يواجه النظام مهمة تتطلب تعميمًا حقيقيًا.

لكن القصة لا تنتهي هنا، ونهايتها هي التي تجعلها مثيرة فعلًا. فبحسب الباحث، «وجد النموذج المخرج بنفسه» في النهاية، أي أن النظام بدأ في ظروف معينة بإظهار سلوك لم تتم برمجته صراحةً. وتستحق تفاصيل هذا الاختراق اهتمامًا منفصلًا، لأنها تمس واحدة من أكثر القضايا سخونة في أبحاث الذكاء الاصطناعي: قدرة النماذج على السلوك الناشئ (emergent behavior)، حيث تنشأ من قواعد بسيطة استراتيجيات معقدة وغير متوقعة لحل المهام. وهل هذه ظاهرة ناشئة حقيقية أم مجرد مصادفة موفقة في القرارات المعمارية؟ سؤال لا يزال مفتوحًا، لكن الواقعة نفسها تستحق دراسة متأنية.

لا تكمن أهمية هذه التجربة في نتائجها المحددة بقدر ما تكمن في الدروس المستخلصة منها. أولًا، تذكّر بهشاشة المقاييس بوصفها أداة لتقييم التقدم. ثانيًا، تبيّن أن إجراء أبحاث جادة في مجال النماذج اللغوية لا يزال ممكنًا على عتاد استهلاكي، وإن كان ذلك مع قيود كبيرة. ثالثًا، تؤكد قيمة نشر الإخفاقات علنًا: فالقطاع المهووس باختبارات الأداء القياسية القياسية والبيانات الصحفية عن اختراقات جديدة بحاجة ماسة إلى قصص صادقة عن كيفية اصطدام الأفكار الجميلة بالواقع. وهذه القصص تحديدًا هي التي تدفع العلم إلى الأمام، لا بيانات النصر، بل التحليل الدقيق لما أخفق ولماذا.