وهم الذكاء: ما الذي تقيسه فعلاً أشهر اختبارات LLM

يرافق كل تحديث بارز للنماذج اللغوية الكبيرة رسوم بيانية احتفالية تُظهر تفوقاً شاملاً للنموذج الجديد على منافسيه. ويتباهى المطورون بنسب قياسية في الاختبارات الشائعة، مؤكدين للجمهور أن الشبكات العصبية توشك أن تحل محل أقسام كاملة من المبرمجين. غير أن وراء هذه الأرقام اللافتة وهماً واسعاً بالذكاء يضلّل المستثمرين والمستخدمين النهائيين على حد سواء. فقد أتقنت أقسام التسويق في عمالقة التكنولوجيا استخدام المقاييس الاصطناعية لصناعة الضجة، بينما تبقى قدرات الذكاء الاصطناعي الفعلية على حل المهام التطبيقية أدنى بكثير من النتائج المعلنة.

ولفهم طبيعة هذا الخلط بين المفاهيم، لا بد من النظر عن كثب في آلية عمل الاختبارات المعيارية. فعندما يحقق نموذج Opus 4.5، مثلاً، أكثر من ثمانين في المئة في اختبار SWE-bench Verified متقدماً على الإصدار السابق ببضع نقاط، تستنتج الصناعة فوراً أن مهاراته البرمجية شهدت قفزة نوعية. لكن التحليل المعمق لأشهر أربعة عشر اختباراً معيارياً للنماذج اللغوية يُظهر أن أدوات التقييم هذه انفصلت منذ زمن عن الواقع. وقلّما يتوقف غالبية المتخصصين خارج المختبرات البحثية الضيقة عند ما يختبئ خلف واجهة هذه الاختبارات، إذ يثقون ثقة عمياء بالدرجة النهائية في التصنيف العالمي.

في الحقيقة، يقيس اختبار SWE-bench Verified الشهير وما يشبهه من أنظمة مهارة محددة وضيقة للغاية. فهي تقيّم قدرة الشبكة العصبية على إصلاح أخطاء صغيرة ومحلية في عشرات المشاريع مفتوحة المصدر شديدة الشعبية والمكتوبة بلغة Python. وتكمن المشكلة الرئيسية في أن شيفرة هذه المستودعات استوعبها النموذج على الأرجح تقريباً خلال مرحلة التدريب المسبق. أي أن الذكاء الاصطناعي يؤدي الامتحان وهو يعرف الإجابات الصحيحة مسبقاً، معتمداً على أنماط محفوظة. وفي الوقت نفسه، لا يعني النجاح في إغلاق خطأ في إطار عمل مفتوح معروف أن النموذج يمتلك فهماً حقيقياً لمنطق البرمجة.

وهذا الاتجاه ينطبق على جميع الاختبارات الأربعة عشر التي شملها التحليل، وهي التي تحدد اليوم أجندة صناعة الذكاء الاصطناعي. ويوجّه باحثون مستقلون انتقادات حادة متزايدة، مشيرين إلى ظاهرة «التدريب من أجل الاختبار». فمطورو الشبكات العصبية يضبطون البنية ويختارون مجموعات بيانات التدريب عمداً بحيث تتحقق أعلى النتائج في أطر تقييم بعينها. ولا يستطيع أي من الاختبارات الشائعة الحالية قياس كيف سيتصرف الخوارزم داخل مستودع أحادي ضخم لمؤسسة مكتوب بلغة TypeScript، أو تطبيق قديم على Spring Boot، أو نظام مخصص لإدارة قواعد البيانات طوّره بنفسه المدير التقني السابق. والنتيجة أن الاختبارات تفقد قدرتها التنبؤية وتتحول إلى أداة تلاعب.

وتبدو عواقب هذه الحيلة التسويقية مؤلمة للشركات التي تحاول دمج الذكاء الاصطناعي التوليدي في عملياتها. فالمديرون الذين أبهرتهم الدرجات العالية ووعود الكفاءة غير المسبوقة يخصصون ميزانيات ضخمة لنشر وكلاء ذكاء اصطناعي مستقلين. ثم يصطدمون بالواقع القاسي حين تحصل الشبكة العصبية على إمكانية الوصول إلى قاعدة شيفرة مملوكة وموثقة توثيقاً ضعيفاً ومعقدة معمارياً. وينتج عن الفجوة بين السحر المنتظر وعجز الذكاء الاصطناعي الفعلي عن فهم منطق الأعمال المتشابك تأخر في مواعيد التطوير، وتجاوز في الإنفاق، وخيبة أمل عميقة في القدرات الحالية للتقنية.

وأمام صناعة الذكاء الاصطناعي طريق شاق للانتقال من التباهي بالأرقام الاصطناعية القياسية إلى بناء أساليب تقييم ذات صلة حقيقية بالواقع. لقد أدت الجيل الحالي من الاختبارات دورها في المراحل الأولى لتطور النماذج اللغوية، إذ أتاح للباحثين مقارنة القدرات الأساسية للأنظمة. لكن مع انتشار الذكاء الاصطناعي اليوم في قطاع الأعمال، لم يعد من الجائز الاعتماد على قدرة الخوارزم على إصلاح أخطاء معروفة في شيفرة مفتوحة. وإلى أن يطوّر المجتمع اختبارات ديناميكية ومغلقة تحاكي فوضى التطوير التجاري وعدم قابليته للتنبؤ، ينبغي التعامل مع أي إعلان عن أرقام قياسية جديدة للشبكات العصبية بوصفه حملة علاقات عامة ناجحة لا أكثر، تخفي وراءها وهماً متقن الصنع بالذكاء.