304 نموذج LLM صينية: لماذا بين مئات الشبكات العصبية لم يجدوا الملك

هل تتذكر الأوقات التي كان كل إعلان جديد من الصين يصاحبه الصراخ عن "موت GPT-4"؟ حسناً، قد استقر الغبار قليلاً، وقرر الباحثون إجراء جرد واسع النطاق لما ولدته حقاً "معركة الألف نموذج" الشهيرة. تبين أن النتائج كانت مصحية. بعد اختبار 304 نماذج لغة كبيرة صينية، اتضح أنه لا يوجد قائد عالمي في السوق. نموذج واحد يتفوق في كتابة الأكواد، والثاني يتظاهر بمهارة بأنه شاعر، والثالث يتعامل بشكل جيد إلى حد ما مع المنطق، لكن لم يتمكن أحد حتى الآن من دمج كل هذا في "زجاجة" واحدة. نحن نراقب حالة حيث تحول الكم إلى أي شيء آخر غير الجودة.

المشكلة الرئيسية الآن ليست حتى أن النماذج ليست ذكية بما يكفي. واجهت الصناعة ما يسمى "اختناق التقييم". عندما يكون لديك ثلاثمائة شبكة عصبية في بلدك، يصبح التحقق من كل منها للكفاية مهمة بنطاق ملحمي.

تم تسويس المعايير التقليدية منذ زمن بعيد: يقوم المطورون ببساطة "بالغش" بالبحث عن الإجابات في الاختبارات وتدريب نماذجهم عليها. للحصول على نتيجة صادقة، تحتاج إلى أشخاص حقيقيين أو فحوصات متتالية معقدة، وهذا يكلف مبالغ فلكية. في مرحلة ما، بدأت عملية تدقيق الذكاء الاصطناعي تكلف الشركات ما يقرب من تكاليف استئجار بطاقات الرسومات للتدريب.

في ضوء هذا، يبدو الحل من فريق ReLE كمحاولة لإنقاذ ميزانيات رأس المال المغامر. اقترحوا معمارية التعلم المعزز من التقييم. دون الخوض في تفاصيل الصيغ، هذه طريقة لتحسين عملية الاختبار نفسها.

بدلاً من تمرير نموذج عبر آلاف الأسئلة المتشابهة، يتعلم النظام اختيار المهام الأكثر إفادة وصعوبة فقط. إنه مثل لو أنه في امتحان، طلب منك الأستاذ على الفور الإجابة على ثلاثة من أصعب الأسئلة بدلاً من تعذيبك لمدة ثلاث ساعات في جميع أنحاء المنهج الدراسي. النتيجة هي نفسها، لكنك تنفق 70% أقل من الوقت والموارد.

لماذا هذا مهم لنا؟ سوق الذكاء الاصطناعي الصيني كان دائماً انعكاساً مضخماً للاتجاهات العالمية. إذا بدأوا بالشكوى بكثرة من تكاليف التقييم، فهذا يعني أن هذه المشكلة ستضرب قريباً الشركات الناشئة الغربية أيضاً. نحن ندخل عصراً تصبح فيه "الكفاءة" أكثر أهمية من "القوة".

لا يريد المستثمرون بعد الآن سماع كم تريليون معامل حشرت في نموذجك. يريدون معرفة كيف تخطط لإثبات جدواه دون إنفاق جميع جولة التمويل التالية عليه. من المثير للاهتمام أيضاً كيف يتغير مشهد التطوير.

بينما تحاول عمالقة مثل Baidu و Alibaba بناء تلك الأنظمة الشاملة، تجد فرق صغيرة الخلاص في التخصص الضيق. أظهرت الأبحاث أن النماذج المتخصصة غالباً ما تفوق "العامة" في مجالات تخصصها مع احتياجها لموارد أقل بعشرات المرات. هذا يطرح التساؤل حول المفهوم ذاته لإنشاء شبكة عصبية واحدة تفعل كل شيء من طهي البرشت إلى إطلاق الصواريخ إلى الفضاء.

ربما لا يكمن المستقبل مع ملك واحد، بل مع مجلس وزراء منسجم. النقطة الرئيسية: عصر التوسع اللامفكر فيه يقترب من نهايته. الآن الفائز لن يكون من يدرب أكبر نموذج، بل من يتعلم بأسرع وأرخص طريقة الفصل بين القمح والعصاف.