صاحب «الدرس المرير» ساتون: التوسع في حجم نماذج اللغة وحده لن يوصلنا إلى الذكاء

إذا كنت تبني منتجًا على نماذج لغوية كبيرة، فلديك على الأرجح رهان ضمني: ستواصل النماذج النمو بفضل البيانات والحوسبة، وسينمو منتجك معها. وفي هذا الأسبوع، أعلن الرجل الذي يُستشهد بمقاله عادةً بوصفه الحجة الرئيسية لهذا الرهان أن الأمر ليس بهذه البساطة.

ما قاله ساتون

كتب ريتشارد ساتون، الحائز على جائزة تورنغ، «الدرس المرير» عام 2019. فكرته أن الأساليب العامة التي تتوسع مع الحوسبة تنتصر في النهاية على الحلول الذكية التي يبتكرها البشر. ومنذ ذلك الحين صار المقال نصًا شبه مقدس لدى أنصار التوسع.

يكتب ساتون الآن أن الحوسبة وحدها لا تكفي، وأن علم الذكاء الاصطناعي «بعيد عن الاكتمال». وهذا في رأيه ليس تراجعًا بل امتداد لخطه السابق. فقد انتقد من قبل التركيز على توسيع نماذج اللغة الكبيرة، ووصف البيانات الاصطناعية بأنها «خطأ كبير»: فالعالم الحقيقي معقد إلى ما لا نهاية، وأي محاكاة تبقى «مجهرية». ومن الاختناقات الأخرى برأيه الخبرة البشرية، التي تمنع النظام من التوسع حقًا.

وبديله هو وكلاء يمتلكون نماذج للعالم ويتعلمون باستمرار من تجربتهم الخاصة. فنماذج اللغة الحالية لا تتعلم شيئًا جديدًا بعد التدريب، ونصوص الإنترنت لا تصف سوى جزء صغير من الواقع. المطلوب تعلم مستمر لا يمحو المعارف القديمة.

ماذا أجاب الزملاء

يرى جيري تفوريك، الذي غادر OpenAI لاستكشاف مقاربات جديدة، أن «الدرس المرير» ما زال صالحًا لكن بتحفظ: كلما زاد حجم الحوسبة المستثمرة في التدريب، زاد تأثير الخوارزمية. بعض الخوارزميات تتوسع وبعضها يصطدم بطريق مسدود، وكثير من اتجاهات التوسع لم يُستكشف أصلًا. وبحسب قوله، فإن النجاح المؤقت للمحوّلات (transformers) مع القراءة الخاطئة لساتون «اخترق المكافأة» في عقول جيل كامل من العلماء.

ويضيف جايدن تيو منظورًا أكاديميًا. فقد رأى أكثر من مرة كيف يعرقل «الدرس المرير» البحث: تُهمل أفكار واعدة لأنها يُزعم أنها لا تنسجم مع روحه. لكن هذا خطأ في القراءة وليس ذنب ساتون. فالفكرة ليست مطالبة بالصمود أمام التوسع إلى الأبد كي تسهم في التقدم.

الجانب الآخر

يرى سام ألتمان أن إمكانات توسيع نماذج اللغة الكبيرة لم تُستنفد بعد، ويتهم المنتقدين بإعاقة جيل كامل من الباحثين بثقتهم المفرطة في حدود هذه الطريقة. ويستشهد بنموذج من OpenAI دحض مؤخرًا فرضية رياضية استعصت على الرياضيين. ويعتبر نماذج العالم مفيدة، كما في الروبوتات، لكن البيانات في الوقت الحالي، بحسب قوله، تدعم مواصلة التوسع في نماذج اللغة الكبيرة. ويتحدث داريو أمودي بنبرة مشابهة: فتقدم التوسع بالنسبة له قوس قزح بلا نهاية.

غير أنه يجدر التذكر أن الشركتين بنتَا تقنيتهما كلها على هذا الرهان، ولذلك يصعب وصفهما بالموضوعية.

ماذا يعني هذا عمليًا

الجدل يتحول بالفعل إلى أموال. فوفق The Decoder، رصد أحدث تقرير من Frontier Radar ‏45 مختبرًا جديدًا للذكاء الاصطناعي يراهن على مقاربات بديلة. وأطلق تفوريك شركة Core Automation التي تبحث عن خوارزميات تعلم تتجاوز التدريب المسبق والتعلم المعزز (RL). ويعمل ساتون مع Oak Lab. ويجمع هؤلاء المؤسسين الإيمان بذكاء اصطناعي أقدر بكثير، والشك في أن الوصفة الحالية وحدها ستوصل إليه.

ما الذي ينبغي على المطور ومدير المنتج فعله:

• لا تضع في خارطة الطريق افتراض أن النموذج القادم سيحل مشكلاتك من تلقاء نفسه. صمّم المنتج بحيث يستفيد من التحسينات دون أن يعتمد على سيناريو واحد.
• تابع التعلم المستمر. إذا نجح، فسيتعين إعادة النظر في أساليب الذاكرة والتدريب الإضافي وتخصيص الوكلاء.
• افصل الموقف عن المصلحة. فتصريحات الرئيسين التنفيذيين لـ Anthropic وOpenAI عن التوسع هي أيضًا دفاع عن نموذج أعمالهما.

هذا ليس إثباتًا بل خلاف في الآراء. لم يُظهر أحد بعد أن التوسع بلغ سقفه، ولم يُظهر أحد بديلًا يعمل. لكن صدور النقد من صاحب الحجة الأساسية لصالح التوسع إشارة جدية: المراهنة بكل شيء على وصفة واحدة محفوفة بالمخاطر.