جدار لنماذج اللغة الكبيرة: لماذا أخطأ المتشككون الباب مرة أخرى

كل ستة أشهر، تدخل صناعة الذكاء الاصطناعي فترة من "الإحباط الكبير". في البداية، قيل لنا إن GPT-3 هو الحد الأقصى ولا يوجد مكان آخر للذهاب. ثم أقنعونا بأن الخطوة التالية تتطلب تريليونات من الرموز التي لا توجد ببساطة على الإنترنت. الآن اتجاه جديد: انتهت البيانات، استنفدت معمارية المحولات نفسها، حان الوقت للتوقف. يبدو هذا متينًا وحتى منطقيًا إذا نظرت إلى العالم من خلال ثقب المفتاح. لكن إذا كنت تتابع اللعبة لفترة أطول من دورة الضجة الواحدة، فأنت تفهم — لم نصطدم بجدار، بل وصلنا ببساطة إلى نهاية خط مستقيم ندخل الآن على طريق سريع عالي السرعة.

مشكلة المتشككين هي أنهم يفكرون بطريقة أحادية البعد. بالنسبة لهم، التقدم يعني صب المزيد من النصوص في نموذج والحصول على مزيد من الذكاء. نعم، بيانات النصوص للتعلم الموجه الكلاسيكي تنفد بالفعل. تم بالفعل "هضم" الإنترنت بأكمله بواسطة الشبكات العصبية. لكن التعلم من البيانات هو مجرد واحد من ستة محاور يتحرك عليها التقدم. بينما يندب شخص ما المكتبات الفارغة، يقوم المهندسون في OpenAI و Google و Anthropic بتفعيل الرافعات الخمس الأخرى بنشاط، والتي يتم نسيانها بطريقة ما في النقاشات العامة.

الرافعة الأولى والأهم اليوم هي الحسابات في وقت الاستدلال، أو inference-time compute. انظر إلى نماذج عائلة o1. لا تولد إجابة فقط، فهي "تفكر" قبل كتابة الحرف الأول. هذا يغير نموذج التفكير: الآن لا تحتاج بالضرورة إلى جعل نموذج أكبر بعشر مرات لجعله أكثر ذكاءً. يمكنك جعله يفكر لفترة أطول في المهمة. إنها كما في الحياة: الشخص الذكي ليس من قرأ أكثر الكتب، بل من يعرف كيفية تحليل المعلومات بعمق. نحن ننتقل من كمية القراءة إلى جودة الفهم.

المحور الثاني هو الكفاءة الخوارزمية. هل تتذكر كيف كان الجميع يشتكون من جوع الموارد لدى المحولات؟ الآن معمارية مثل Mamba و Mixture of Experts (MoE) تدخل الساحة. توفر نفس القوة بتكاليف موارد أقل بكثير. نحن نتعلم بناء محركات أكثر تطورًا بدلاً من مجرد زيادة حجم خزان الوقود. أضف إلى ذلك المحور الثالث — متعددة الأنماط. تتوقف النماذج عن كونها مجرد "قارئي نصوص". تبدأ في الرؤية والسماع وفهم العالم المادي. عندما يتعلم الذكاء الاصطناعي من الفيديو والصوت، يفقد مفهوم "انتهت النصوص" كل معناه. العالم عبارة عن تدفق لا نهائي من البيانات التي بدأنا فقط في استكشافها.

العامل الرابع والخامس هما استخدام الأدوات والتحسن المستمر من خلال self-play. تذكر كيف هزم AlphaGo بطل العالم في لعبة الـ Go. لم يتعلم فقط من ألعاب البشر، بل لعب ضد نفسه ملايين المرات. الآن هذا النهج يصل إلى نماذج اللغة الكبيرة. تبدأ النماذج في إنشاء بيانات اصطناعية، والتحقق من منطقها، والتعلم من أخطائها. إذا كان بإمكان الذكاء الاصطناعي إنشاء المهام وحلها بنفسه، فلا يحتاج إلى البشر كمصدر وحيد للمعرفة. هذا يغلق حلقة التعلم ويجعلها عملياً لانهائية.

نحن في نقطة حيث تتوقف المقاييس القديمة للتقدم — عدد المعاملات وحجم مجموعة البيانات — عن كونها أساسية. وصلت حقبة من المرونة المعمارية والعمق الفكري. أولئك الذين يصرخون اليوم حول "استنفاد التكنولوجيا" ببساطة لم يلاحظوا أن قواعد اللعبة قد تغيرت. لم نصل إلى السقف، بل انتهينا للتو من الأساس وبدأنا في بناء الطوابق. وحكمًا من سرعة نشر الوكلاء والأدوات، ستنمو هذه الطوابق أسرع بكثير مما توقعه أي شخص.

الخلاصة: انسَ "نقص البيانات". المعركة الحقيقية الآن هي حول من سيعلم النموذج أن يفكر لفترة أطول وبكفاءة أكبر، وليس من سيطعمه المزيد من التيرابايت من Reddit.