فريق من الباحثين بالذكاء الاصطناعي يكتشف انتباهاً خطياً يتفوق على GDN2 بحجم 1.3B

باتت الوكلاء المستقلة قادرة بالفعل على اقتراح الأفكار وتعديل الشيفرة وتشغيل التجارب. وذهب مؤلفو الدراسة الجديدة أبعد من ذلك، فلم يبنوا «عالِماً ذكياً» واحداً، بل فريقاً كاملاً من الباحثين الدائمين، يستند كل منهم إلى تخصصه العلمي. وبهذا الفريق بحثوا عن بنى الانتباه الخطي. وعلى مقياس 1.3B معلمة، تفوّقت النتيجة على GDN2 في نمذجة اللغة، والاستدلال بالمنطق السليم، وكذلك في مهام الاسترجاع (retrieval) الاصطناعية والواقعية.

لا يزال الانتباه الخطي من أبرز المرشحين لتعويض الانتباه التربيعي في المحوّل (Transformer) الكلاسيكي عند السياقات الطويلة. وفضاء البنى الممكنة هائل، وكل اختبار يكلّف ساعات GPU. لذلك يسهل أن يعلق البحث في حدود دنيا محلية: إذ تدور الوكلاء حول الحيل نفسها، وتكتفي بتنويعات صغيرة على المخططات المعروفة.

باحثون من مدارس مختلفة وذاكرة شخصية

تقوم فكرة المؤلفين الأساسية على أن التنوع ينبغي أن يكون تنظيمياً. فإذا فكّر جميع الوكلاء بالطريقة نفسها، اقترحوا تجارب متشابهة. لذلك مُنح كل وكيل ملفاً في تخصص بعينه، ويستكشف الفريق الفضاء في اتجاهات مختلفة في آن واحد.

غير أن الملفات التخصصية وحدها لا تكفي. فالوكلاء في هذا النظام دائمون، أي يحتفظون بالسياق بين التكرارات. ولكل وكيل تاريخ بحثي خاص به، تُحفظ فيه فرضياته وإخفاقاته واستنتاجاته المرحلية. في المقابل، البيانات التجريبية مشتركة. فأي نتيجة، إيجابية كانت أم سلبية، تصبح متاحة للفريق كله وتؤثر في الاقتراحات اللاحقة.

وينتج عن ذلك تقسيم للعمل يشبه مختبراً حياً. فالأدلة المشتركة ترسم صورة موحدة لما جرى التحقق منه فعلاً. أما التواريخ الشخصية فتتيح لكل وكيل أن يطوّر خط استدلاله الخاص بدلاً من أن يعيد سرد خط غيره.

كيف تُقسَّم ميزانية التجارب المحدودة

المشكلة الثانية عملية. فالتجارب مكلفة، ولذلك لا يستطيع الفريق اختبار سوى جزء صغير من الأفكار. ويجب أن يُقرَّر أي باحث يحصل على فرصة تشغيل. فإذا اختير دائماً صاحب أفضل النتائج الأخيرة، ضاق البحث. وإذا اختير الجميع بالتناوب، ذهبت الموارد إلى اتجاهات ضعيفة.

يستخدم المؤلفون توزيعاً تكيفياً للفرص. وهو يوازن بين استكشاف اتجاهات جديدة وتطوير الاتجاهات الناجحة أصلاً، أي المعضلة الكلاسيكية exploration/exploitation. وكل نتيجة تغيّر فرص الباحثين في الحصول على التشغيل التالي.

أبرز معايير التجربة:

• مقياس الاختبار: نماذج بحجم 1.3B معلمة؛
• خط الأساس: GDN2؛
• المهام: نمذجة اللغة، والاستدلال بالمنطق السليم (common-sense reasoning)، والاسترجاع (retrieval) الاصطناعي والواقعي؛
• تكوين الفريق: وكلاء دائمون بملفات تخصصية مختلفة؛
• الذاكرة: تاريخ خاص لكل وكيل، وبيانات تجريبية مشتركة للجميع؛
• توزيع الميزانية: تكيفي، مع حد ثابت لعدد عمليات التشغيل.

ماذا ينهار إذا أُزيل أي عنصر

أكثر أجزاء الدراسة إقناعاً هي المقارنات المضبوطة. فقد عطّل المؤلفون مكونات التنظيم واحداً تلو الآخر، وحصلوا في كل مرة على نتائج أضعف بوضوح.

من دون الملفات التخصصية يبلغ البحث مرحلة ثبات (plateau) سريعاً. فالوكلاء الذين لا تختلف خلفياتهم يصلون إلى أفكار متشابهة، وينفد الجديد مبكراً. ومن دون التواريخ الخاصة يتقدم الباحثون بصورة أضعف، مع أنهم يرون النتائج المشتركة نفسها. ومعنى ذلك أن المسألة ليست مسألة وصول إلى البيانات فقط: فمسار الاستدلال الشخصي المتراكم يؤثر أيضاً في جودة الاقتراحات اللاحقة. أما الاختيار المتساوي للباحثين ضمن الميزانية نفسها فيتخلف عن الاختيار التكيفي.

ويتجاوز استنتاج المؤلفين حدود الدراسة ليشمل المجال كله. فالاكتشاف المستقل المستدام لا يعتمد على قوة النموذج الأساسي وحده. المهم من يبحث، وماذا يتذكر، وكيف تُوزَّع الطاقة البحثية. وبالنسبة إلى الصناعة، هذا تحوّل في الاهتمام: من السباق على أفضل وكيل إلى تصميم هيكل تنظيمي مكوَّن من الوكلاء.

وأمام فرق R&D التي تجرّب الوكلاء فعلاً لأتمتة التجارب، تنتج من ذلك ثلاث قواعد عملية. أسندوا إلى الوكلاء ملفات خبرة مختلفة بدلاً من استنساخ دور واحد. وامنحوهم ذاكرة خاصة وسجلاً مشتركاً للنتائج، بما فيها الفاشلة. ولا توزّعوا ميزانية الحوسبة بالتساوي، بل أعيدوا توزيعها وفق نتائج عمليات التشغيل التي أُجريت بالفعل. وإذا كان تقييم المؤلفين صحيحاً، فإن هذا التنظيم للبحث هو ما يحقق المكسب، لا مجرد شراء نموذج أقوى.