وكلاء DIAYN ذوو الدافع الداخلي يحاكون سلوك ذبابة الفاكهة من بين 20 خوارزمية

ذبابة تتجوّل في متاهة بلا هدف محدد تتخذ قراراتها في الواقع مسبقًا. تُظهر تسجيلات نشاط الدماغ الكامل لدى Drosophila melanogaster أن التمثيلات العصبية لاختيار الاتجاه العفوي تظهر قبل الانعطاف نفسه بأكثر من 10 ثوانٍ. وطرحت مجموعة Aran Nayebi في NeuroAgents Lab، بالتعاون مع Declan Kutscher وReece Keller وAlyn Kirsch وFelix Pei، سؤالًا: أي هدف تعلّم لدى وكيل ذكاء اصطناعي ينتج السلوك نفسه والديناميكيات الداخلية نفسها؟ شغّل الباحثون 20 خوارزمية للدافع الداخلي في محاكاة للذبابة، وفاز DIAYN.

ذبابة تقرر قبل الانعطاف بـ10 ثوانٍ

يبدو استقلال الحيوان في الغالب لغزًا. لا أحد يمدّ الذبابة بإشارات خارجية ولا يعدها بمكافأة، ومع ذلك تستكشف الفضاء وتغيّر اتجاهها وتتصرف على نحو لا يمكن التنبؤ به، لكنه ليس فوضويًا. ولا تفسّر نماذج التعلّم الكلاسيكية ذلك: ففي RL يحتاج الوكيل في الغالب إلى دالة مكافأة يكتبها إنسان.

بنى المؤلفون التجربة من جزأين. الأول تسجيلات حقيقية لدماغ الذبابة، يظهر فيها كيف يُرمَّز القرار المستقبلي مسبقًا. والثاني توأم رقمي عصبي ميكانيكي، أي نموذج واقعي فيزيائيًا لجسم الذبابة يتحكم الوكيل فيه بالحركة. وتتخذ السياسة بنية هرمية. يختار المستوى الأعلى من مكتبة منفصلة من الأوليات الحركية منخفضة المستوى، وهذا يتسق مع النظريات الإيثولوجية عن «المقاطع السلوكية» التي يُعتقد أن سلوك الحيوان يتكوّن منها.

عشرون طريقة لتريد شيئًا دون مكافأة

دُرّب الوكلاء دون أي مكافأة خارجية. واستُخدمت 20 خوارزمية للدافع الداخلي من ثلاث عائلات، وهذا التنوع تحديدًا هو ما يمنح العمل قيمته: فالمقارنة لم تشمل فكرتين أو ثلاثًا، بل طيفًا كاملًا من الفرضيات حول ما يحرّك السلوك المستقل.

• أساليب الفضول: يسعى الوكيل إلى كل ما هو جديد وغير متوقع.
• أساليب الإنتروبيا: يعظّم الوكيل تنوع أفعاله أو الحالات التي يزورها.
• أساليب الكفاءة: يتعلم الوكيل مجموعة مهارات يمكن التمييز بينها بموثوقية.
• بيئة التقييم: اختبار افتراضي بكرة تحت أرجل الذبابة (tethered-ball assay)، صُمّم على غرار تجربة حقيقية.
• مقاييس السلوك: إحصاءات الحركة العفوية.
• مقاييس الدماغ: التمثيلات الداخلية للوكيل وبنية النشاط العصبي.
• فك الترميز: جرى التنبؤ باتجاه الانعطاف المقبل انطلاقًا من الكينماتيكا ومن نشاط الشبكة، وعلى المقاييس الزمنية نفسها لدى الذبابات الحقيقية.

لماذا فاز DIAYN تحديدًا

ينتمي DIAYN (Diversity Is All You Need) إلى أساليب الكفاءة. فهو يتعلم مجموعة منفصلة من السياسات التي تعظّم إنتروبيا السلوك، وتجعل في الوقت نفسه الملاحظات الناتجة عن المهارات المختلفة سهلة التمييز. وبحسب المحصلة الإجمالية للترميز التنبؤي السلوكي والعصبي، كان الأقرب إلى الذبابات.

وظهرت فيه تطابقات أدق أيضًا. فالسياسات المتعلَّمة تعيد إنتاج التباين الفردي في استراتيجيات الاستكشاف: بعض الذبابات تتصرف على نحو، وبعضها على نحو آخر. ويفسّر المؤلفون ذلك بوصفه آلية لتغطية فضاء الحالات على مستوى المجتمع. فالتفاوت بين الأفراد ليس ضوضاء، بل الطريقة التي يغطي بها النوع ككل أكبر قدر ممكن من الخيارات. وإضافة إلى ذلك، أعاد النشاط الكامن في DIAYN إنتاج قاعدة «المجموع والفرق» في الترميز الكينماتيكي بين نصفي الدماغ، وهي قاعدة تُلاحظ في أدمغة الذبابات الحقيقية.

ماذا يتعلم مطورو الوكلاء من ذلك

بالنسبة إلى علم الأعصاب، يوفر هذا الاستنتاج أداة عمل: فالتوأم الرقمي مع مجموعة من الأهداف الداخلية يتيح اختبار فرضيات الاستقلالية على مستوى التمثيلات العصبية، لا على مستوى المسارات وحدها. وقد نشر NeuroAgents Lab الشيفرة وصفحة المشروع، ولذلك يمكن إعادة إنتاج المقارنة.

أما بالنسبة إلى صناعة الوكلاء، فالخلاصة أقرب إلى التطبيق. فالهرمية ذات المهارات المنفصلة وهدف «أن تكون متنوعًا ويمكن تمييزك» تتوافق جيدًا مع ما تحتاجه الروبوتات والأنظمة المستقلة التي لا تملك مكافأة محددة بصرامة: مكتبة من الأوليات المستقرة يعلوها تخطيط. ولا يتعلق العمل بنموذج تجاري، بل بمبادئ التعلم التي ينبغي غرسها في الوكلاء الذين سيستكشفون البيئة بأنفسهم. والمرجع البيولوجي هنا ليس استعارة، بل نقطة مرجعية قابلة للقياس: فقد صار هناك الآن أسلوب كمي لتحديد أي الأهداف الداخلية أكثر واقعية.