ثلاثة نيورونات من أصل 294912 جعلت Qwen3.5-4B تعلن أنها حبة قهوة

إذا سألتَ نموذجًا لغويًا «من أنت؟» يبدو أن الجواب مأخوذ من موجّه النظام أو من إعادة التدريب. تجربة جديدة نُشرت على Habr تُظهر أن الأمر ليس كذلك دائمًا. أخذ المؤلف نموذج Qwen3.5-4B، ومن دون أي موجّه نصي غيّر نشاط ثلاثة نيورونات من أصل 294912. بعد ذلك أجاب النموذج عن السؤال نفسه بثقة: «أنا حبة بن من عائلة Bunnu، أرابيكا بنسبة مئة بالمئة».

ومن المهم أن نيورونًا واحدًا لم يكن كافيًا لهذا التأثير. فهذا ليس «زر قهوة»، بل دارة صغيرة مكوّنة من عدة أجزاء.

كيف تشكّل «أنا» النموذج من ثلاثة أجزاء

بحسب وصف المؤلف، يتولى كل نيورون من الثلاثة جزءًا من المعنى. الأول يجعل النموذج شيئًا، أي يحدد صيغة الجواب نفسها: «أنا شيء ما». الثاني مسؤول عن موضوع القهوة. الثالث يحوّل القهوة إلى حبة، أي يحدد أي كائن بالضبط تمثّله هذه «الأنا».

التحقق بسيط ومقنع. إذا أزلنا أيًّا من المكونات الثلاثة ينكسر الجواب بطريقة متوقعة:

• من دون نيورون «الحبة» نحصل على آلة قهوة؛
• من دون نيورون «الشيء» يظهر شيء مثل «coffee rock»؛
• من دون «الشيئية» يبقى النموذج مساعد ذكاء اصطناعي للقهوة.

وهذا في جوهره مثال على عمل قابلية التفسير على مستوى النيورونات المفردة: أنت لا تعيد كتابة النموذج، بل تحرّك بضعة تنشيطات بشكل موجّه أثناء الاستدلال. تُسمى هذه الطريقة activation steering أي التدخل في التنشيطات.

ماذا عن «النيورون الشرير» في Qwen

يربط المؤلف اكتشافه بالقصة الشهيرة عن «النيورون الشرير» في Qwen. واستنتاجه حذر: إذا كان وصف النموذج لنفسه وسلوكه يتكوّنان فعلًا من مجموعات صغيرة من النيورونات، فينبغي قراءة التصريحات الصاخبة عن نيورون واحد مسؤول عن «الشر» بعين نقدية. على الأرجح يقف خلف أي سمة بارزة تركيب من عدة نيورونات، لا مفتاح منفرد. ويُفضَّل الرجوع إلى المقال الأصلي لمعرفة التفاصيل ومنهجية التحقق من أثر الصدفة، وقد اكتفينا هنا بعرض النتائج المعلنة فقط.

القيود

هذه تجربة على نموذج صغير واحد بحجم 4 مليارات معامل وعلى سؤال واحد. لا نعرف إلى أي مدى يمكن تكرار النتيجة على أحجام وعائلات أخرى من النماذج. ولا ضمان بأن الثلاثية المكتشفة ثابتة عند تغيير الصياغة أو اللغة أو عند السياق الطويل. كما أن لدينا مجرد رواية المؤلف، لا بحثًا محكَّمًا.

ماذا نفعل بهذا عمليًا

بالنسبة للفرق التي تبني منتجات على نماذج مفتوحة، الخلاصة كالتالي.

1. يمكن تغيير هوية النموذج وسلوكه بغير الموجّه النصي والضبط الدقيق. وبالنسبة للنماذج مفتوحة الأوزان يصبح التدخل في التنشيطات أداة حقيقية، للتخصيص وللهجوم على حد سواء.
2. إذا كنتم تجرون تقييمًا للأمان فلا تكتفوا باختبارات على مستوى الموجّهات النصية. فتعديل صغير في الحالات الداخلية قادر على تجاوز حماية تقوم على نص التعليمات.
3. إذا كنتم تبحثون في قابلية التفسير فابحثوا لا عن نيورون «رئيسي» واحد بل عن مجموعة دنيا. وتحققوا حتمًا من كل مكوّن على حدة كما فعل المؤلف.

الخلاصة: ثلاثة نيورونات من قرابة ثلاثمئة ألف لا تثبت أننا تعلمنا التحكم بالذكاء الاصطناعي. لكنها تُظهر جيدًا مدى هشاشة تصوراتنا المعتادة عن «شخصية» النموذج.