تدريب محوّل فيزيائي مبني من الترانزستورات وحدها على in-context learning في المحاكاة

أظهرت مجموعة من الباحثين في المحاكاة نظامًا فيزيائيًا يتعلّم دون حساب رقمي، ومع ذلك ينجح في in-context learning، أي في القدرة التي ترتبط عادةً بالمحوّلات (Transformers). تتألف الدارة بالكامل من ترانزستورات ومقاومات قابلة للتدريب. وتتولى ترانزستورات MOSFET العاملة في النظام ما دون العتبة عملية الضرب اللازمة لآلية dot-product attention. ويُخزَّن كل معامل من معاملات مُحسِّن Lion في مكثف واحد. صدر البحث على arXiv في قسم cs.LG، وهو نسخة منشورة مسبقًا (preprint)، ولا يوجد بعدُ عتاد فعلي.

لماذا بقي التعلّم الفيزيائي محصورًا في المدرِكات متعددة الطبقات

يندرج equilibrium propagation وcoupled learning ضمن التعلّم الفيزيائي. يُدفع النظام (nudge) من حالته الحرة نحو الحالة المستهدفة، وتحدّث قاعدة محلية المعاملات وفق الفرق بين الحالتين. ولهذا يجب أن تتدفق المعلومات عبر النظام الفيزيائي في الاتجاهين: من المدخل إلى المخرج وبالعكس. وما دامت الدارات بسيطة، يتحقق ذلك من تلقاء نفسه. لكن هذه الأنظمة تبقى من حيث القدرة التعبيرية ضمن فئة المدرِكات متعددة الطبقات. فهي تستطيع تقريب أي دالة، لكنها تؤدي أداءً ضعيفًا في المهام الترابطية التي تحلّها المحوّلات بسهولة.

يعود السبب إلى اللاخطية. فآلية الانتباه تحتاج إلى ضرب القيم بعضها ببعض، أما الدارات التي تنفّذ ذلك فتُفسد التدفق العكسي: إذ لا يعود مرور الإشارة في الاتجاه المعاكس مطابقًا لما يلزم لحساب التدرج. وقد توجّه مؤلفو العمل مباشرةً إلى هذه النقطة.

الدارة الثنائية وأُسّية MOSFET

استُعيد التدفق العكسي بصورة صريحة. فقد أضاف الباحثون إلى الدارة الثنائية (dyadic) عناصر إضافية مسؤولة عن حركة الإشارة إلى الخلف، وبنوا فوقها آلية الانتباه. تستفيد هذه الآلية من القانون الأسّي للتيار في ترانزستور MOSFET العامل ما دون العتبة: يزداد التيار أُسّيًا مع جهد البوابة، وحاصل ضرب الأسّيات يساوي أُسّ المجموع. وبهذا يتحول الضرب إلى عملية يؤديها الترانزستور بنفسه. واستُخدمت كتلة MOSFET نفسها لحساب softmax.

واعتُمدت في المحاكاة مكوّنات عكسية واقعية لا مثالية. وهي تنقل تدرجًا تقريبيًا فقط. ومع ذلك يتقارب التدريب على مهمة بسيطة من مهام in-context learning.

أبرز معالم العمل:

• المنصة: دارة ترانزستورية بالكامل، والتحقق في المحاكاة.
• الانتباه: القانون الأسّي للتيار في MOSFET العامل ما دون العتبة.
• التدفق العكسي: عناصر إضافية في الدارة الثنائية، والتدرج تقريبي.
• دالة الخسارة: الإنتروبيا المتقاطعة فقط، ومع الخطأ التربيعي المتوسط لم ينجح التدريب.
• إشارات nudge: عنصر عائم جديد قائم على دارة MOSFET الفرعية نفسها التي تُستخدم في softmax.
• المعاملات القابلة للتدريب: المقاومات.
• المُحسِّن: Lion، بمكثف واحد لكل معامل كذاكرة محلية لتقديرات التدرج السابقة.
• المهمة: in-context learning بسيط.

والاستنتاج المتعلق بدالة الخسارة مهم للمهندسين. فاختيار دالة الخسارة في مثل هذا النظام يحدد ما إذا كان التدريب سينجح أصلًا، وهذا يضيّق نطاق الخيارات التصميمية.

ماذا نفعل بهذا وماذا ننتظر

لا فائدة مباشرة حاليًا لممارسي ML: فلا يوجد ما يمكن نشره، والمهمة في البحث بسيطة عن قصد. وتكمن القيمة الرئيسية في أمر آخر. فقد أظهر المؤلفون أن التعلّم التناظري في الموقع قد يتجاوز المدرِكات ويصل إلى المعمارية التي تقوم عليها LLM اليوم. أما Lion، الذي يكفيه مكثف واحد لكل معامل، فيدل على أن مسألة الذاكرة المحلية للمُحسِّن عُولجت هي الأخرى على مستوى الدارة.

وتبقى الأسئلة الرئيسية مفتوحة. أولًا: هل ستنتقل الدارة من المحاكاة إلى السيليكون. فالترانزستورات العاملة ما دون العتبة معروفة بحساسيتها لدرجة الحرارة وللتفاوت في المعاملات، ولا يتناول الملخص هذه التأثيرات. ثانيًا: كيف سيتصرف النظام في مهام أعقد من in-context learning البسيط ومع عدد أكبر من المعاملات. ثالثًا: ما هي مؤشرات استهلاك الطاقة الفعلية: فلا ترد مثل هذه الأرقام في الملخص، ومن دونها لا يمكن المقارنة مع GPU.

وينبغي متابعة أول نموذج أولي فيزيائي، وتوسيع مجموعة المهام، وقياسات الطاقة لكل عملية. وإذا أُنجزت هذه الخطوات، فسيكون لهذا النهج فرصة في مجال متخصص يهمّ فيه انخفاض استهلاك الطاقة والتدريب مباشرة على الجهاز.