NetKet وJAX: كيف تبني نموذج Transformer لأنظمة السبين المحبَطة

بدأت بنى Transformer تجد لها مكانًا في الفيزياء الحاسوبية الكمومية أيضًا. يوضح دليل عملي جديد كيف يمكن بناء مسار كامل لحالات كمومية عصبية (Neural Quantum States) على أساس NetKet وJAX لمعالجة مسألة معقدة، هي سلسلة هايزنبرغ J1-J2 المحبَطة. والدليل ليس نظرية مجردة، بل مخطط قابل لإعادة الإنتاج، يجمع النموذج وأداة أخذ العينات والتحسين والتحقق من الدقة في حلقة بحثية واحدة.

الفكرة الرئيسية للدليل أن بنية Transformer مناسبة لوصف الحالات الكمومية متعددة الجسيمات، حيث تكتسب الارتباطات بعيدة المدى بين الجسيمات أهمية كبيرة. أما الطرق العددية التقليدية فتصطدم سريعًا بأبعاد فضاء الحالات، خصوصًا إذا كان النظام محبَطًا، أي أن التفاعلات المتنافسة تمنعه من بلوغ حد أدنى بسيط ومنتظم للطاقة. في هذه الظروف تتيح الحالات الكمومية العصبية تمثيل الدالة الموجية بشبكة عصبية قابلة للضبط، ثم تحسينها عبر Variational Monte Carlo. ويؤدي NetKet هنا دور بيئة جاهزة للحوسبة الكمومية، بينما يعمل JAX محرّكًا لتحسين عالي الدقة وقابل للتسريع.

يبدأ الدليل بإعداد الجزء الفيزيائي الأساسي من المسألة. يحدد المؤلف سلسلة أحادية البعد بطول L وبشروط حدّية دورية، حيث يتفاعل الجيران الأقرب بمعامل J1، ويتفاعل الجيران الذين يلونهم بمعامل J2. هذا الجمع بالذات هو ما يولّد الإحباط الذي يجعل المسألة مثيرة وغير بسيطة. ولوصف النظام يُستخدم رسم بياني (graph) في NetKet، وفضاء هلبرت لسبينات 1/2 مع إسقاط كلي ثابت، ومؤثر هاملتون مبني عبر GraphOperator. وفي الوقت نفسه تُفعَّل دقة 64 بت في JAX، وهو أمر مهم لثبات الحسابات في المسائل من هذا الصنف.

ثم يبدأ تعلّم الآلة بمعناه الخالص. تُعرَّف الدالة الموجية بنموذج خاص هو TransformerLogPsi مبني على Flax: تُرمَّز تكوينات السبين على هيئة رموز (tokens)، ثم تحصل على تمثيلات تضمينية (embeddings) وتمثيلات موضعية، وبعدها تمر عبر عدة كتل من طبقات الانتباه الذاتي (self-attention) والطبقات التغذوية الأمامية (feed-forward). يستخدم المثال بُعدًا للفضاء المخفي يبلغ 96، وأربعة رؤوس انتباه، وستّ طبقات Transformer. وفي المخرجات يُرجع النموذج اللوغاريتم العقدي لسعة الدالة الموجية، وهذا أمر حاسم لأن الحالة الكمومية لا يمكن وصفها وصفًا كافيًا بكمية قياسية حقيقية فقط. وبعد تجميع المعلومات على امتداد السلسلة عبر حساب المتوسط، تحصل الشبكة على تمثيل شامل للتكوين، وتصبح قادرة على التعبير عن ارتباطات أعقد مما تستطيعه الصيغ التقريبية المحلية (ansatz).

وتكمن قيمة الدليل الخاصة في أنه لا يتوقف عند تعريف النموذج. فللتدريب يبني المؤلف حلقة VMC كاملة: أداة أخذ العينات MetropolisExchange، والحالة التغايرية MCState، والمُحسِّن Adam، وإعادة التهيئة العشوائية (Stochastic Reconfiguration) بوصفها نظيرًا لطريقة natural gradient descent للحالات الكمومية. وتستخدم إعدادات المثال 4096 عينة، مع تجاهل الحالات الأولية في السلاسل، ونحو 250 تكرارًا للتحسين. ولا تهدف هذه المنظومة إلى الوصول إلى طاقة منخفضة فحسب، بل إلى مراقبة التقارب أيضًا. إذ يحفظ الكود مسارات متوسط الطاقة والتباين، ليتبيّن مدى استقرار حركة النموذج نحو حل جيد.

بعد التدريب يُستخدم المسار أداةً بحثية فعلية. يجري المؤلف حسابات لعدة قيم من J2 ضمن المدى من 0 إلى 0,7 لسلسلة طولها 24 عقدة، ويسجّل الطاقات النهائية، ويقدّر قمة عامل البنية (structure factor). وهذا لا يقتصر على ضبط معاملات الشبكة العصبية، بل يتيح رؤية كيف يتغير السلوك الفيزيائي للنظام مع ازدياد الإحباط، وأين قد تظهر الانتقالات بين الأطوار المختلفة للنظام المغناطيسي.

وللتحقق الإضافي تُقارَن جودة النموذج بالتقطير الدقيق على نظام أصغر حجمه 14 عقدة، باستخدام طريقة لانكزوس (Lanczos). وتعطي مقارنة الطاقات معيارًا رقميًا واضحًا لمدى قرب Transformer التغايري من الحل الدقيق حيث لا يزال الحساب الدقيق ممكنًا.

وتكمن الأهمية العملية للمادة في أنها تسدّ الفجوة بين عالمين: بنى التعلم العميق الحديثة ومسائل الفيزياء الحاسوبية الواقعية. فبالنسبة لمهندسي تعلّم الآلة، هي مثال جيد على استخدام Transformer خارج النصوص والصور والبيانات الجدولية المعتادة. وبالنسبة للفيزيائيين، هي قالب واضح للانتقال من الفكرة المجردة للحالات الكمومية العصبية إلى تجربة قابلة لإعادة الإنتاج بمقاييس ومعايير اختبار (benchmarks) وكميات قابلة للرصد محددة. أما للعاملين عند تقاطع المجالين، فيقدّم الدليل أساسًا يمكن توسيعه: الانتقال إلى شبكات أكبر، وإضافة التناظرات، ودراسة التشابك، أو بناء محاكاة زمنية أكثر تعقيدًا.

ما الذي يعنيه ذلك: يتحول نهج Transformer تدريجيًا إلى أداة عمل ليس لمسائل الذكاء الاصطناعي التقليدية فحسب، بل لنمذجة الأنظمة الكمومية أيضًا، حيث تكون كلفة الخطأ عالية وتنفد الطرق الدقيقة بسرعة. وإذا كان NetKet وJAX ضمن حزمة أدواتك الحالية، فإن هذه المادة تقدّم نقطة انطلاق شبه جاهزة لتجارب بمستوى بحثي.