NetKet و JAX: كيفية بناء نموذج Transformer لأنظمة الدوران المحبطة

تبدأ معمارية المحول (Transformer) في إيجاد مكانها في الفيزياء الكمية الحسابية: دليل عملي جديد يوضح كيفية تجميع خط أنابيب كامل للحالات الكمية العصبية (Neural Quantum States) باستخدام NetKet و JAX لمشكلة معقدة — سلسلة الدوران J1-J2 المحبطة لهايزنبرج. هذا ليس نظرية مجردة، بل إطار عمل قابل للتكرار حيث يتم جمع النموذج والعينة والتحسين والتحقق من الدقة في حلقة بحث واحدة. الفكرة الأساسية للدليل هي أن معمارية المحول مناسبة جداً لوصف الحالات الكمية متعددة الأجسام، حيث تكون الارتباطات بعيدة المدى بين الجسيمات مهمة.

تواجه الطرق الرقمية التقليدية بسرعة لعنة أبعاد فضاء الحالات، خاصة إذا كان النظام محبطاً، أي أن التفاعلات المتنافسة تمنعه من الوصول إلى حد أدنى من الطاقة مرتب بسيط. في مثل هذه الظروف، تسمح الحالات الكمية العصبية بتمثيل دالة الموجة كشبكة عصبية معاملية، ثم يتم تحسينها من خلال مونتي كارلو التباين. يعمل NetKet كبيئة جاهزة للحسابات الكمية، بينما يعمل JAX كمحرك للتحسين المسرع عالي الدقة.

يقوم الدليل أولاً بإعداد الجزء الفيزيائي الأساسي للمشكلة. يحدد المؤلف سلسلة أحادية البعد بطول L مع شروط حدود دورية، حيث يتفاعل الجيران الأقربون مع معامل J1، والجيران التاليون لهم مع J2. هذه التوليفة بالذات هي التي تخلق الإحباط الذي يجعل المشكلة مثيرة للاهتمام وغير تافهة.

لوصف النظام، يتم استخدام رسم بياني في NetKet، مساحة هيلبرت لجسيمات الدوران 1/2 مع إسقاط إجمالي ثابت، وعامل هاملتونيان تم تجميعه عبر GraphOperator. بالتوازي، يتم تفعيل دقة 64 بت في JAX، وهو أمر حاسم للحسابات المستقرة في فئة المشاكل هذه. عندئذ يبدأ التعلم الآلي بشكله النقي.

يتم تحديد دالة الموجة بنموذج TransformerLogPsi مخصص على Flax: يتم ترميز تكوينات الدوران كرموز، وتتلقى تضمينات وتمثيلات موضعية، ثم تمر عبر عدة كتل من الاهتمام الذاتي وطبقات التغذية الأمامية. يستخدم المثال بعداً مخفياً قدره 96، وأربع رؤوس انتباه، وستة طبقات محول. يعيد النموذج لوغاريتم معقد لسعة دالة الموجة — وهذا أمر حاسم لأن الحالة الكمية لا يمكن وصفها بشكل كافٍ بمقياس حقيقي وحده.

بعد تجميع المعلومات على طول السلسلة بأكملها من خلال التوسيط، تحصل الشبكة على تمثيل عام للتكوين ويمكنها التعبير عن ارتباطات أكثر تعقيداً من ansatze المحلية. قيمة خاصة للدليل هي أنه لا يتوقف عند تعريف النموذج. بالنسبة للتدريب، يقوم المؤلف بتجميع حلقة VMC كاملة: عينة MetropolisExchange، الحالة التباينية MCState، محسّن Adam و Stochastic Reconfiguration كمثيل لنزول التدرج الطبيعي للحالات الكمية.

تستخدم تكوين المثال 4096 عينة، ورفض الحالات الأولية في السلاسل وحوالي 250 تكرار تحسين. مثل هذا المكدس ضروري ليس فقط لتحقيق طاقة منخفضة، بل أيضاً للتحكم في التقارب. يحفظ الكود مسارات الطاقة المتوسطة والتباين، بحيث يمكن للمرء أن يرى كيف يتحرك النموذج بشكل مستقر نحو حل جيد.

بعد التدريب، يتم استخدام خط الأنابيب كأداة بحث. يقوم المؤلف بإجراء حسابات لعدة قيم من J2 في النطاق من 0 إلى 0.7 لسلسلة بطول 24 عقدة، ويسجل الطاقات النهائية ويقدر قمة عامل الهيكل.

يسمح هذا ليس فقط بضبط معاملات الشبكة العصبية، بل بمراقبة كيف يتغير السلوك الفيزيائي للنظام مع زيادة الإحباط وأين قد تظهر انتقالات بين مراحل مختلفة من الترتيب المغناطيسي. للتحقق الإضافي من الجودة، يتم مقارنة النموذج مع تقطير دقيق على نظام أصغر بحجم 14 عقدة باستخدام طريقة Lanczos. توفر مقارنة الطاقات معياراً رقمياً واضحاً: كم يقترب محول التباين من الحل الدقيق حيث الحساب الدقيق لا يزال ممكناً.

الأهمية العملية للمادة هي أنها تسد الفجوة بين عالمين — معماريات التعلم العميق الحديثة والمشاكل الحقيقية للفيزياء الحسابية. بالنسبة لمهندسي ML، إنه مثال جيد على كيفية استخدام المحول خارج النصوص والصور والبيانات الجدولية القياسية. بالنسبة للفيزيائيين، إنه نموذج مفهوم للانتقال من الفكرة المجردة للحالات الكمية العصبية إلى تجربة قابلة للتكرار مع مقاييس محددة ومعايير وكميات قابلة للملاحظة.

وبالنسبة لأولئك الذين يعملون عند تقاطع هذه المجالات، يوفر الدليل أساساً يمكن توسيعه: الانتقال إلى شبكات أكبر وإضافة تماثلات ودراسة التشابك أو بناء عمليات محاكاة زمنية أكثر تعقيداً. ما يعنيه هذا: يصبح نهج المحول تدريجياً أداة عمل ليس فقط للمهام الكلاسيكية للذكاء الاصطناعي، بل أيضاً لنمذجة الأنظمة الكمية، حيث تكون تكلفة الخطأ عالية والطرق الدقيقة تنفد بسرعة. إذا كان NetKet و JAX موجودين بالفعل في مكدس العمل الخاص بك، فإن هذه المادة توفر نقطة بداية جاهزة عملياً للتجارب على مستوى البحث.