DiffusionGemma من Google يكتب النص في كتل من 256 توكنا دفعة واحدة بدلا من توليد توكن واحد كل مرة

تعمل جميع نماذج اللغة التي تستخدمها تقريبا بالطريقة نفسها: تنتج توكنا، وتضيفه إلى النص، ثم تعيد تمرير كل شيء وتنتج التوكن التالي. ولهذا النهج مشكلتان معروفتان. الأولى: عند التشغيل المحلي لمستخدم واحد، لا تكون الحوسبة هي عنق الزجاجة، بل الذاكرة. فلكي ينتج النموذج توكنا واحدا، يسحب جميع الأوزان في كل مرة، بينما تظل وحدات الحوسبة في GPU خاملة. والثانية: لا يمكن إعادة كتابة ما كُتب. فإذا دخل النموذج في طريق مسدود في منتصف الإجابة، فلن يستطيع التراجع.

يحاول DiffusionGemma من Google DeepMind حل المشكلتين معا. إنه نموذج مفتوح تجريبي بترخيص Apache 2.0، صدر في 10 يونيو 2026. وتحت الغطاء توجد معمارية Gemma 4 26B: بنية Mixture-of-Experts تضم 26 مليار معلمة، يُفعّل منها 3.8 مليار لكل توكن، ومن هنا جاءت اللاحقة A4B.

كيف يكتب؟

يأخذ النموذج لوحة من 256 توكنا نائبا، أي ضوضاء في جوهرها، ويعالجها كاملة عبر عدة تمريرات. تساعد التوكنات التي يثق بها على تحديد بقية التوكنات، ويبدأ النص في «الظهور» تدريجيا مثل صورة في Stable Diffusion، لكن الكلمات تحل هنا محل البكسلات.

إذا تجاوزت الإجابة 256 توكنا، يُفعّل وضع الانحدار الذاتي على مستوى الكتل. تُثبت اللوحة المكتملة في ذاكرة KV المؤقتة باستخدام الانتباه السببي التقليدي، ثم تبدأ لوحة جديدة يمكنها رؤية كل ما سبق. أما داخل الكتلة، فالانتباه ثنائي الاتجاه: يستطيع أي توكن النظر إلى أي توكن آخر. ومن هنا تأتي الميزة الجديدة الأساسية، وهي التصحيح الذاتي. فإذا انخفضت الثقة في توكن ما، يستطيع المعيّن إضافة الضوضاء إليه مجددا وإتاحة الفرصة للنموذج لإعادة صياغته. ولا يستطيع نموذج LLM تقليدي فعل ذلك.

الأثر العملي هو انتقال عنق الزجاجة من عرض نطاق الذاكرة إلى الحوسبة. ويحصل GPU على عمل متواز حقيقي بدلا من الانتظار بين الخطوات. وهنا تحديدا يُفترض أن يظهر مكسب السرعة.

كيفية التشغيل

النموذج متعدد الوسائط عند الإدخال: يقبل النص والصور ذات الأحجام العشوائية والفيديو، لكنه لا يقبل الصوت. أما الإخراج فنصي دائما. وهذا ليس مولد صور يحمل تسمية الانتشار؛ فالانتشار مطبق على النص وحده. ويدعم النموذج تعليمات النظام ووضع thinking قابلا للضبط، يُفعّل بالمعلمة enable_thinking=True ويعرض الاستدلال في كتلة مستقلة.

أما من ناحية العتاد، فتوصي Google للنموذج الكامل ببطاقة ذات ذاكرة تتجاوز 60 غيغابايت، من فئة A100 أو H100. وتستقر النسخة المكممة داخل 18 غيغابايت من VRAM، ولذلك يمكن تشغيلها على RTX 4090 أو 5090.

ومن ناحية البرمجيات، يلزم transformers بالإصدار 5.11.0 أو أحدث، إذ إن الإصدارات الأقدم لا تتعرف إلى النموذج ببساطة. ويجب تحميله عبر الفئة المستقلة DiffusionGemmaForBlockDiffusion بدلا من AutoModelForCausalLM المعتادة، لأن لديه حلقة إزالة ضوضاء خاصة به. ويُستخدم AutoProcessor بدلا من مجزئ التوكنات لأنه يعالج الصور والفيديو أيضا. ولمراقبة العملية، تتوفر TextDiffusionStreamer، التي تطبع حالة اللوحة بعد كل خطوة، لتُظهر كيف يتشكل النص من الضوضاء.

وللاستخدام الإنتاجي، دمجت Google بالتعاون مع فريق vLLM إزالة الضوضاء التكرارية في المحرك القياسي. ويدعم أمر vllm serve سياقا طويلا، يبلغ في المثال 262144 توكنا، بينما يُحدد المعيّن عبر hf-overrides، مثل entropy_bound.

ماذا يمكن أن نفعل به؟

لنوضح منذ البداية: هذه معاينة بحثية وليست منتجا جاهزا، وتقول Google ذلك صراحة. وقبل استخدامه مع العملاء، ينبغي قراءة سياسة الاستخدام المقبول الخاصة بـ Gemma. ولا تتضمن المادة أرقاما عن التسريع الفعلي، لذا سيتعين قياس مكاسب زمن الاستجابة على مهامك الخاصة.

لكن التجربة تستحق العناء. فإذا كنت تبني مساعدين محليين، أو خطوط معالجة تنتج حجما كبيرا من التوليدات القصيرة، أو تتابع ببساطة الاتجاه الذي تسلكه معماريات LLM، فقد أصبح الانتشار النصي أداة عملية يمكن تشغيلها على بطاقة رسومية واحدة مخصصة للألعاب. ابدأ باستخدام TextDiffusionStreamer: خمس دقائق من مراقبة إزالة الضوضاء ستشرح الآلية أفضل من أي مقال.