L3G-World يولّد عوالم ثلاثية الأبعاد في الوقت الفعلي بسرعة 9.02 إطار/ث على H100

تولّد نماذج العالم التفاعلية فيديو استجابةً لإجراءات المستخدم، لكنها تواجه مشكلات في الجولات الطويلة داخل المشهد: بمجرد العودة إلى مكان سبق رؤيته، يبدو مختلفًا. يقترح مؤلفو L3G-World عدم تخزين المشهد في سجل الإطارات، بل في ذاكرة مدمجة من غاوسيانات ثلاثية الأبعاد، ترتبط بكل واحدة منها سمة كامنة من VAE. ووفق بيانات المؤلفين، يبني النظام عالمًا متسقًا مكانيًا انطلاقًا من صورة واحدة ومسار كاميرا، ويعمل بسرعة 9.02 إطار/ث على H100 واحدة.

لماذا لا تتوسع الذاكرتان المعتادتان بشكل جيد

يعتمد النهج الأول على السياق الزمني: عند توليد المقطع التالي، يرجع النموذج إلى الإطارات السابقة أو إلى KV-cache لطبقات الانتباه الذاتي. وتزداد كلفة هذه الذاكرة مع طول التدفق والدقة، وينتهي الأمر على المسافات الطويلة إلى نفاد ذاكرة الفيديو. وفي جدول المقارنة يورد المؤلفون حالات OOM لمثل هذه الطرق عند توليد 400 إطار على H100.

أما النهج الثاني فيخزّن المشهد صراحةً على شكل سحابة نقاط أو غاوسيانات. هذه الذاكرة مرتبطة بالفضاء، ولذلك تحافظ على الاتساق بصورة أفضل عند العودة إلى أماكن سابقة، وتتيح تحكمًا دقيقًا بالكاميرا. لكن لها مفاضلاتها الخاصة. فطرق feed-forward تتنبأ بعناصر أولية لكل بكسل وتعيد بناء المشهد بسرعة، غير أن هذه العناصر تتراكم مرارًا في المناطق نفسها. فتتضخم الذاكرة، ويبطؤ العرض، ولا يصحّح أحد الأجزاء غير الدقيقة من الهندسة. أما الطرق القائمة على التحسين لكل مشهد فهي أكثر إحكامًا، لكن الملاءمة التكرارية بطيئة جدًا للوقت الفعلي.

وهناك مشكلة ثانية. فعادةً ما تُغذّى المولّدات بإخراج RGB من ذاكرات ثلاثية الأبعاد صريحة، ويجب تمريره من جديد عبر مشفّر VAE. وهذه الخطوة وحدها تحول دون العمل في الوقت الفعلي.

كيف يقرر L3G-Mem مواضع إضافة الغاوسيانات

يتألف النظام من وحدتين تعملان بالتناوب بصورة انحدارية ذاتية. يحدّث L3G-Mem الذاكرة، ويولّد L3G-Gen المقطع التالي من الفيديو. وتنمو الذاكرة أساسًا بتوسع تغطية المشهد، لا بعدد الإطارات المولَّدة.

يجري التحديث على نوافذ. أولًا تُعرَض الغاوسيانات الحالية من كاميرات جديدة، وتدخل البكسلات ذات العتامة المنخفضة أو خطأ RGB الكبير في قناع التوليد. وفي هذه المناطق تؤخذ سمات نموذج تأسيسي هندسي (foundation model) وتُجمَّع بخوارزمية K-means (وفق مخطط ZipSplat) في مجموعة صغيرة من الاستعلامات. وهكذا تُنفَق ميزانية الغاوسيانات الجديدة فقط على ما ليس موجودًا في الذاكرة بعد.

وفي الأثناء تُحسَّن الغاوسيانات المرئية. تُستخرَج رموز ذاكرتها بوصفها رموز تحسين. ويعالج محوّل واحد التدفقين معًا، وفي كل كتلة يرجع التدفقان أولًا إلى السمات الهندسية، ثم يمرّان بانتباه ذاتي داخل التدفق، ثم بانتباه ذاتي عام مشترك. تُضاف الغاوسيانات الجديدة إلى الذاكرة، وتُحدَّث القديمة بتصحيحات متبقية. ولذلك لا تتحول الذاكرة إلى مخزن مؤقت: إذ تُصحَّح تدريجيًا الأخطاء الهندسية للخطوات السابقة.

ويرفع فرع منفصل السمات الكامنة لـ VAE إلى الفضاء ثلاثي الأبعاد. وبفضلها تُعرَض الذاكرة مباشرة في الفضاء الكامن للمولّد، ولا حاجة إلى إعادة الترميز. ويجري التدريب على تسلسل من النوافذ مع إيقاف التدرج عبر الذاكرة السابقة. وتشمل دالة الخسارة RGB وLPIPS والعمق وMSE على كامنات VAE وجزاء الرؤية.

المولّد L3G-Gen وما بقي غير واضح

L3G-Gen هو DiT للفيديو بتوليد انحداري ذاتي. تُضَمّ الكامنات المعروضة من الذاكرة وقناع العتامة إلى الكامنات المشوَّشة على مستوى القنوات، أي دون رموز إضافية. أما الكامنات المرجعية المولَّدة سابقًا فتُمرَّر بصورة منفصلة وتبقى دون تغيير. وأُضيف إلى الانتباه الذاتي RayRoPE، وهو ترميز موضعي متبقٍّ يعتمد على أشعة الكاميرا، كما أُعطيت الكامنات المرجعية RoPE زمنيًا مزاحًا. يُدرَّب المعلّم على rectified flow، ثم يُقطَّر إلى مولّد بعدد قليل من الخطوات لتحقيق السرعة.

يعلن المؤلفون تحقيق أفضل النتائج في جودة التوليد والاتساق الذاتي على المسافات الطويلة. ويتحدثون أيضًا عن عدد أقل من العناصر الأولية ثلاثية الأبعاد، وإعادة بناء أسرع للذاكرة، وعرض أسرع لسمات VAE، مقارنةً بأكثر الطرق الأساسية السابقة كفاءةً في كل مقياس. أما الأرقام الدقيقة لمرات التحسّن فهي مقتطعة في النص المتاح، ولذلك ينبغي التحقق منها في الورقة الأصلية. وقد أجرى المؤلفون هذه المقارنات بأنفسهم، ولا توجد حتى الآن عمليات تحقق مستقلة.

والخلاصة العملية لمن يتابعون world models أن 9.02 إطار/ث على H100 ليست بعد 24–30 FPS، وهذه السرعة على مسرّع من الفئة العليا. لكن البنية تُظهر كيف يمكن بناء ذاكرة للمشهد لا ترتفع كلفتها مع طول الجلسة. وهذا مطلوب لمحاكيات الألعاب وتدريب الوكلاء في بيئات اصطناعية والتوليد التفاعلي.