InfiniDream تعلّم نماذج VLM كتابة عوالم ثلاثية الأبعاد إجرائية: 100 كائن و20 مشهدًا

اقترح فريق InfiniDream إطار عمل لا يرسم فيه نموذج الرؤية واللغة (VLM) شبكة ثلاثية الأبعاد (mesh) جاهزة، بل يدير التوليد الإجرائي: من كائن منفرد إلى مشهد كبير يتضمن توزيع العناصر و«سكان» المشهد والتحريك. اختُبر النظام على 100 مهمة للكائنات و20 مهمة للمشاهد. ويؤكد المؤلفون أنه حقق تحسنًا في أربعة مقاييس إدراكية. ويدعم ذلك تحليل التنوع ودراسات الاستئصال (ablations) وتقييمات بشرية. وقد ظهر البحث ضمن Hugging Face Daily Papers.

أين تفشل المقاربات الحالية

التوليد الإجرائي مطلوب منذ زمن في الألعاب، ولدى من يبنون بيانات اصطناعية لتدريب النماذج. فهو قابل للتحكم والتعديل ويمنح تنوعًا: تغيّر قيمة seed فتحصل على شجرة أو صخرة جديدة. أما الشبكة الثابتة (mesh) فلا تستطيع ذلك. لكن لهذه المقاربة مشكلتين معروفتين.

الأولى: عندما يكتب VLM شيفرة لأصول ثلاثية الأبعاد من الصفر، تكون النتيجة عادةً بسيطة. الثانية: الأنظمة الإجرائية الواقعية فعلًا تتطلب تطويرًا يدويًا طويلًا. أما الطرق التي يدير فيها VLM خط معالجة إجرائيًا فتصطدم بـ«مصانع» وواجهات API محددة مسبقًا. فالنموذج يختار من مجموعة جاهزة ولا ينشئ أنواعًا جديدة من الأصول من حيث المبدأ.

الكتلتان الأساسيتان في InfiniDream

تسمى الكتلة الأولى Symbolically Constrained Asset Generation. يعتمد VLM على خوارزميات إجرائية قائمة، وينشئ على أساسها أصولًا جديدة واقعية. وتُبقي القيود الرمزية النتيجة ضمن حدود الخوارزميات العاملة. وبفضل ذلك تُحفظ قابلية التعديل والتنوع عبر seed، وهو بالضبط ما يُستخدم التوليد الإجرائي من أجله.

الكتلة الثانية هي خط معالجة متكامل من النص إلى العالم. يجمع التخطيط الدلالي للمشهد مع Deterministic Frustum-Guided Grid Placement. ويصف الاسم الطريقة: توزَّع الكائنات على شبكة مع مراعاة هرم رؤية الكاميرا (frustum)، فيأتي التوزيع دقيقًا وقابلًا للتكرار. بعد ذلك يضيف النظام ملئًا إجرائيًا للعالم وتحريكًا.

باختصار، المعلمات المعلنة:

• نوع النظام: إطار عمل بقيادة VLM للتوليد الإجرائي المفتوح للعوالم ثلاثية الأبعاد؛
• توليد الأصول: Symbolically Constrained Asset Generation؛
• توزيع الكائنات: Deterministic Frustum-Guided Grid Placement؛
• عينة الاختبار: 100 مهمة للكائنات و20 مهمة للمشاهد؛
• التقييم: أربعة مقاييس إدراكية، وتحليل التنوع، ودراسات الاستئصال (ablations)، وتفضيلات البشر (human preference)؛
• صفحة المشروع: yichuanh.github.io/infinidream-page.

ما الذي تثبته الاختبارات وما الذي لا يظهر

تبدو مجموعة التقييمات متينة: مقاييس آلية، ودراسة لمساهمة المكونات، ومقارنة بعيون البشر. وهذا الأخير حاسم في الرسوميات ثلاثية الأبعاد التوليدية، لأن المقاييس الإدراكية لا تتطابق دائمًا مع انطباع المشاهد.

ومع ذلك، لا تتضمن الخلاصة (abstract) قيمًا محددة للمقاييس، ولا أسماء الطرق المرجعية المقارَن بها، ولا بيانات عن نموذج VLM المستخدم فعليًا. كما لا تذكر زمن توليد المشهد ولا تكلفة التشغيل. وعينة الـ20 مشهدًا ليست كبيرة، ولذلك سيتعين الاطلاع على الورقة الكاملة وصفحة المشروع لمعرفة حجم التحسينات المعلنة.

لمن قد يفيد هذا

يهم هذا النهج الاستوديوهات والمطورين المستقلين قبل كل شيء بسبب قابلية التعديل. فإذا نُتج المشهد من معلمات لا من هندسة مخبوزة (baked geometry)، يستطيع الفنان تغيير seed وضبط المعلمات دون إعادة إنشاء العالم بالكامل. أما الفرق التي تبني بيانات اصطناعية للرؤية الحاسوبية أو الروبوتات، فتفيدها قدرة النظام على الجمع بين التوزيع الدقيق والتنوع. فيمكن تحويل صياغة نصية واحدة إلى عدد كبير من أشكال المشهد.

والخطوة العملية الآن بسيطة: افتح صفحة المشروع وتحقق مما إذا كانت الشيفرة والأمثلة منشورة. ثم جرّب عدة prompts خاصة بك تتضمن كائنات غير تقليدية. فهناك يظهر ما إذا كانت الطريقة تتعامل مع ما يتجاوز «المصانع» وواجهات API الجاهزة.