روبوسترال نافيجيت من ميسترال: روبوت يرى عبر كاميرا واحدة ويتنقل بمفرده

قدمت Mistral AI Robostral Navigate — أول نموذج لهم للملاحة الذاتية للروبوتات، الذي يتجه في الفضاء باستخدام فيديو من كاميرا RGB واحدة قياسية ويوضح 76.6٪ من المحاولات الناجحة في اختبار R2R-CE للبيئات غير الموجودة أثناء التدريب.

ما الذي يمكن للنموذج القيام به

Robostral Navigate هو نموذج بـ 8 مليارات معامل يوجه روبوتًا من خلال بيئات معقدة بناءً على إطار كاميرا وتعليمات نصية: مكاتب، ومباني سكنية أو تجارية، ومساحات خارجية. قد تبدو التعليمات كالتالي: "اخرج من بهو الاستقبال، امش في الممر، أدخل خزانة التخزين وتوقف أمام الرف الثاني" — والنموذج يوجه الروبوت عبر المسار بالكامل بشكل مستقل، بدون تدخل بشري.

• معدل نجاح 79.4٪ على التحقق من R2R-CE في السيناريوهات المألوفة و 76.6٪ في السيناريوهات غير المرئية
• تفوق على أفضل نهج لكاميرا واحدة — 9.7 نقاط، على أفضل نظام به ليدار أو عدة كاميرات — 4.5 نقاط
• يعمل على روبوتات بعجلات وروبوتات ذات أرجل وروبوتات طائرة، مقاومة للاختلافات في معاملات الكاميرا
• مجموعة بيانات التدريب — حوالي 400000 مسار تم جمعه في 6000 سيناريو محاكاة

كيفية العثور على الطريق من قبل النموذج

لا يتنبأ Robostral Navigate بالإزاحة المترية، بل بنقطة في الصورة: إحداثيات هدف في إطار الكاميرا الحالي والاتجاه المطلوب عند الوصول. طريقة الملاحة هذه "بالإشارة" مقاومة لتغييرات العدسة وتغيرات مقياس المشهد — على عكس الأوامر المستندة إلى المسافات المترية. عندما يخرج الهدف من نطاق الرؤية، يتحول النموذج إلى إزاحات إحداثيات محلية نسبية للروبوت، على سبيل المثال: "تقدم مترين للأمام، و 1.5 متر لليسار وأدر 25 درجة لليسار".

كيف تم تدريب Robostral Navigate

تم بناء النموذج بالكامل داخل Mistral AI ولا يعتمد على نماذج رؤية-لغة مفتوحة المصدر — يتم تهيئتها بناءً على نموذج الشركة الخاص، المتخصص في مهام الإشارة والعد وتحديد موقع الكائنات. عنصر رئيسي في التدريب هو طريقة تخزين مؤقت البادئة: فهو يضغط حلقة كاملة في سلسلة واحدة ويسمح بالتدريب على جميع الخطوات الزمنية في مرور واحد، مما يقلل رموز التدريب بمعامل 22 مقارنة بالتدريب على الخطوات الفردية. بعد مرحلة التعلم الخاضع للإشراف، يتم تحسين النموذج بشكل أفضل من خلال التعلم التعزيزي عبر الإنترنت باستخدام خوارزمية CISPO، التي تسمح له بالتعلم من أخطائه الخاصة والتعافي من الأعطال.

"اليوم نقدم

Robostral Navigate — نموذجنا الأول للملاحة المجسدة"، وفقًا لمدونة Mistral AI الرسمية.

ما يعنيه هذا

تقلل الملاحة باستخدام كاميرا واحدة فقط بدون ليدار وأجهزة استشعار عمق من تكاليف وتعقيد الروبوتات للمستودعات والتوصيل والفنادق والتصنيع — تسمي Mistral AI هذه الصناعات مباشرة على أنها أول المستفيدين من التكنولوجيا.

الأسئلة الشائعة

ما الروبوتات التي يمكن لـ Robostral Navigate أن تعمل عليها؟

يعمل النموذج على الروبوتات ذات العجلات والروبوتات ذات الأرجل والروبوتات الطائرة ويعممها على أحجام الأنظمة الأساسية المختلفة — تؤكد Mistral AI هذا في وصف النموذج.

كم عدد البيانات المطلوبة للتدريب؟

جمعت الشركة حوالي 400000 مسار في 6000 سيناريو محاكاة — تم بناء خط أنابيب توليد البيانات بالكامل في المحاكاة، دون استخدام روبوتات حقيقية في مرحلة جمع البيانات.

ما مدى دقة Robostral Navigate مقارنة بالمنافسين؟

في اختبار R2R-CE للبيئات غير المرئية، يفوق النموذج أفضل نهج لكاميرا واحدة بمقدار 9.7 نقاط وأفضل نظام بعدة كاميرات أو جهاز استشعار عمق — بمقدار 4.5 نقاط، مع إجمالي 76.6٪ من المحاولات الناجحة.

كيف تختلف مقياس R2R-CE عن اختبارات الملاحة القياسية؟

R2R-CE (Room-to-Room in Continuous Environments) يختبر مدى اتباع النموذج جيدًا لتعليمات نصية في بيئات غير مدرجة في عينة التدريب — في هذا السيناريو يحقق Robostral Navigate نتيجة 76.6٪، وليس في السيناريوهات المألوفة حيث تكون النتيجة أعلى حتى.