Robostral Navigate de Mistral: un robot que ve con una sola cámara y se desplaza solo

Mistral AI ha presentado Robostral Navigate, su primer modelo para la navegación autónoma de robots. Se orienta en el espacio a partir del vídeo de una sola cámara RGB corriente y alcanza un 76,6 % de intentos exitosos en la prueba R2R-CE, con entornos que no vio durante el entrenamiento.

Qué puede hacer el modelo

Robostral Navigate es un modelo de 8.000 millones de parámetros que, a partir de un fotograma de la cámara y una instrucción de texto, guía al robot por entornos complejos: una oficina, un edificio residencial o comercial, un espacio exterior. Una instrucción puede ser: «Sal del vestíbulo, recorre el pasillo, entra en el almacén y detente frente a la segunda estantería». El modelo conduce al robot por toda la ruta por su cuenta, sin intervención humana.

• Éxito del 79,4 % en la validación de R2R-CE con escenas conocidas y del 76,6 % con escenas no vistas
• Supera en 9,7 puntos al mejor enfoque de una sola cámara y en 4,5 puntos al mejor sistema con lidar o varias cámaras
• Funciona en robots con ruedas, con patas y voladores, y es robusto frente a diferencias en los parámetros de la cámara
• El conjunto de entrenamiento incluye unas 400.000 trayectorias recogidas en 6.000 escenas simuladas

Cómo encuentra el camino el modelo

Robostral Navigate no predice un desplazamiento métrico, sino un punto en la imagen: las coordenadas del objetivo en el fotograma actual de la cámara y la orientación necesaria al llegar. Este método de navegación «por señalamiento» resiste los cambios de óptica y de escala de la escena, a diferencia de las órdenes basadas en distancias métricas. Cuando el objetivo sale del campo de visión, el modelo pasa a desplazamientos en coordenadas locales del robot, por ejemplo: «Avanza 2 metros, 1,5 metros a la izquierda y gira 25 grados a la izquierda».

Cómo se entrenó Robostral Navigate

El modelo se construyó íntegramente dentro de Mistral AI y no se apoya en modelos abiertos de visión y lenguaje: se inicializó a partir de un modelo propio de la compañía, especializado en señalar, contar y localizar objetos. El elemento clave del entrenamiento es un método basado en prefix-caching: comprime un episodio entero en una sola secuencia y permite entrenar en todos los pasos temporales en una sola pasada, lo que reduce 22 veces el número de tokens de entrenamiento frente al entrenamiento por pasos individuales. Tras la fase supervisada, el modelo se mejora con aprendizaje por refuerzo en línea mediante el algoritmo CISPO, que le permite aprender de sus propios errores y recuperarse tras los fallos.

«Hoy presentamos

Robostral Navigate, nuestro primer modelo de navegación corpórea», señala el blog oficial de Mistral AI.

Qué significa

Navegar con una sola cámara, sin lidar ni sensores de profundidad, reduce el coste y la complejidad de los robots para almacenes, reparto, hoteles y producción. Mistral AI cita expresamente estos sectores entre los primeros beneficiarios de la tecnología.

Preguntas frecuentes

¿En qué robots funciona Robostral Navigate?

El modelo funciona en robots con ruedas, con patas y voladores, y generaliza a plataformas de distintos tamaños, según confirma Mistral AI en la descripción del modelo.

¿Cuántos datos hicieron falta para el entrenamiento?

La compañía reunió unas 400.000 trayectorias en 6.000 escenas simuladas. Todo el pipeline de generación de datos se construyó íntegramente en simulación, sin robots reales en la fase de recogida.

¿Cuánto más preciso es

Robostral Navigate que sus competidores?

En la prueba R2R-CE para entornos no vistos, el modelo supera en 9,7 puntos al mejor enfoque de una sola cámara y en 4,5 puntos al mejor sistema con varias cámaras o sensor de profundidad, con un resultado final del 76,6 % de intentos exitosos.

¿En qué se diferencia la métrica R2R-CE de las pruebas de navegación habituales?

R2R-CE (Room-to-Room in Continuous Environments) mide cómo sigue el modelo instrucciones de texto en entornos que no formaban parte del conjunto de entrenamiento. Robostral Navigate obtiene un 76,6 % justo en ese escenario, y no en escenas conocidas, donde el resultado es aún más alto.