Un dron con el modelo de 1B OpenFlyV2 llega solo a la meta en el 48% de los vuelos reales sin haber entrenado con ellos

Investigadores del Laboratorio de Inteligencia Artificial de Shanghái, junto con la Universidad Politécnica del Noroeste, la Universidad Jiao Tong de Shanghái, USTC y TeleAI, han presentado OpenFlyV2, un modelo vision-language-action para drones. El sistema entiende lo que ve la cámara, localiza objetos a partir de una descripción de texto, estima distancias y genera al mismo tiempo la trayectoria de vuelo. Todo funciona a bordo, en un módulo NVIDIA Jetson Orin NX, sin delegar el cómputo en un servidor en tierra. En las pruebas reales, el cuadricóptero DJI M30T alcanzó la meta en el 48% de los vuelos, a pesar de que no se usaron datos de vuelo reales para el entrenamiento.

Un solo modelo en lugar de un conjunto de especialistas

Lo habitual es montar los aerorrobots con bloques separados: uno se encarga de entender la escena, otro de la navegación, un tercero de la planificación, y la parte más pesada del cómputo se envía a un servidor externo. Eso hace que el vuelo dependa de la calidad de la conexión y de la latencia. En OpenFlyV2, un backend vision-language común (0,8 mil millones de parámetros, basado en Qwen3.5-VL) procesa los fotogramas, la instrucción y el historial de vuelo. Cuando hay que actuar, se le acopla un «experto en acciones» compacto de 0,2 mil millones de parámetros. Este convierte el contexto multimodal en 12 puntos de ruta, que un controlador de bajo nivel ejecuta. La frecuencia es de 10 Hz.

Para ajustarse al presupuesto del hardware de a bordo, los autores añadieron dos técnicas. Motion-Adaptive Memory (MAM) comprime el historial de vuelo en un conjunto limitado de tokens «de eventos»: segmentos de movimiento más fotogramas de referencia. Así, el modelo no arrastra vídeo denso en su contexto. Motion-Structured Prior (MSP) parte de la observación de que las trayectorias cortas de los drones se reducen a un pequeño conjunto de patrones repetidos. La generación no arranca de ruido puro, sino de una distribución en torno a un prototipo de movimiento adecuado, por lo que el generador de flow necesita menos pasos de eliminación de ruido.

Datos solo de simulación

El dataset OpenFlyV2-130K se construyó a partir de 13 entornos: cuatro escenas de AirSim, dos niveles urbanos de Unreal Engine y siete reconstrucciones con 3D Gaussian Splatting (cinco campus universitarios y dos barrios destruidos). En total reúne 72 352 trayectorias de navegación y 60 006 pares de pregunta y respuesta sobre color, descripción de objetos, distancias, relaciones espaciales y anclaje visual. Las anotaciones se generaron de forma automática y las revisaron personas. Cuatro entornos se excluyeron por completo del entrenamiento para poder evaluar la generalización.

Qué muestran las mediciones

En cinco tareas de percepción aérea, el modelo con el backend de 0,8 mil millones de parámetros resulta comparable a GPT-5.5 y supera a Qwen3.5-9B y Gemini 3 Flash. En el anclaje a objetos obtiene un 67,1% de [email protected] frente al 61,6% de GPT-5.5 (la métrica es la proporción de respuestas en las que el recuadro coincide con la referencia con un IoU de al menos 0,5). El error absoluto medio en la estimación de distancia es de 47,32 m frente a 52,62 m, y el relativo, de 0,27 frente a 0,34. La calidad de las descripciones es prácticamente igual: 6,38 frente a 6,36 sobre 10.

En la navegación en simulación, con 800 episodios en entornos conocidos y 300 en desconocidos, el éxito fue del 62,88% y del 52,67%. Solo contaba una señal explícita de parada a menos de 25 m de la meta. Cuatro métodos base abiertos, entre ellos AeroVLA y el modelo de navegación de OpenUAV, se reentrenaron con los mismos datos. Se compararon únicamente en simulación, porque ninguno se había ejecutado en la Jetson Orin NX. En la prueba física, un mismo checkpoint recorrió cuatro ubicaciones reales y logró un 48% de éxito.

Limitaciones

El 48% significa que más de la mitad de los vuelos reales terminaron en fracaso, así que aún queda mucho para alcanzar una fiabilidad industrial. La tolerancia de 25 m en el criterio de éxito es bastante generosa para tareas de aproximación precisa. La comparación con GPT-5.5 y otros modelos se hizo en un benchmark propio de los autores, sin verificación independiente. Del texto también se desprende que parte de los resultados se obtuvo tras un ajuste adicional con reinforcement learning, y que los detalles de la comparación con uno de los métodos base aparecen recortados en la descripción disponible.

El valor práctico está en otra parte: el trabajo muestra que un modelo de 1 mil millones de parámetros puede integrar comprensión de la escena, razonamiento espacial y control continuo en un circuito de a bordo a 10 Hz. Esto reduce la dependencia del dron respecto al enlace de comunicación. El equipo promete publicar el código y los datos en el repositorio AeroBrain de GitHub, pero por ahora no es posible verificar las afirmaciones por cuenta propia.