Дрон с 1B-моделью OpenFlyV2 сам долетает до цели в 48% реальных полётов без обучения на них

Исследователи Шанхайской лаборатории искусственного интеллекта вместе с Северо-Западным политехническим университетом, Шанхайским университетом Цзяотун, USTC и TeleAI представили OpenFlyV2 — vision-language-action-модель для дронов. Она понимает, что видит камера, находит объекты по текстовому описанию, оценивает расстояния и одновременно генерирует траекторию полёта. Всё это работает на борту, на модуле NVIDIA Jetson Orin NX, без вынесения вычислений на наземный сервер. В реальных тестах квадрокоптер DJI M30T достиг цели в 48% полётов, хотя реальных лётных данных для обучения не использовалось.

Одна модель вместо набора специалистов

Обычно аэророботы собирают из отдельных блоков: один отвечает за понимание сцены, другой за навигацию, третий за планирование, а тяжёлая часть вычислений уходит на внешний сервер. Это делает полёт зависимым от качества связи и задержек. В OpenFlyV2 общий vision-language-бэкенд (0,8 млрд параметров на основе Qwen3.5-VL) обрабатывает кадры, инструкцию и историю полёта. Когда нужно действовать, к нему подключается компактный «эксперт действий» на 0,2 млрд параметров. Он превращает мультимодальный контекст в 12 путевых точек, а низкоуровневый контроллер их отрабатывает. Частота — 10 Гц.

Чтобы уложиться в бюджет бортового железа, авторы добавили два приёма. Motion-Adaptive Memory (MAM) сжимает историю полёта в ограниченный набор «событийных» токенов: сегменты движения плюс опорные кадры. Так модель не тащит в контекст плотное видео. Motion-Structured Prior (MSP) использует наблюдение, что короткие траектории дронов сводятся к небольшому набору повторяющихся паттернов. Генерация начинается не с чистого шума, а с распределения вокруг подходящего прототипа движения, поэтому flow-генератору хватает меньше шагов шумоподавления.

Данные только из симуляции

Датасет OpenFlyV2-130K собран из 13 сред: четыре сцены AirSim, два городских уровня Unreal Engine и семь реконструкций на 3D Gaussian Splatting (пять университетских кампусов и два разрушенных района). Суммарно набралось 72 352 навигационные траектории и 60 006 пар вопрос–ответ про цвет, описание объектов, расстояния, пространственные отношения и визуальную привязку. Аннотации генерировались автоматически и проверялись людьми. Четыре среды целиком исключили из обучения, чтобы проверять обобщение.

Что показали замеры

По пяти задачам аэровосприятия модель с 0,8-млрд бэкендом сопоставима с GPT-5.5 и опережает Qwen3.5-9B и Gemini 3 Flash. В привязке к объекту она показывает 67,1% [email protected] против 61,6% у GPT-5.5 (метрика: доля ответов, где рамка совпадает с эталоном по IoU не меньше 0,5). Средняя абсолютная ошибка оценки дистанции — 47,32 м против 52,62 м, относительная — 0,27 против 0,34. Качество описаний практически равное: 6,38 против 6,36 из 10.

В симуляционной навигации на 800 эпизодах в знакомых средах и 300 в незнакомых успех составил 62,88% и 52,67%. Засчитывался только явный сигнал остановки в пределах 25 м от цели. Четыре открытых базовых метода, среди которых AeroVLA и навигационная модель из OpenUAV, переобучали на тех же данных. Их сравнивали только в симуляции, потому что ни один не запускался на Jetson Orin NX. В физическом тесте один и тот же чекпойнт прошёл четыре реальные локации и дал 48% успеха.

Ограничения

48% означает, что больше половины реальных полётов заканчивались неудачей, так что до промышленной надёжности далеко. Допуск в 25 м по критерию успеха довольно щедрый для задач точного подлёта. Сравнение с GPT-5.5 и другими моделями проведено на собственном бенчмарке авторов, без независимой проверки. Из текста также видно, что часть результатов получена после дополнительного reinforcement-дообучения, а детали сравнения с одним из базовых методов в доступном описании обрезаны.

Практическая ценность в другом: работа показывает, что модель на 1 млрд параметров умещает понимание сцены, пространственные рассуждения и непрерывное управление в бортовой контур с частотой 10 Гц. Это снижает зависимость дрона от канала связи. Команда обещает опубликовать код и данные в репозитории AeroBrain на GitHub, пока же проверить заявления самостоятельно нельзя.