RoboJev-27B определяет успех робота по 10 кадрам: AUROC 0.993 на SO-101

Огромная часть видео с роботами-манипуляторами не содержит главного: отметки, получилось ли у робота то, что от него хотели. Josef Liyanjun Chen предлагает закрывать эту дыру открытой моделью RoboJev-27B. Ей на вход идут текст задачи, 10 кадров попытки и, если есть, финальные кадры со вспомогательных камер. На выходе вероятности успеха и провала. На 268 отложенных эпизодах робота SO-101 она показывает 95,2% balanced accuracy и AUROC 0,993.

Судья вместо ручной разметки

Задача выглядит скромно, но от неё зависит многое. Датасеты для обучения роботов растут за счёт лабораторий и энтузиастов, которые пишут телеоперацию и автономные прогоны. Без метки успеха такой материал нельзя ни честно отфильтровать, ни использовать для обучения с подкреплением, ни сравнивать политики между собой. Платить людям за просмотр сотен тысяч роликов дорого. Платить за вызовы закрытых API тоже.

RoboJev-27B — вариант модели JEV-27B-VL. Автор обучил на языковой части LoRA-адаптер ранга 32, визуальный энкодер оставил замороженным. Данных было 52 598 записей об эпизодах. Для исследовательских источников добавлен KL-штраф: он удерживает предсказания ближе к исходной модели именно на этих данных, чтобы дообучение не портило то, что она уже умела.

Отдельная находка — калиброванное чтение по двум токенам. Модель не пишет рассуждение, а выдаёт вероятности «успех» и «провал» за один прямой проход. Для массовой оценки это существенно: порог можно двигать под нужную точность или полноту.

Цифры и их оборотная сторона

На том же роботе, на котором шло обучение, всё выглядит отлично. На чужих данных картина скромнее. Метрики из работы:

• 268 отложенных эпизодов SO-101: balanced accuracy 95,2%, AUROC 0,993;
• 459 эпизодов из незнакомых лабораторий и от других роботов: AUROC 0,890;
• 135 эпизодов от сообщества с однозначной разметкой: точность 93,3%;
• базовая модель на подмножестве незнакомых лабораторий и роботов с теми же входами: AUROC 0,900.

Последняя строка важна. На данных «из другого мира» дообученная версия не обгоняет базовую: 0,890 против 0,900. Весь выигрыш дообучения проявляется там, где робот и условия съёмки знакомы. Для лаборатории, которая размечает записи собственной платформы, это хорошая новость. Для тех, кто надеется на универсального судью для любого железа, это повод проверять модель на своих данных.

Автор честно оговаривает и сравнение с фронтирными VLM по API. Те получали по 4 изображения только с основной камеры, а RoboJev-27B — больше кадров и дополнительные ракурсы. Условия не равны, поэтому по этому сравнению нельзя судить, что открытая 27B-модель лучше закрытых гигантов. Часть преимущества даёт сам формат входа.

Сколько это стоит и что можно взять

В экономике модель выглядит практично. Медиана на один эпизод — 0,26 секунды на одной H100 при последовательной обработке. При цене $2,69 за GPU-час получается около $0,19 за 1000 предсказаний. Затраты на обработку медиа и на сервинг сюда не входят, и в реальном пайплайне декодирование видео может стать заметной статьёй.

Вместе с весами автор опубликовал код инференса и журнал оценки: 20 628 предсказаний, сгруппированных в 29 записей «модель/протокол». Их можно просматривать и использовать для воспроизводимого бенчмаркинга детекции успеха. Страница проекта — robo-jev.com, препринт — arXiv 2610.33718.

Практический вывод для команд, которые собирают данные на SO-101 или похожих недорогих руках: RoboJev-27B можно использовать как первый фильтр. Он отсеет очевидные провалы и расставит приоритеты для ручной проверки. Для данных с чужих платформ стоит сначала прогнать небольшую размеченную выборку и убедиться, что AUROC около 0,89 устраивает. Порог по вероятности лучше калибровать под свою задачу: чистота обучающего набора важнее полноты.