LIBERO-Industry проверил 5 робо-политик на 216 заводских задачах

Авторы LIBERO-Industry собрали 216 задач, которые проверяют универсальные роботизированные политики в условиях сборочной линии: движущийся конвейер, ограниченное окно для действия, жёсткие геометрические допуски. Пять протестированных моделей, включая vision-language-action и world-action, теряют в качестве по мере того, как ограничения добавляются и накладываются друг на друга. Бенчмарк построен поверх популярного LIBERO и отвечает на вопрос, который лабораторные тесты обходили: что происходит, когда продукт меняется, а лента не останавливается.

Где ломаются привычные оценки

Гибкое производство, в частности электронная сборка в формате high-mix, low-volume (HMLV), живёт в режиме постоянных изменений. Партии небольшие, варианты изделий сменяют друг друга, условия на линии плавают. Робот здесь должен подстраиваться, а не повторять одну заученную траекторию. Авторы работы указывают на пробел: существующие рамки оценки не фиксируют промышленные ограничения системно, когда речь идёт об универсальных политиках. Модель может уверенно показывать себя на стандартных настольных задачах и при этом ни разу не столкнуться с лентой, которая уносит деталь за секунды.

LIBERO-Industry переводит эти ограничения в управляемые условия задачи и измеримые критерии успеха. Каждый фактор можно крутить отдельно или в комбинации с другими.

Как устроен бенчмарк

Набор состоит из трёх классических производственных сценариев. Они различаются тем, какая сторона операции движется: источник, приёмник или обе.

• Static-to-Dynamic (S2D): загрузка, объект берётся из статичной позиции и отправляется на движущийся поток.
• Dynamic-to-Static (D2S): разгрузка, объект снимается с движущегося потока и кладётся в статичную точку.
• Dynamic-to-Dynamic (D2D): перенос между двумя движущимися потоками.
• Всего 216 задач.
• Варьируемые параметры: геометрия объекта, скорость конвейера, длительность окна взаимодействия, размер допустимой геометрической области.
• Оценивались пять универсальных политик, среди них VLA-модели и world-action-модели.

Параметры подобраны так, чтобы воспроизводить реальные требования линии. Короткое окно взаимодействия означает, что у политики мало времени на захват. Малая допустимая область означает, что приблизительное попадание уже считается браком. Быстрая лента сочетает оба давления.

Что показали эксперименты

Главный результат предсказуем по направлению, но полезен по структуре: качество политик снижается постепенно по мере введения промышленных ограничений и ещё сильнее при их сочетании. Деградация идёт не скачком на одном факторе. Ограничения складываются, и именно комбинации оказываются самыми тяжёлыми. Для команд, которые выбирают модель под линию, это важнее среднего балла по классическому набору.

Вторая находка касается обучения. При едином протоколе дообучения и оценки условие co-training с данными LIBERO-Industry дало более высокую наблюдаемую долю завершённого переноса целевого объекта, чем условие с исходным LIBERO. В тексте аннотации нет точных чисел, поэтому масштаб выигрыша по ней оценить нельзя. Есть и оговорка: LIBERO остаётся симуляционным бенчмарком, и перенос результатов на реальное железо с настоящими конвейерами здесь не показан. Кроме того, выигрыш от обучения на данных, близких к тестовым, ожидаем. Интереснее другое: в смесь нужно добавлять данные именно про динамику и допуски, а не только про разнообразие объектов и инструкций.

Практические выводы

Если вы оцениваете роботизированную политику для производства, не ограничивайтесь успехом на статичных задачах. Прогоняйте её по осям скорости потока, длительности окна и размера допуска раздельно, а затем в комбинациях: слабое место обычно проявляется на стыке факторов. Разработчикам стоит заложить в датасеты для дообучения сцены с движущимися объектами и узкими допусками, а не надеяться, что обобщение из настольных данных сработает само. Наконец, полученные в симуляции цифры нужно считать нижней границей требований к валидации. Проверка на реальной линии с реальными вариантами изделий остаётся обязательной.