TILDE учит роботов у фундаментальных моделей и улучшает результат до 4,1 раза

Команда исследователей показала TILDE (Teacher-In-the-Loop Distillation from EFMs) — способ передавать навыки манипуляции от крупных предобученных Embodied Foundation Models небольшим политикам, которые никогда не проходили предтренировку на действиях. На трёх реальных робототехнических задачах метод даёт прирост до 4,1 раза по сравнению с обычным behavior cloning. Вместе с ним авторы предлагают AutoDAgger — конвейер, который собирает данные о восстановлении после ошибок более чем в два раза быстрее, чем схема с человеком в контуре.

Почему предтренировку на действиях не повторить

EFM, прошедшие масштабное предобучение на действиях, хорошо обобщаются на новые ситуации и устойчивы в замкнутом контуре: если что-то пошло не так, они выправляют движение. За это приходится платить. Для такого предобучения нужны большие массивы данных с роботов и серьёзные вычислительные ресурсы, которых у большинства лабораторий и компаний просто нет.

Поэтому возникает практичный вопрос: можно ли забрать способности учителя, не повторяя его путь? Классический ответ — behavior cloning, то есть копирование демонстраций. У него известная слабость. Студент обучается на траекториях, где всё идёт правильно, а в реальности он ошибается и оказывается в состояниях, которых в демонстрациях не было. Ошибки накапливаются, и политика разваливается.

Три источника сигнала в одной схеме

TILDE объединяет три вида обучения: на демонстрациях, на супервизии учителя в состояниях студента и на корректирующем поведении учителя.

• Демонстрации задают базовое поведение.
• On-policy дистилляция даёт подсказки учителя там, куда студент попадает сам, а не там, где побывал оператор при записи данных.
• Траектории восстановления выполняет сам учитель. Когда студент сбивается, учитель берёт управление и показывает, как вернуться к задаче.

По сути это развитие идеи DAgger, где эксперт размечает состояния, посещённые обучаемой политикой. Только в роли эксперта здесь выступает EFM, а не человек.

AutoDAgger: оператор уходит из контура

Узкое место обычного DAgger — человек. Кто-то должен смотреть за роботом, вовремя замечать срыв и перехватывать управление вручную. AutoDAgger убирает эту роль. Робототехническая модель вознаграждения отслеживает прогресс выполнения задачи, а когда он останавливается или откатывается назад, запускает вмешательство учителя. Тот выполняет траекторию восстановления, и она попадает в обучающую выборку без наблюдателя и ручного управления.

Итог — ускорение сбора таких траекторий более чем в 2 раза по сравнению с методом human-in-the-loop.

Ключевые параметры

• Метод: дистилляция из EFM с учителем в контуре (TILDE)
• Сбор данных: AutoDAgger с робототехнической моделью вознаграждения как монитором прогресса
• Ускорение сбора траекторий восстановления: более чем в 2 раза относительно человека в контуре
• Прирост качества: до 4,1 раза против behavior cloning
• Проверка: три реальные задачи
• Дополнительно: поддержка кросс-архитектурной дистилляции

Что с этим делать на практике

Наиболее заметный пункт — кросс-архитектурность. Студент не обязан повторять устройство учителя, поэтому компактную политику под конкретное железо и бюджет задержки можно обучать у крупной модели, не подгоняя архитектуры друг под друга. Для команд, у которых есть доступ к сильному EFM, но нет ресурсов на собственное предобучение, это реальный маршрут к рабочей политике.

Второй практический вывод касается стоимости данных. Если человек перестаёт дежурить у робота, сбор корректирующих данных превращается из ручной работы в фоновый процесс, который можно запускать параллельно на нескольких установках.

Ограничения тоже понятны. Вся схема держится на модели вознаграждения: если она запоздает с сигналом тревоги или даст ложный, учитель вмешается не вовремя. Для сбора данных также нужен запущенный учитель, а три задачи — пока небольшая выборка для выводов об универсальности. Но направление выглядит убедительно: большие модели становятся не конечным продуктом, а тренером для небольших и дешёвых в эксплуатации политик.