LeRobot v0.6.0 от Hugging Face: роботы учатся предсказывать будущее и оценивать себя

Hugging Face 7 июля 2026 года выпустила LeRobot v0.6.0 — крупное обновление open-source фреймворка для обучения роботов, которое замыкает петлю: роботы теперь могут предсказывать исходы действий, автоматически оценивать свой успех и получать исправления от оператора в реальном времени.

Что умеют новые world-model политики

World-model политики — ключевое нововведение релиза. Три новые архитектуры позволяют роботу «воображать» будущее прямо в процессе обучения.

VLA-JEPA обучает компактную vision-language-action модель предсказывать будущие кадры в латентном пространстве. При инференсе world-модель отбрасывается, скорость не страдает. Доступны три готовых чекпоинта, в том числе предобученные на датасете DROID.

LingBot-VA работает как авторегрессивная видео-экшен-модель: предсказывает кадры и действия последовательно, используя реальные наблюдения для самоверификации. Инференс умещается на одной GPU с 24–32 ГБ VRAM.

FastWAM соединяет ~5B-параметровый эксперт по генерации видео с компактным экспертом по действиям. На инференсе напрямую денойзит чанки действий — без воображения, быстрее LingBot-VA.

В релиз также вошёл целый «зоопарк» VLA-моделей: GR00T N1.7 от NVIDIA с Cosmos-Reason2-2B, MolmoAct2 от Allen Institute (SO-100/101, ~12 ГБ в bf16), EO-1 с Qwen2.5-VL-3B, Multitask DiT (~450M параметров) и компактный EVO1 (0,77B) с поддержкой real-time чанкинга.

Как роботы теперь оценивают успех задачи

Новые reward-модели позволяют роботу понимать, справился ли он с заданием, без ручной разметки.

Robometer — универсальный оценщик прогресса задач на базе Qwen3-VL-4B, обученный на более чем миллионе роботических траекторий. Принимает видео и языковую инструкцию, возвращает оценку успеха без доообучения под конкретную задачу.

TOPReward не требует специальных весов: оборачивает готовые VLM-модели и считывает логарифмические вероятности токенов успеха на основе видео траектории.

Ключевые факты релиза:

• Дата выпуска — 7 июля 2026 года
• Три world-model политики: VLA-JEPA, LingBot-VA, FastWAM
• Robometer обучен на 1+ миллионе роботических траекторий (Qwen3-VL-4B)
• Шесть новых симуляционных бенчмарков; всего 9 семейств
• Загрузка подмножества датасета — с 275 секунд до 0,06 секунды
• Базовая установка стала на 40% легче за счёт модульных extras

Что изменилось для разработчиков

Шесть новых симуляций объединены под CLI `lerobot-eval`: LIBERO-plus с ~10 000 вариантами по семи осям возмущений, RoboTwin 2.0 с 50 двурукими задачами и 100 000+ траекторий, RoboCasa365 с 365 кухонными заданиями в 2 500 процедурно генерируемых кухнях, RoboCerebra с долгосрочными эпизодами из 3–6 подзадач, RoboMME для тестирования памяти и счёта объектов, VLABench для знаний и рассуждений.

CLI `lerobot-rollout` включает стратегию DAgger: оператор перехватывает управление, коррекции записываются и тегируются для следующего цикла дообучения. Передача управления проходит без рывков.

Поддержка FSDP через Accelerate позволяет тренировать модели, не помещающиеся на одну GPU: параметры, градиенты и состояние оптимизатора шардируются между ускорителями, а чекпоинт собирается в единый `model.safetensors`.

«Замыкание петли обучения роботов — это когда политика умеет воображать исходы, система умеет оценивать успех, а человек может эффективно исправлять ошибки», — формулировка из официального релиза

LeRobot v0.6.0.

Что это значит

LeRobot v0.6.0 предлагает открытую инфраструктуру для полного цикла роботического ML: генерация данных, тренировка с world-моделями, автоматическая оценка через reward-модели и human-in-the-loop коррекции — всё из одного набора CLI. Это снижает порог входа и ускоряет итерации без закрытых проприетарных стеков.

Частые вопросы

Сколько видеопамяти нужно для запуска LingBot-VA?

LingBot-VA требует GPU с 24–32 ГБ VRAM. Если VRAM меньше — подойдёт MolmoAct2, который умещается примерно в 12 ГБ при работе в формате bf16 на SO-100/SO-101.

Что такое Robometer и как он оценивает задачи?

Robometer — reward-модель на базе Qwen3-VL-4B, обученная на более чем миллионе роботических траекторий. Принимает видео эпизода и текстовую инструкцию, возвращает оценку прогресса без дообучения под конкретную задачу.