Поток 3 · Старт 23.11Живой Поток 3 интенсива «Вайбкодинг и ИИ-агенты» (23 ноября, 18:30 МСК): 3 недели практики, 9 живых встречПоток 3 (23.11) →
ИнфраструктураНаучная статья · В песочницуX: @NVIDIARobotics→ оригинал

NVIDIA открыла 100 тысяч часов человеческих демонстраций для обучения роботов

Роботам трудно учиться действиям руками: данных о том, как это делают люди, катастрофически мало. NVIDIA собрала 1 млн часов демонстраций от первого лица: видео с камеры на голове, трекинг головы и рук и текстовые описания действий. Из них 100 тысяч часов выложены в открытый доступ на Hugging Face. Разработчикам роботов это бесплатная основа для предобучения без дорогой съёмки.

AI-обработка оригинала X: @NVIDIARobotics; редакция Hamidun News
NVIDIA открыла 100 тысяч часов человеческих демонстраций для обучения роботов
Источник: X: @NVIDIARobotics. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @NVIDIARobotics ↗
Главный редактор
Ключевой факт #1В открытом доступе 100 тыс. часов из 1 млн, собранных NVIDIA
В записяхвидео от первого лица, трекинг головы и рук, языковые подписи
Ключевой факт #3Датасет опубликован на Hugging Face и доступен всему сообществу

Языковые модели выросли на триллионах слов из интернета. У роботов такого океана данных нет: никто не выкладывал в сеть миллионы часов того, как руки открывают ящики, перекладывают детали или наливают воду. Именно эту дыру NVIDIA пытается закрыть новым набором данных: компания собрала 1 млн часов человеческих демонстраций и открыла сообществу 100 тысяч часов из них.

Что внутри датасета

По описанию NVIDIA Robotics, записи сделаны от первого лица (egocentric video): камера смотрит на мир глазами человека, а не со стороны. Вместе с видео идут данные о положении головы и рук, то есть о том, куда человек смотрит и как именно двигает пальцами и кистями. Третий слой — языковые аннотации: короткие описания того, что происходит в кадре.

Проще всего представить это на бытовом примере. Человек моет чашку. В записи есть картинка того, что он видит, траектория его рук и подпись вроде «берёт чашку и ставит под кран». Из такой тройки модель учится связывать слова, картинку и движение. Это как раз то, что нужно роботу, которому говорят «помой посуду» и ждут осмысленных действий манипулятора.

Набор опубликован на Hugging Face, так что скачать и попробовать его может любая команда, а не только крупные лаборатории.

Почему это важно для разработчиков роботов

Главный способ собирать данные для роботов сегодня — телеуправление: оператор в специальном костюме или с контроллерами водит робота, а система записывает действия. Это дорого и медленно, масштабировать до миллионов часов трудно. Записи людей дешевле: человек просто делает свою работу, а на нём висит камера и датчики.

У такого подхода есть очевидный плюс: огромное разнообразие. Люди по-разному держат предметы, работают в разных кухнях, мастерских и офисах. Для предобучения моделей, которые потом дообучают на небольшом количестве данных с реального робота, это полезная основа.

Для стартапов и исследовательских групп открытые 100 тысяч часов означают возможность начать предобучение или эксперименты с переносом навыков с человека на робота, не собирая собственный корпус с нуля. Для компаний, которые делают гуманоидов и манипуляторы, это ещё и ориентир: рынок движется к тому, что данные о человеческом опыте становятся таким же базовым ресурсом, как веб-тексты для LLM.

Ограничения и что проверить

Видеть руки человека — ещё не значит уметь повторить движение. У робота другое тело: иное число пальцев, другая сила хвата, другие ограничения по суставам. Поэтому между записью человека и действием железа остаётся разрыв, и его нужно закрывать отдельно: пересчётом движений под конкретную кинематику и дообучением на данных самого робота.

Ещё один момент: открыта только десятая часть собранного объёма. Остальные 900 тысяч часов остаются у NVIDIA, и это даёт компании преимущество в обучении собственных моделей.

Перед тем как строить на датасете продукт, стоит заглянуть на страницу набора на Hugging Face и проверить условия лицензии, формат разметки и то, какие сценарии и среды в нём покрыты. Если ваша задача — складская логистика, а в данных в основном домашние дела, пользы будет меньше.

Практический вывод: если вы делаете робототехнику или модели для физических задач, пора включать человеческие видео от первого лица в свой план по данным. Бесплатные 100 тысяч часов — хороший повод проверить этот путь на небольшом эксперименте уже сейчас.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что внутри датасета?

По описанию NVIDIA Robotics, записи сделаны от первого лица (egocentric video): камера смотрит на мир глазами человека, а не со стороны. Вместе с видео идут данные о положении головы и рук, то есть о том, куда человек смотрит и как именно двигает пальцами и кистями. Третий слой — языковые аннотации: короткие описания того, что происходит в кадре. Проще всего представить это на бытовом примере. Человек моет чашку.

Что известно по теме: почему это важно для разработчиков роботов?

Главный способ собирать данные для роботов сегодня — телеуправление: оператор в специальном костюме или с контроллерами водит робота, а система записывает действия. Это дорого и медленно, масштабировать до миллионов часов трудно. Записи людей дешевле: человек просто делает свою работу, а на нём висит камера и датчики. У такого подхода есть очевидный плюс: огромное разнообразие. Люди по-разному держат предметы, работают в разных кухнях, мастерских и офисах.

Что известно по теме: ограничения и что проверить?

Видеть руки человека — ещё не значит уметь повторить движение. У робота другое тело: иное число пальцев, другая сила хвата, другие ограничения по суставам. Поэтому между записью человека и действием железа остаётся разрыв, и его нужно закрывать отдельно: пересчётом движений под конкретную кинематику и дообучением на данных самого робота. Ещё один момент: открыта только десятая часть собранного объёма. Остальные 900 тысяч часов остаются у NVIDIA, и это даёт компании преимущество в обучении собственных моделей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…