HOLI-World учит 4B-модель понимать мир по записям от первого лица

Команда HOLI-World предложила способ превратить поток записей от первого лица в обучающий материал для моделей, которые должны понимать устройство сцены и её изменения во времени. Всё держится на небольшом по меркам индустрии наборе: около 100 сцен, снятых самими авторами, и примерно 80 тысяч пар «вопрос — ответ». На них обучена компактная визуально-языковая модель HOLIWORLD-VL-4B. Главная ставка работы в том, что дорогую ручную разметку можно заменить автоматическим конвейером, если правильно связать статическую структуру сцены с динамикой объектов.

Из чего состоит экосистема

HOLI-World описывают как цепочку из пяти звеньев: захват опыта, представление мира, автоматическое построение данных, обучение модели и независимая оценка. Центральный компонент — HOLIWORLD-Foundry. Он объединяет два типа восприятия. Статическое отвечает за устойчивую геометрию и семантику сцены, динамическое отслеживает, как меняются состояния объектов. На выходе получаются «записи мира» (world records): в них сцена, объекты и история взаимодействий привязаны друг к другу и к подтверждающим наблюдениям из видео.

Такая привязка важна для egocentric-данных. Камера на голове человека постоянно меняет ракурс, объекты исчезают из кадра и возвращаются, а чашку могли переставить, пока на неё никто не смотрел. Модель, которая видит только отдельные кадры, такие связи теряет.

Данные, модель, бенчмарк

Из этих записей собран HOLIWORLD-Data. Затем на нём обучена HOLIWORLD-VL-4B. Отдельно авторы сделали HOLIWORLD-Bench: его разметили независимые люди на отложенных записях, которые не участвовали в обучении. Бенчмарк проверяет и качество автоматической разметки, и то, насколько модель усвоила пространственные и временные зависимости.

Ключевые параметры из описания работы:

• около 100 самостоятельно снятых сцен;
• около 80 тысяч QA-пар для обучения;
• модель HOLIWORLD-VL-4B (класс 4B);
• оценка на ScanNet, ScanNet++, Aria Digital Twin, HOLIWORLD-Bench и EgoDynamic4D;
• человеческая разметка используется для оценки, а не для обучения.

Что показали эксперименты

По заявлению авторов, Foundry уверенно справляется со статическим восприятием и динамическим трекингом на ScanNet, ScanNet++ и Aria Digital Twin. Обучение на HOLIWORLD-Data, как они пишут, существенно улучшает пространственные и временные рассуждения модели на HOLIWORLD-Bench и EgoDynamic4D. Конкретных чисел в доступном описании нет, поэтому величину прироста и сравнение с более крупными VLM нужно смотреть в самой статье. Часть оценок идёт на собственном бенчмарке авторов, и это стоит учитывать при чтении результатов.

Где это может пригодиться

Для разработчиков робототехники и AR-систем интересна сама схема: небольшой набор снятых сцен плюс автоматическая сборка структурированных записей даёт обучающий сигнал без армии разметчиков. Модель размера 4B реально запустить на скромном железе, а значит, пространственные рассуждения можно проверять и вне больших кластеров. Командам, которые собирают собственные egocentric-данные, стоит присмотреться к формату world records и к практике отдельного бенчмарка с независимой разметкой. Остаётся проверить, как конвейер перенесётся на сцены за пределами ~100 исходных и насколько устойчив он к шумным записям из реальной жизни.