LeWorldModel проверили на чувствительность к действиям: оси расходятся на 36–42°

Предобученная world model может хорошо предсказывать будущее и при этом неверно реагировать на небольшие изменения действий. Именно это проверили Vasil Vasilev и Siddharth Nayak в препринте arXiv 2610.31716 о LeWorldModel (LeWM). На почти тысяче состояний из сред Reacher и OGBench Cube самые чувствительные направления действий в модели и в симуляторе расходятся в медиане на 36° и 42° соответственно. Это результат для самого малого из трёх масштабов возмущений.

Как измеряли чувствительность к действиям

Модель, которая предсказывает следующее наблюдение, ещё не обязательно понимает, как отклик зависит от действия. Для планирования и управления второе важнее. Планировщик перебирает варианты действий и выбирает тот, после которого предсказанное будущее выглядит лучше. Если модель неверно передаёт, какие движения сильнее всего меняют результат, оптимизация идёт по искажённому ландшафту.

Авторы построили матрицы Грама для действий, то есть описание того, как сильно и в каких направлениях малое изменение действия сдвигает результат. Для сопоставления они взяли парные контрфактические прогоны симулятора и ответы модели из одного и того же состояния. Чувствительность замеряли на трёх масштабах возмущений и в трёх представлениях: в пикселях, в эмбеддингах и в выбранных физических координатах состояния.

Что показали Reacher и Cube

Главный результат касается направлений. Если в симуляторе какое-то сочетание компонент действия сильнее всего меняет мир, LeWM в медиане считает самым чувствительным другое направление, отклоняющееся на 36° в Reacher и на 42° в OGBench Cube. Здесь речь о главных осях чувствительности, а не о случайном шуме в отдельных точках.

Сильно влияет масштаб. Если увеличить возмущение действия в десять раз, медианное нормированное расхождение матриц Грама падает примерно на 70% в Reacher и на 47% в Cube. Модель ближе к среде на более грубых изменениях действия, а на тонких расходится заметнее. Вывод о качестве LeWM поэтому зависит от выбранного масштаба проверки.

Пиксели, эмбеддинги и физика

Измеренная геометрия зависит и от пространства, в котором её считают. В пикселях и эмбеддингах она меняется между масштабами заметно сильнее, чем в физических координатах состояния. Оценка модели получается разной в зависимости от того, смотреть на изображение, на латентное представление или на положение и скорость объектов.

Отдельно авторы проверили предсказание отклика на отложенных направлениях, которые не участвовали в построении метрики. Результаты в медианных ошибках отклика эмбеддингов:

• Reacher, метрика среды (environment Gram): 17%
• OGBench Cube, метрика среды: 28%
• Reacher, изотропный референс с тем же следом: 26%
• OGBench Cube, изотропный референс с тем же следом: 38%
• LeWM на этом масштабе: ошибки выше, чем у метрики среды

Изотропный референс распределяет чувствительность равномерно по всем направлениям и сохраняет общую силу отклика, то есть след матрицы. Он служит нижней планкой: метрика среды его обгоняет, а геометрия LeWM даёт менее точные предсказания величины отклика на новых направлениях, чем метрика, выведенная из среды.

Что проверять перед планированием на world model

Практический вывод авторов: оценивать world model только по точности предсказаний недостаточно. Нужно смотреть, как предсказания меняются при изменении действий, причём на нескольких масштабах возмущений и в нескольких представлениях. Если проверка идёт только на одном масштабе, она может показать модель лучше или хуже, чем та поведёт себя в реальной задаче.

Связь этих расхождений с качеством управления в работе не доказана. Авторы прямо называют влияние на контроль открытым вопросом и просят коллег поделиться мнением о последствиях для model-based planning. Исследование проведено на двух средах и на одной предобученной модели, поэтому обобщать его на все world models рано. Зато у команд, которые строят планировщики поверх латентных моделей, появляется конкретный набор диагностик: матрицы Грама, контрфактические прогоны симулятора и отложенные направления. Проект выложен на странице geometry.vasi.boo.