AnyGameRenderer одевает серые ИИ-прототипы в графику и сохраняет юнитов на 62,9%

Кодинг-агенты научились собирать маленькие играбельные игры за минуты, но выглядят результаты как «программистское искусство»: серые коробки, цветные геометрические фигуры, плоские семантические пятна. Исследователи из проекта AnyGameRenderer предлагают закрыть этот разрыв видеомоделью, которая берёт такую запись и перерисовывает её в полноценную картинку с персонажами, деталями движения и эффектами. Метрика, на которой они делают упор, — сохранение сущностей: временное совпадение выросло с 50,9% до 62,9% относительно базовой модели, а доля пропущенных изменений числа объектов упала с 34,7% до 21,3%.

Видео вместо G-buffer

Большинство подходов к нейросетевому рендерингу игр требуют от движка много служебных данных: G-buffer, метки классов для каждого объекта, низкополигональные прокси. Для игр, которые за полчаса собрал агент, такой роскоши нет. AnyGameRenderer работает с обычным видео. Серый блокаут, цветные примитивы, семантические карты и каркасные сетки подходят одинаково. Модель сохраняет раскладку, камеру, позицию и тайминг каждой сущности, а стиль, персонажей и эффекты дорисовывает сама.

Жанровый охват заявлен широкий: tower defense, автобаттлеры, top-down выживание, пошаговые бои, картинг и раннеры с толпой. Для этих игр особенно важна дисциплина со счётом: если в волне было 12 врагов, на выходе должно быть 12, а не 9 или 15.

Где видеомодели обычно теряют юнитов

Генеративные видеомодели хорошо рисуют, но плохо считают. В толпе они склеивают соседних персонажей, «забывают» тех, кто появился позже, или дорисовывают лишних. Для кино это терпимо, для игрового интерфейса нет: игрок следит за конкретным юнитом, и появление или исчезновение объекта не в тот кадр ломает геймплей.

Поэтому авторы разработали бенчмарк на уровне сущностей: 59 отложенных кейсов, 753 сущности, оценка по эталонным ограничивающим рамкам. Модель сравнивают с базовой по тому, совпадают ли объекты во времени, ловятся ли изменения численности и сколько сущностей придумано или осталось нерендеренными. По всем этим пунктам AnyGameRenderer выигрывает.

Чем кормили модель

В основе лежит MiniMax-H3 ref2va, видеомодель на 33 млрд параметров, которая принимает референсное видео как условие. Её дообучили через LoRA на корпусе sim10k, примерно 10 тысяч парных клипов из трёх источников:

• мультипоточные данные рендеринга из 38 игр, сделанных агентами и выгруженных из GEAR, ИИ-инструмента для создания игр;
• двухпоточные данные из Unreal Engine с программно управляемыми толпами, изменениями числа юнитов и масштабами сущностей;
• реальные записи геймплея, для которых пары реконструировали через детекцию 3D-боксов.

Первый источник даёт привычный для агентов визуальный мусор на входе, второй позволяет точно контролировать счёт и появление объектов, третий подтягивает реализм. Разумный набор: синтетика обеспечивает точную разметку, реальные записи страхуют от слишком стерильного распределения.

Цифры и их потолок

• Временное совпадение сущностей: 50,9% → 62,9%.
• Пропущенные изменения числа объектов: 34,7% → 21,3%.
• Бенчмарк: 59 отложенных кейсов, 753 сущности.
• База: MiniMax-H3 ref2va, 33B, LoRA-дообучение.
• Данные: около 10 тысяч парных клипов из трёх источников.

Улучшение заметное, но 62,9% означает, что больше трети сущностей по-прежнему не совпадают с эталоном по времени. Для продакшена этого мало. Для быстрых прототипов и питчей достаточно: визуал, который можно показать инвестору или игрокам в раннем плейтесте, получается без художника.

Практический вывод для индустрии: связка «агент пишет игру, видеомодель её рисует» становится правдоподобной. Инди-студии и авторы прототипов могут использовать серые сборки как сценарий для визуализации. Разработчикам инструментов вроде GEAR стоит заложить в экспорт чистые клипы с понятной семантикой сущностей, а тем, кто строит собственные рендереры, — переходить с общих метрик качества картинки на метрики сохранения объектов: именно там сегодня проходит граница между красивым роликом и пригодной для игры графикой.