Manga2Animate: мультиагентная система превращает мангу в аниме через сценарий и раскадровку

Команда авторов Manga2Animate предложила способ, как не дать видеомодели «придумывать» сюжет вместо автора манги. Фреймворк состоит из двух промежуточных представлений, анимационного сценария и визуальной раскадровки, и двух ролей на каждом из них: агента-создателя и парного агента-рецензента. Рецензент сверяет результат с исходными панелями, и только потом запускается генерация финального ролика. Работа опубликована в Hugging Face Daily Papers, у проекта есть страница с демонстрациями.

Какую проблему решают

Авторы описывают два типичных провала существующих подходов. Первый: модель получает мангу в основном как текст, то есть реплики и описания. Тогда пропадают внешность персонажей и стиль рисунка, а результат выглядит как чужая работа по мотивам. Второй: страницы манги целиком отдают видеомодели. Она не понимает, как устроена страница: порядок панелей, их размер, чтение справа налево, смысл «разрывов» между кадрами. В итоге сюжет выходит перепутанным, а события идут не в той последовательности.

Manga2Animate исходит из того, что ни один из этапов нельзя отдавать модели без привязки к источнику. Поэтому каждый шаг генерации заземлён в оригинальных панелях.

Как устроен конвейер

Задача разложена на две стадии планирования до синтеза видео. Сначала по манге пишется анимационный сценарий: что происходит, в каком порядке, как смена панелей превращается в сцены. Затем на его основе строится визуальная раскадровка, то есть конкретные кадры с персонажами и композицией.

На каждой стадии работают два агента:

• агент-создатель выдаёт вариант сценария или раскадровки;
• агент-рецензент сопоставляет вариант с исходными панелями и указывает на расхождения;
• для каждого представления используется собственный механизм отбора вариантов;
• обратная связь двухуровневая (dual-level), а подробности реализации в аннотации не раскрыты;
• итерации идут, пока представление не доведено до приемлемого состояния, после чего запускается генерация анимации.

Логика знакома по кодовым агентам: отдельный проверяющий узел ловит ошибки до того, как они уйдут в дорогой финальный этап. В видео это особенно важно, потому что исправлять ошибку после рендера обходится дороже, чем на уровне текстового сценария.

Что известно о результатах

Авторы утверждают, что эксперименты и пользовательское исследование подтвердили два вывода. Анимация получается более верной исходной манге, а между шотами выше согласованность: персонажи и стиль меньше «плывут». Сравнение шло с современными подходами. Численных метрик, размера выборки в пользовательском исследовании, названий базовых моделей и стоимости генерации в аннотации нет. Оценить масштаб преимущества можно будет только по полной статье и демонстрациям на странице проекта.

Где это может пригодиться

Самый очевидный сценарий связан с экономикой индустрии. Манга-первоисточник обычно существует задолго до аниме, а полноценная адаптация требует больших студийных бюджетов. Инструмент, который быстро строит черновую анимацию и раскадровку с сохранением персонажей, подойдёт для питчей, превизуализации и тестов спроса. Издатель может прикинуть, как будет выглядеть тайтл в движении, до подписания дорогого контракта.

Для разработчиков агентных систем статья интересна как пример схемы «промежуточное представление плюс рецензент». Её можно переносить в другие мультимодальные задачи: комиксы в видео, иллюстрированные книги в ролики, презентации в обучающие материалы.

Ограничения тоже очевидны. Пока это исследовательский прототип, и неизвестно, как система справляется с длинными сериями, плотными экшен-сценами и нестандартной вёрсткой. Остаётся и юридический вопрос: автоматическая анимация чужой манги упирается в права правообладателей, и технический прогресс его не снимает. Поэтому реалистичная роль Manga2Animate на ближайшее время — помощник студии или издателя, а не замена аниматоров.