Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Связка GPT Image 2 и Gemini Omni 1.2 Flash анимировала 15 пиксельарт-ассетов для игр

Покадровая анимация для игр — долгая работа, и автор Habr проверил, может ли её заменить связка нейросетей. GPT Image 2 рисует раскадровку в стиле пиксельарт, а Gemini Omni 1.2 Flash превращает её в видео до 15 секунд со звуком. На 15 случайных ассетов, от пистолета до катаны, получилось в целом хорошо, но фон не всегда прозрачный, а движение слишком плавное. Для прототипов годится, финал придётся дорабатывать вручную.

AI-обработка оригинала Habr AI; редакция Hamidun News
Связка GPT Image 2 и Gemini Omni 1.2 Flash анимировала 15 пиксельарт-ассетов для игр
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1GPT Image 2 работает почти вдвое быстрее прежних версий GPT Image
Ключевой факт #2Колесо Gemini оживила с первой попытки, бесплатный Qwen справляется хуже
Ключевой факт #3Просьбу о «рваной» восьмибитной анимации модель выполнила плавно

Чтобы оживить спрайт в инди-игре, художнику обычно нужно нарисовать десятки кадров: вспышку выстрела, раскрытие веера, оборот колеса. Автор Habr проверил, можно ли поручить это двум нейросетям сразу. Первая, GPT Image 2, рисует раскадровку в стиле пиксельарт, то есть «лесенку» из последовательных поз объекта на одном листе. Вторая, Gemini Omni 1.2 Flash от Google, превращает этот лист в видео длиной до 15 секунд со звуком. Через такую связку он прогнал 15 случайно подобранных ассетов из разных жанров: от пистолета и катаны до костра и катящегося валуна. Это не лабораторный бенчмарк, а субъективный практический тест, но он хорошо показывает, где пайплайн уже работает, а где нужна ручная доводка.

Как устроена связка

GPT Image 2 в тексте описана как одна из лучших моделей для генерации картинок. По словам автора, у неё однопроходная архитектура, и работает она почти вдвое быстрее предыдущих версий GPT Image. Качество и стоимость одной генерации растут от режима Low к High, так что можно выбирать между дешёвым черновиком и дорогим финалом.

Gemini Omni 1.2 Flash умеет не только генерировать ролик, но и принимать правки в «диалоговом режиме»: готовое видео можно поправить новой репликой, не запуская всё заново. Для геймдева схема логична: сначала фиксируем стиль картинкой, потом оживляем её.

В тест вошли пистолет с обоймой, сопла корабля с огнём, катапульта, сакура с опадающими лепестками, трёхэтажный дом с окнами, НЛО, костёр, магический жезл, валун, падающая кирпичная башня, японский веер, световой меч, автомобильное колесо, метеорит и катана.

Что получилось, а что нет

Лучше всего вышли пистолет, жезл, костёр, веер и катана. Пистолет получил хорошую раскадровку выстрела и качественную анимацию, хотя дым автору показался лишним. Это он относит к промптингу, а не к ошибке модели. Катапульта удивила: движение в запросе описали вскользь, а модель сама показала инерцию после залпа. Валун обошёлся без глюков и дрожания кадров, которым грешат некоторые другие нейросети. Спрайт-лист веера Gemini анимировала очень быстро.

Колесо автор называет лакмусовым тестом. Gemini справилась с первой попытки и убедительно передала стробоскопический эффект. Бесплатный Qwen, по его словам, с анимацией колеса справляется хуже.

Недостатки повторяются из ассета в ассет:

  • Фон. Модель просили рендерить на прозрачном PNG-фоне, но она делала по-своему. У валуна появился странный свет, как от театрального софита, а НЛО оказался раскрашен в зелёный.
  • Слишком гладко. Для сакуры и башни просили «прерывистость» (choppiness), чтобы анимация напоминала восьмибитную. Gemini сделала движение более современным и плавным.
  • Лишние детали. У НЛО в последние две секунды уже севшая тарелка зачем-то левитировала, а вокруг светового меча появилась непонятная дымка.
  • Плавающий фон. У метеорита автору не хватило жёсткой фиксации объекта относительно фона. Он советует при анимации ассетов прямо требовать, чтобы положение объекта на фоне было зафиксировано намертво.

Что делать разработчику

Вывод автора: Gemini Omni 1.2 Flash рисует анимации быстро, понимает задачу с полуслова и не так уж часто фантазирует. GPT Image 2 хвалят за скорость, хорошую память контекста и выдержанную стилистику между генерациями.

Практически это значит следующее:

  1. Для прототипов, фоновых эффектов и референсов связка подходит уже сейчас. Огонь, дым, падающие предметы и магия получаются лучше всего.
  2. В промпт стоит явно вписывать требования к фону и «рваной» частоте кадров, но нужно быть готовым, что модель их проигнорирует.
  3. Прозрачность и пиксельную чёткость, скорее всего, придётся доводить в редакторе: вырезать фон и вручную снижать частоту кадров.
  4. Диалоговый режим логично использовать для точечных правок, а не для переделки ролика целиком.

Ограничения очевидны. Ассеты подбирались случайно, но оценки субъективные, без метрик, а сравнения с другими моделями даны только на словах. Для финального релиза игры результат нужно проверять глазами. Зато как быстрый способ получить рабочую черновую анимацию из одной картинки связка уже заслуживает места в наборе инструментов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроена связка?

GPT Image 2 в тексте описана как одна из лучших моделей для генерации картинок. По словам автора, у неё однопроходная архитектура, и работает она почти вдвое быстрее предыдущих версий GPT Image. Качество и стоимость одной генерации растут от режима Low к High, так что можно выбирать между дешёвым черновиком и дорогим финалом. Gemini Omni 1.2 Flash умеет не только генерировать ролик, но и принимать правки в «диалоговом режиме»: готовое видео можно поправить новой репликой, не запуская всё заново.

Что известно по теме: что получилось, а что нет?

Лучше всего вышли пистолет, жезл, костёр, веер и катана. Пистолет получил хорошую раскадровку выстрела и качественную анимацию, хотя дым автору показался лишним. Это он относит к промптингу, а не к ошибке модели. Катапульта удивила: движение в запросе описали вскользь, а модель сама показала инерцию после залпа. Валун обошёлся без глюков и дрожания кадров, которым грешат некоторые другие нейросети. Спрайт-лист веера Gemini анимировала очень быстро. Колесо автор называет лакмусовым тестом.

Что известно по теме: что делать разработчику?

Вывод автора: Gemini Omni 1.2 Flash рисует анимации быстро, понимает задачу с полуслова и не так уж часто фантазирует. GPT Image 2 хвалят за скорость, хорошую память контекста и выдержанную стилистику между генерациями. Практически это значит следующее: Для прототипов, фоновых эффектов и референсов связка подходит уже сейчас. Огонь, дым, падающие предметы и магия получаются лучше всего. В промпт стоит явно вписывать требования к фону и «рваной» частоте кадров, но нужно быть готовым, что модель их проигнорирует.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…