Агент собирает моушн-студию из 20 открытых библиотек: от Remotion до Whisper

Двадцать библиотек, ни одной «видеомодели» и готовый mp4 на выходе. Telegram-канал «Точки над ИИ» собрал набор открытых инструментов, из которых кодинг-агент по текстовому брифу делает анимированный ролик с физикой, озвучкой и субтитрами. Ролик в самом посте, по словам авторов, тоже собран кодом. Сами библиотеки обычные: JavaScript и Python, ничего специально «для агентов» в них нет. Но модели уровня Claude Opus знают их API достаточно хорошо, чтобы писать рабочий код без долгой отладки.

Почему агенту проще писать код, чем генерировать пиксели

Генеративные видеомодели выдают красивый, но плохо управляемый результат: поправить один кадр или сдвинуть титр на 12 пикселей почти невозможно. Код устроен иначе. Сцена описана компонентами, таймлайнами и параметрами, поэтому агент меняет одну строку и перерендеривает ролик. История версий лежит в git, а шаблон можно пустить в серию.

Второй плюс в том, что у этих библиотек огромные базы документации и примеров. Всё это давно попало в обучающие выборки, так что галлюцинаций в вызовах API меньше, чем у свежих нишевых инструментов.

Все 20 инструментов по группам

Видео и рендер

• Remotion — видео на React. Кадры описываются компонентами, рендер идёт в файл. Это каркас всей сборки.
• HyperFrames — HTML в видео. Проект лежит в репозитории HeyGen, веб-вёрстка превращается в ролик.
• OpenCut — открытый видеоредактор для ручного монтажа и доводки того, что собрал агент.
• OBS Studio — запись экрана. Нужна, когда в ролик надо вставить реальный интерфейс или демо.
• FFmpeg — финальный экспорт, конвертация и склейка. Почти любой видеопайплайн в итоге упирается в него.

Анимация

• Anime.js — таймлайны, на которых строится последовательность движений.
• React Spring — анимация на пружинной физике. Движение выглядит живым, а не линейным.
• GL Transitions — шейдерные переходы между сценами.
• tsParticles — частицы: конфетти, снег, искры, фоновые эффекты.

2D и генеративная графика

• PixiJS — 2D-графика на GPU. Тянет много спрайтов без потери скорости.
• p5.js — генеративный визуал и креативный код.
• Paper.js — векторные пути и операции над ними.
• Matter.js — 2D-физика: столкновения, гравитация, падающие объекты.

3D

• Three.js — основная библиотека для 3D-сцен в браузере.
• Rapier — физический движок для 3D.
• OGL — минимальная обёртка над WebGL для тех, кто пишет собственные шейдеры.
• glTF Transform — оптимизация 3D-моделей: сжатие, уменьшение веса, чистка ассетов.

Звук и субтитры

• Chatterbox — открытая модель озвучки, закадровый голос по тексту.
• Tone.js — синтезаторы и звуковые эффекты в браузере.
• faster-whisper — быстрая реализация Whisper, из речи делает субтитры с таймкодами.

Как собрать пайплайн и где он ломается

Практичная схема выглядит так. Агент получает бриф и пишет сценарий. Chatterbox озвучивает его, faster-whisper возвращает тайминги слов, а Remotion или HyperFrames по этим таймингам выстраивают сцены. Графику и физику подтягивают Three.js, Rapier, Matter.js и PixiJS, переходы берутся из GL Transitions, а FFmpeg склеивает всё в mp4. Если нужна ручная правка, файл открывается в OpenCut.

Лимиты тоже есть. Тяжёлый 3D-рендер на слабой машине идёт медленно. У библиотек разные лицензии, и для коммерческого ролика условия стоит проверить заранее. Голосовые модели вроде Chatterbox требуют аккуратности с клонированием чужих голосов.

Главное ограничение авторы подборки формулируют сами: библиотеки не придумают, что снимать. Идея, сюжет и вкус остаются за человеком, и именно этот слой теперь определяет качество ролика.