Agente monta um estúdio de motion com 20 bibliotecas abertas, do Remotion ao Whisper

Vinte bibliotecas, nenhum «modelo de vídeo» e um mp4 pronto na saída. O canal do Telegram «Точки над ИИ» reuniu um conjunto de ferramentas abertas com as quais um agente de código cria, a partir de um briefing em texto, um vídeo animado com física, narração e legendas. Segundo os autores, o vídeo do próprio post também foi montado por código. As bibliotecas em si são comuns: JavaScript e Python, sem nada feito especificamente «para agentes». Mas modelos do nível do Claude Opus conhecem suas APIs bem o bastante para escrever código funcional sem depuração prolongada.

Por que é mais fácil para o agente escrever código do que gerar pixels

Modelos generativos de vídeo entregam um resultado bonito, mas difícil de controlar: corrigir um único quadro ou mover um título em 12 pixels é quase impossível. Com código, a lógica é outra. A cena é descrita por componentes, timelines e parâmetros, então o agente altera uma linha e renderiza o vídeo de novo. O histórico de versões fica no git, e o template pode ser usado em série.

A segunda vantagem é que essas bibliotecas têm uma enorme base de documentação e exemplos. Todo esse material entrou há muito tempo nos conjuntos de treinamento, de modo que há menos alucinações nas chamadas de API do que com ferramentas novas e de nicho.

Todas as 20 ferramentas, por grupo

Vídeo e renderização

• Remotion — vídeo com React. Os quadros são descritos por componentes, e a renderização gera um arquivo. É a base de toda a montagem.
• HyperFrames — de HTML para vídeo. O projeto fica no repositório da HeyGen e transforma layout web em vídeo.
• OpenCut — editor de vídeo aberto para montagem manual e para ajustar o que o agente produziu.
• OBS Studio — gravação de tela. É necessário quando o vídeo precisa incluir uma interface real ou uma demonstração.
• FFmpeg — exportação final, conversão e junção de trechos. Quase todo pipeline de vídeo acaba dependendo dele.

Animação

• Anime.js — timelines que servem de base para a sequência de movimentos.
• React Spring — animação com física de mola. O movimento parece natural, e não linear.
• GL Transitions — transições entre cenas feitas com shaders.
• tsParticles — partículas: confete, neve, faíscas e efeitos de fundo.

2D e gráficos generativos

• PixiJS — gráficos 2D na GPU. Lida com muitos sprites sem perder velocidade.
• p5.js — visuais generativos e código criativo.
• Paper.js — caminhos vetoriais e operações sobre eles.
• Matter.js — física 2D: colisões, gravidade, objetos em queda.

3D

• Three.js — a principal biblioteca para cenas 3D no navegador.
• Rapier — motor de física para 3D.
• OGL — camada mínima sobre o WebGL para quem escreve os próprios shaders.
• glTF Transform — otimização de modelos 3D: compressão, redução de peso e limpeza de assets.

Áudio e legendas

• Chatterbox — modelo aberto de síntese de voz, que gera narração a partir de texto.
• Tone.js — sintetizadores e efeitos sonoros no navegador.
• faster-whisper — implementação rápida do Whisper, que transforma fala em legendas com timecodes.

Como montar o pipeline e onde ele falha

O esquema prático é este. O agente recebe o briefing e escreve o roteiro. O Chatterbox faz a narração, o faster-whisper devolve o tempo de cada palavra, e o Remotion ou o HyperFrames organizam as cenas com base nesses tempos. Three.js, Rapier, Matter.js e PixiJS cuidam dos gráficos e da física, as transições vêm do GL Transitions, e o FFmpeg junta tudo em um mp4. Se for preciso um ajuste manual, o arquivo é aberto no OpenCut.

Há limites também. A renderização 3D pesada é lenta em uma máquina fraca. As bibliotecas têm licenças diferentes, e vale checar as condições com antecedência no caso de um vídeo comercial. Modelos de voz como o Chatterbox exigem cuidado com a clonagem de vozes de terceiros.

A principal limitação é apontada pelos próprios autores da seleção: as bibliotecas não vão inventar o que filmar. A ideia, o enredo e o bom gosto continuam com o humano, e é essa camada que agora define a qualidade do vídeo.