Agente monta estúdio de motion com 20 bibliotecas abertas, do Remotion ao Whisper

Vinte bibliotecas, nenhum "modelo de vídeo" e um mp4 pronto na saída. O canal do Telegram "Tochki nad II" reuniu um conjunto de ferramentas abertas com as quais um agente de programação transforma um briefing em texto num clipe animado com física, narração e legendas. Segundo os autores, o clipe do próprio post também foi feito com código. As bibliotecas são comuns: JavaScript e Python, e nenhuma foi feita especificamente "para agentes". Mas modelos do nível do Claude Opus conhecem suas APIs bem o bastante para escrever código funcional sem depuração demorada.

Por que é mais fácil para um agente escrever código do que gerar pixels

Os modelos generativos de vídeo entregam resultados bonitos, mas pouco controláveis: corrigir um único quadro ou deslocar um título em 12 pixels é quase impossível. O código funciona de outro jeito. A cena é descrita por componentes, timelines e parâmetros, então o agente altera uma linha e renderiza o clipe de novo. O histórico de versões fica no git, e o template pode ser reaproveitado numa série.

A segunda vantagem é que essas bibliotecas têm enormes bases de documentação e exemplos. Tudo isso entrou há muito tempo nos conjuntos de treinamento, então há menos alucinações nas chamadas de API do que com ferramentas novas e de nicho.

As 20 ferramentas por grupo

Vídeo e renderização

• Remotion — vídeo em React. Os quadros são descritos por componentes e a renderização gera um arquivo. É a estrutura de toda a montagem.
• HyperFrames — de HTML para vídeo. O projeto fica no repositório da HeyGen e transforma layout web em clipe.
• OpenCut — editor de vídeo aberto para edição manual e acabamento do que o agente montou.
• OBS Studio — gravação de tela. Necessário quando é preciso colocar no clipe uma interface real ou uma demo.
• FFmpeg — exportação final, conversão e junção. Quase todo pipeline de vídeo acaba dependendo dele.

Animação

• Anime.js — timelines sobre as quais se constrói a sequência de movimentos.
• React Spring — animação baseada em física de molas. O movimento parece vivo, não linear.
• GL Transitions — transições com shaders entre cenas.
• tsParticles — partículas: confete, neve, faíscas, efeitos de fundo.

2D e gráficos generativos

• PixiJS — gráficos 2D na GPU. Aguenta muitos sprites sem perder velocidade.
• p5.js — visuais generativos e código criativo.
• Paper.js — caminhos vetoriais e operações sobre eles.
• Matter.js — física 2D: colisões, gravidade, objetos em queda.

3D

• Three.js — a principal biblioteca para cenas 3D no navegador.
• Rapier — motor de física para 3D.
• OGL — um wrapper mínimo de WebGL para quem escreve os próprios shaders.
• glTF Transform — otimização de modelos 3D: compressão, redução de peso, limpeza de assets.

Áudio e legendas

• Chatterbox — modelo aberto de voz que gera narração a partir de texto.
• Tone.js — sintetizadores e efeitos sonoros no navegador.
• faster-whisper — implementação rápida do Whisper que transforma fala em legendas com timecodes.

Como montar o pipeline e onde ele quebra

Um esquema prático é o seguinte. O agente recebe o briefing e escreve o roteiro. O Chatterbox faz a narração, o faster-whisper devolve os tempos de cada palavra, e o Remotion ou o HyperFrames organizam as cenas com base nesses tempos. Three.js, Rapier, Matter.js e PixiJS entram com gráficos e física, as transições vêm do GL Transitions e o FFmpeg junta tudo num mp4. Se for preciso ajuste manual, o arquivo abre no OpenCut.

Há limites também. Renderização 3D pesada em máquina fraca é lenta. As bibliotecas têm licenças diferentes, e para um clipe comercial vale conferir as condições antes. Modelos de voz como o Chatterbox exigem cuidado na clonagem de vozes alheias.

Os autores da seleção formulam a principal limitação: as bibliotecas não vão inventar o que filmar. A ideia, o enredo e o gosto continuam com o humano, e é essa camada que agora define a qualidade do clipe.