Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLatent Space (swyx)→ original

Criadores do Stable Diffusion treinam o FLUX 3 com imagens, vídeo e áudio ao mesmo tempo

A Black Forest Labs, equipe por trás do Stable Diffusion, treina o FLUX 3 com imagens, vídeo e áudio ao mesmo tempo. O quadro mostra onde está a bola, o vídeo mostra como ela chegou até ali, e o som do impacto indica o momento do contato, mesmo quando a câmera não o captou. O upscaler de vídeo é construído sobre a mesma base para que os detalhes não tremam. Por isso, a qualidade deve ser avaliada em movimento, e não por um único quadro.

Processado por IA de Latent Space (swyx); editado por Hamidun News
Criadores do Stable Diffusion treinam o FLUX 3 com imagens, vídeo e áudio ao mesmo tempo
Fonte: Latent Space (swyx). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLatent Space (swyx) ↗
Editor-chefe
Dado-chave #1Andreas Blattmann é coautor da difusão latente, e Dustin Podell liderou o projeto FLUX Kontext
Protótipo do Kontextalgumas horas de treino bastaram para o modelo colocar um logotipo em uma camiseta
Dado-chave #3A difusão é comprimida em poucos passos, enquanto a autorregressão aprende com todos os tokens

A Black Forest Labs (BFL) é um laboratório fundado por ex-integrantes da Stability AI, autores do Stable Diffusion. Atualmente, a empresa desenvolve o FLUX 3, e a principal novidade está na forma como o modelo é treinado: com imagens, vídeo e áudio ao mesmo tempo, e não apenas com imagens. O problema é conhecido por quem já tentou gerar vídeos.

Um quadro isolado pode ficar ótimo, mas basta girar a câmera ao redor de uma pessoa ou adicionar som para perceber que o modelo não entende bem como a cena funciona. No podcast Latent Space, esse tema é discutido por Andreas Blattmann, coautor do método de difusão latente, e Dustin Podell, autor principal do SDXL e líder do projeto FLUX Kontext.

Uma bola que voa na sua direção

Blattmann explica a "inteligência visual" com um exemplo que qualquer pessoa pode testar com uma mão. Se alguém joga uma bola para você, sua mão começa a se mover antes de ela chegar. Você não calcula a trajetória e, mesmo que tentasse, não conseguiria registrá-la. É exatamente esse tipo de conhecimento sobre o mundo que o laboratório quer que o modelo aprenda.

Cada tipo de dado tem um papel diferente. A imagem estática mostra onde a bola está agora. O vídeo mostra como ela chegou lá. O som do impacto indica quando a bola bateu em algo, mesmo que a câmera não tenha capturado o contato. Por isso, a BFL treina o FLUX 3 com esses três sinais juntos, em vez de unir modelos separados.

Há também um teste mais visual. Imagine uma câmera posicionada diante de uma pessoa que a contorna lentamente. Em algum momento, o modelo precisa mostrar a nuca. Segundo Blattmann, um vídeo bidimensional comum contém muitas pistas sobre como os objetos são vistos por outros ângulos. Se isso prova que o modelo "entende física", o apresentador e o convidado do episódio discordam. Ainda assim, esse teste é mais honesto do que perguntar se um quadro isolado parece convincente.

Por que o upscale falha com o efeito de cintilação

O exemplo mais prático da conversa é o aumento de resolução de vídeos. Se cada quadro for melhorado separadamente, cada um pode parecer excelente. Mas, na reprodução, os detalhes acrescentados começam a cintilar: o upscaler, ou seja, o ampliador de resolução, toma uma decisão ligeiramente diferente a cada quadro, e entre quadros vizinhos surge uma espécie de ondulação.

A BFL constrói seu upscaler de vídeo sobre a mesma base do FLUX 3. A consistência temporal é necessária mesmo quando o usuário pede apenas um arquivo maior. Para desenvolvedores, a conclusão é direta: o processamento quadro a quadro quase sempre gera artefatos. Se você trabalha com restauração, upscale ou edição, avalie o resultado em movimento, e não em capturas de tela.

Onde gastar computação no treinamento

O apresentador perguntou se a autorregressão está substituindo a difusão na geração de imagens. Blattmann reconhece os pontos fortes de ambas as abordagens. O modelo autorregressivo aprende com todos os tokens de um exemplo de treino de uma vez. A difusão tem seu trunfo: o longo processo de geração pode ser comprimido em poucos passos. O que pesa mais depende do que você está disposto a pagar: o treinamento do modelo ou a espera pela imagem pronta.

Dustin Podell mostra como a equipe decide onde investir. Ele supôs que um modelo capaz de desenhar um cachorro de chapéu já sabe onde o chapéu deve ficar. Junto com um colega, reuniu um pequeno conjunto de fotos com as relações entre os objetos descritas em legendas. Algumas horas de treinamento ensinaram o modelo a colocar um logotipo em uma camiseta. O resultado era rudimentar, mas bastou para uma demonstração na reunião externa da equipe. Depois disso, foram necessários meses para dados e modelo. Assim surgiu o FLUX Kontext, que aplica a edição solicitada e preserva o restante da imagem.

A história favorita de Podell: pessoas enviavam fotos de família antigas e danificadas ao FLUX, restauravam as imagens e as mostravam aos parentes. Ele não previa esse uso. Quem pode perceber se a aparência de uma pessoa foi mantida nas edições e entre os quadros são justamente os familiares que aparecem nessas fotos.

O que não está no material

Trata-se de uma conversa e um anúncio, não de um artigo técnico. Não há benchmarks, comparações com concorrentes nem números sobre a qualidade do FLUX 3. A lista de capítulos menciona "modelos de mundo para ação" (modelos que preveem como a cena muda após ações) e "robótica em 2027", mas não há detalhes sobre esses temas nas anotações. A tese de que os três sinais levam a uma compreensão mais profunda do mundo continua sendo uma posição do laboratório, e não um resultado comprovado.

A conclusão prática para quem desenvolve produtos com modelos generativos: teste a qualidade com movimento de câmera, troca de ângulo e preservação de detalhes e rostos entre os quadros. Imagem, vídeo e áudio serão cada vez mais treinados num único modelo, e pipelines montados com ferramentas separadas precisarão ser revistos.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Uma bola que voa na sua direção?

Blattmann explica a "inteligência visual" com um exemplo que qualquer pessoa pode testar com uma mão. Se alguém joga uma bola para você, sua mão começa a se mover antes de ela chegar. Você não calcula a trajetória e, mesmo que tentasse, não conseguiria registrá-la. É exatamente esse tipo de conhecimento sobre o mundo que o laboratório quer que o modelo aprenda. Cada tipo de dado tem um papel diferente. A imagem estática mostra onde a bola está agora. O vídeo mostra como ela chegou lá.

Por que o upscale falha com o efeito de cintilação?

O exemplo mais prático da conversa é o aumento de resolução de vídeos. Se cada quadro for melhorado separadamente, cada um pode parecer excelente. Mas, na reprodução, os detalhes acrescentados começam a cintilar: o upscaler, ou seja, o ampliador de resolução, toma uma decisão ligeiramente diferente a cada quadro, e entre quadros vizinhos surge uma espécie de ondulação. A BFL constrói seu upscaler de vídeo sobre a mesma base do FLUX 3.

Onde gastar computação no treinamento?

O apresentador perguntou se a autorregressão está substituindo a difusão na geração de imagens. Blattmann reconhece os pontos fortes de ambas as abordagens. O modelo autorregressivo aprende com todos os tokens de um exemplo de treino de uma vez. A difusão tem seu trunfo: o longo processo de geração pode ser comprimido em poucos passos. O que pesa mais depende do que você está disposto a pagar: o treinamento do modelo ou a espera pela imagem pronta. Dustin Podell mostra como a equipe decide onde investir.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…