Criadores do Stable Diffusion treinam o FLUX 3 com imagens, vídeo e áudio ao mesmo tempo
A Black Forest Labs, equipe por trás do Stable Diffusion, treina o FLUX 3 com imagens, vídeo e áudio ao mesmo tempo. O quadro mostra onde está a bola, o vídeo mostra como ela chegou até ali, e o som do impacto indica o momento do contato, mesmo quando a câmera não o captou. O upscaler de vídeo é construído sobre a mesma base para que os detalhes não tremam. Por isso, a qualidade deve ser avaliada em movimento, e não por um único quadro.
Processado por IA de Latent Space (swyx); editado por Hamidun News
A Black Forest Labs (BFL) é um laboratório fundado por ex-integrantes da Stability AI, autores do Stable Diffusion. Atualmente, a empresa desenvolve o FLUX 3, e a principal novidade está na forma como o modelo é treinado: com imagens, vídeo e áudio ao mesmo tempo, e não apenas com imagens. O problema é conhecido por quem já tentou gerar vídeos.
Um quadro isolado pode ficar ótimo, mas basta girar a câmera ao redor de uma pessoa ou adicionar som para perceber que o modelo não entende bem como a cena funciona. No podcast Latent Space, esse tema é discutido por Andreas Blattmann, coautor do método de difusão latente, e Dustin Podell, autor principal do SDXL e líder do projeto FLUX Kontext.
Uma bola que voa na sua direção
Blattmann explica a "inteligência visual" com um exemplo que qualquer pessoa pode testar com uma mão. Se alguém joga uma bola para você, sua mão começa a se mover antes de ela chegar. Você não calcula a trajetória e, mesmo que tentasse, não conseguiria registrá-la. É exatamente esse tipo de conhecimento sobre o mundo que o laboratório quer que o modelo aprenda.
Cada tipo de dado tem um papel diferente. A imagem estática mostra onde a bola está agora. O vídeo mostra como ela chegou lá. O som do impacto indica quando a bola bateu em algo, mesmo que a câmera não tenha capturado o contato. Por isso, a BFL treina o FLUX 3 com esses três sinais juntos, em vez de unir modelos separados.
Há também um teste mais visual. Imagine uma câmera posicionada diante de uma pessoa que a contorna lentamente. Em algum momento, o modelo precisa mostrar a nuca. Segundo Blattmann, um vídeo bidimensional comum contém muitas pistas sobre como os objetos são vistos por outros ângulos. Se isso prova que o modelo "entende física", o apresentador e o convidado do episódio discordam. Ainda assim, esse teste é mais honesto do que perguntar se um quadro isolado parece convincente.
Por que o upscale falha com o efeito de cintilação
O exemplo mais prático da conversa é o aumento de resolução de vídeos. Se cada quadro for melhorado separadamente, cada um pode parecer excelente. Mas, na reprodução, os detalhes acrescentados começam a cintilar: o upscaler, ou seja, o ampliador de resolução, toma uma decisão ligeiramente diferente a cada quadro, e entre quadros vizinhos surge uma espécie de ondulação.
A BFL constrói seu upscaler de vídeo sobre a mesma base do FLUX 3. A consistência temporal é necessária mesmo quando o usuário pede apenas um arquivo maior. Para desenvolvedores, a conclusão é direta: o processamento quadro a quadro quase sempre gera artefatos. Se você trabalha com restauração, upscale ou edição, avalie o resultado em movimento, e não em capturas de tela.
Onde gastar computação no treinamento
O apresentador perguntou se a autorregressão está substituindo a difusão na geração de imagens. Blattmann reconhece os pontos fortes de ambas as abordagens. O modelo autorregressivo aprende com todos os tokens de um exemplo de treino de uma vez. A difusão tem seu trunfo: o longo processo de geração pode ser comprimido em poucos passos. O que pesa mais depende do que você está disposto a pagar: o treinamento do modelo ou a espera pela imagem pronta.
Dustin Podell mostra como a equipe decide onde investir. Ele supôs que um modelo capaz de desenhar um cachorro de chapéu já sabe onde o chapéu deve ficar. Junto com um colega, reuniu um pequeno conjunto de fotos com as relações entre os objetos descritas em legendas. Algumas horas de treinamento ensinaram o modelo a colocar um logotipo em uma camiseta. O resultado era rudimentar, mas bastou para uma demonstração na reunião externa da equipe. Depois disso, foram necessários meses para dados e modelo. Assim surgiu o FLUX Kontext, que aplica a edição solicitada e preserva o restante da imagem.
A história favorita de Podell: pessoas enviavam fotos de família antigas e danificadas ao FLUX, restauravam as imagens e as mostravam aos parentes. Ele não previa esse uso. Quem pode perceber se a aparência de uma pessoa foi mantida nas edições e entre os quadros são justamente os familiares que aparecem nessas fotos.
O que não está no material
Trata-se de uma conversa e um anúncio, não de um artigo técnico. Não há benchmarks, comparações com concorrentes nem números sobre a qualidade do FLUX 3. A lista de capítulos menciona "modelos de mundo para ação" (modelos que preveem como a cena muda após ações) e "robótica em 2027", mas não há detalhes sobre esses temas nas anotações. A tese de que os três sinais levam a uma compreensão mais profunda do mundo continua sendo uma posição do laboratório, e não um resultado comprovado.
A conclusão prática para quem desenvolve produtos com modelos generativos: teste a qualidade com movimento de câmera, troca de ângulo e preservação de detalhes e rostos entre os quadros. Imagem, vídeo e áudio serão cada vez mais treinados num único modelo, e pipelines montados com ferramentas separadas precisarão ser revistos.
- 21 de nov. de 2026Hub Huawei Ascend ganhou 26 espelhos de modelos abertos em cinco horas
- 21 de nov. de 20269 de 20 modelos 3D gerados por IA não servem para impressão 3D
- 18 de nov. de 2026sd.cpp no lugar do Forge Neo: nove modelos em uma placa de vídeo de 16 GB geram imagens em 5–68 segundos
- 12 de nov. de 2026JetBrains integrou o Air para agentes às IDEs 2026.3 e dividiu os usuários com uma tela de abertura
Perguntas frequentes sobre a notícia
O que se sabe sobre Uma bola que voa na sua direção?
Blattmann explica a "inteligência visual" com um exemplo que qualquer pessoa pode testar com uma mão. Se alguém joga uma bola para você, sua mão começa a se mover antes de ela chegar. Você não calcula a trajetória e, mesmo que tentasse, não conseguiria registrá-la. É exatamente esse tipo de conhecimento sobre o mundo que o laboratório quer que o modelo aprenda. Cada tipo de dado tem um papel diferente. A imagem estática mostra onde a bola está agora. O vídeo mostra como ela chegou lá.
Por que o upscale falha com o efeito de cintilação?
O exemplo mais prático da conversa é o aumento de resolução de vídeos. Se cada quadro for melhorado separadamente, cada um pode parecer excelente. Mas, na reprodução, os detalhes acrescentados começam a cintilar: o upscaler, ou seja, o ampliador de resolução, toma uma decisão ligeiramente diferente a cada quadro, e entre quadros vizinhos surge uma espécie de ondulação. A BFL constrói seu upscaler de vídeo sobre a mesma base do FLUX 3.
Onde gastar computação no treinamento?
O apresentador perguntou se a autorregressão está substituindo a difusão na geração de imagens. Blattmann reconhece os pontos fortes de ambas as abordagens. O modelo autorregressivo aprende com todos os tokens de um exemplo de treino de uma vez. A difusão tem seu trunfo: o longo processo de geração pode ser comprimido em poucos passos. O que pesa mais depende do que você está disposto a pagar: o treinamento do modelo ou a espera pela imagem pronta. Dustin Podell mostra como a equipe decide onde investir.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.