Los creadores de Stable Diffusion entrenan FLUX 3 con imágenes, vídeo y sonido a la vez
Black Forest Labs, el equipo de autores de Stable Diffusion, entrena el modelo FLUX 3 con imágenes, vídeo y sonido a la vez. El fotograma muestra dónde está la pelota, el vídeo muestra cómo llegó hasta allí, y el sonido del golpe indica el momento del contacto, incluso si la cámara no lo captó. El escalador de vídeo se construye sobre la misma base para que los detalles no parpadeen. Por eso la calidad debe evaluarse en movimiento y no a partir de un solo fotograma.
Procesado por IA desde Latent Space (swyx); editado por Hamidun News
Black Forest Labs (BFL) es un laboratorio fundado por exintegrantes de Stability AI, los autores de Stable Diffusion. Ahora desarrolla FLUX 3, y la noticia principal está en cómo se entrena este modelo: con imágenes, vídeo y sonido a la vez, y no solo con imágenes. El problema es conocido para cualquiera que haya intentado generar vídeos.
Un fotograma aislado puede verse muy bien, pero en cuanto se gira la cámara alrededor de una persona o se añade sonido, se nota que el modelo no tiene una idea clara de cómo está construida la escena. En el podcast Latent Space hablan de ello Andreas Blattmann, coautor del método de difusión latente, y Dustin Podell, autor principal de SDXL y responsable del proyecto FLUX Kontext.
Una pelota que vuela hacia ti
Blattmann explica la "inteligencia visual" con un ejemplo que puedes comprobar con una sola mano. Si alguien te lanza una pelota, tu brazo empieza a moverse antes de que la pelota llegue. No calculas la trayectoria ni podrías anotarla. Ese es el tipo de conocimiento del mundo que el laboratorio quiere que aprenda el modelo.
Cada tipo de dato cumple una función distinta. Una imagen estática muestra dónde está la pelota en este momento. El vídeo muestra cómo llegó hasta allí. El sonido del golpe indica cuándo la pelota chocó contra algo, aunque la cámara no haya captado el momento del contacto. Por eso BFL entrena FLUX 3 con estas tres señales a la vez, en lugar de unir modelos separados.
Hay además una prueba más visual. Imagina una cámara frente a una persona que la rodea lentamente. En algún momento, el modelo debe mostrar la nuca. Según Blattmann, un vídeo bidimensional ordinario contiene muchas pistas sobre cómo se ven los objetos desde otros lados. Si esto demuestra que el modelo "entiende la física", el presentador y el invitado del episodio discuten. Pero esta prueba es más rigurosa que preguntarse si un fotograma aislado resulta convincente.
Por qué el escalado se rompe con el parpadeo
El ejemplo más práctico de la última parte de la conversación es el aumento de resolución de vídeo. Si mejoras cada fotograma por separado, cada uno puede verse espectacular por sí solo. Pero al reproducirlos, los detalles añadidos empiezan a parpadear: el escalador, es decir, el aumentador de resolución, tomaba una decisión ligeramente distinta en cada cuadro, y entre fotogramas vecinos aparecía un efecto de ondulación.
BFL construye su escalador de vídeo sobre la misma base que FLUX 3. La coherencia temporal es necesaria incluso cuando el usuario solo pedía un archivo de mayor tamaño. Para los desarrolladores, la conclusión es sencilla: procesar un vídeo fotograma a fotograma casi siempre produce artefactos. Si trabajas en restauración, escalado o edición, evalúa el resultado en movimiento y no con capturas de pantalla.
En qué gastar la computación durante el entrenamiento
El presentador preguntó si la autorregresión está desplazando a la difusión en la generación de imágenes. Blattmann reconoce las ventajas de ambos enfoques. Un modelo autorregresivo aprende de todos los tokens de un ejemplo de entrenamiento a la vez. La difusión tiene su propia baza: el largo proceso de generación puede comprimirse en unos pocos pasos. Lo que más importa depende de lo que pagues: el entrenamiento del modelo o la espera por la imagen terminada.
Dustin Podell muestra cómo decide el equipo en qué invertir. Supuso que un modelo capaz de dibujar un perro con sombrero ya sabe dónde encajan los sombreros. Junto con un colega reunió un pequeño conjunto de fotografías con las relaciones entre objetos descritas en sus leyendas. Unas pocas horas de entrenamiento enseñaron al modelo a poner un logotipo en una camiseta. El resultado era tosco, pero bastó para mostrarlo en una reunión interna del equipo. Después, los datos y el modelo requirieron meses de trabajo. Así nació FLUX Kontext, que aplica la edición pedida y conserva el resto de la imagen.
La historia favorita de Podell es la de personas que subían a FLUX fotos familiares antiguas y deterioradas, las restauraban y se las mostraban a sus parientes. Él no había previsto ese uso. Quienes pueden notar si la apariencia de una persona se mantiene al editar y entre fotogramas son precisamente los familiares que aparecen en esas fotos.
Lo que no contiene el material
Se trata de una conversación y un anuncio, no de un artículo técnico. No incluye benchmarks, comparaciones con competidores ni cifras de calidad de FLUX 3. La lista de capítulos menciona los "modelos de mundo para acciones" (modelos que predicen cómo cambia una escena tras una acción) y la "robótica en 2027", pero las notas no dan detalles sobre ninguno de los dos. La tesis de que tres señales producen una comprensión más profunda del mundo sigue siendo una postura del laboratorio, no un resultado demostrado.
La conclusión práctica para quienes desarrollan productos con modelos generativos es esta: evalúa la calidad con movimiento de cámara, cambios de ángulo y conservación de detalles y rostros entre fotogramas. La imagen, el vídeo y el sonido se entrenarán cada vez más dentro de un mismo modelo, y los flujos de trabajo basados en herramientas separadas tendrán que revisarse.
- 21 nov 2026El hub Huawei Ascend suma 26 réplicas de modelos abiertos en cinco horas
- 21 nov 20269 de cada 20 modelos 3D generados por redes neuronales no sirven para impresión 3D
- 18 nov 2026sd.cpp en lugar de Forge Neo: nueve modelos en una GPU de 16 GB generan imágenes en 5–68 segundos
- 12 nov 2026JetBrains integra Air para agentes en IDE 2026.3 y divide a los usuarios con una pantalla de bienvenida
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Una pelota que vuela hacia ti?
Blattmann explica la "inteligencia visual" con un ejemplo que puedes comprobar con una sola mano. Si alguien te lanza una pelota, tu brazo empieza a moverse antes de que la pelota llegue. No calculas la trayectoria ni podrías anotarla. Ese es el tipo de conocimiento del mundo que el laboratorio quiere que aprenda el modelo. Cada tipo de dato cumple una función distinta. Una imagen estática muestra dónde está la pelota en este momento. El vídeo muestra cómo llegó hasta allí.
¿Qué se sabe sobre Por qué el escalado se rompe con el parpadeo?
El ejemplo más práctico de la última parte de la conversación es el aumento de resolución de vídeo. Si mejoras cada fotograma por separado, cada uno puede verse espectacular por sí solo. Pero al reproducirlos, los detalles añadidos empiezan a parpadear: el escalador, es decir, el aumentador de resolución, tomaba una decisión ligeramente distinta en cada cuadro, y entre fotogramas vecinos aparecía un efecto de ondulación. BFL construye su escalador de vídeo sobre la misma base que FLUX 3.
¿Qué se sabe sobre En qué gastar la computación durante el entrenamiento?
El presentador preguntó si la autorregresión está desplazando a la difusión en la generación de imágenes. Blattmann reconoce las ventajas de ambos enfoques. Un modelo autorregresivo aprende de todos los tokens de un ejemplo de entrenamiento a la vez. La difusión tiene su propia baza: el largo proceso de generación puede comprimirse en unos pocos pasos. Lo que más importa depende de lo que pagues: el entrenamiento del modelo o la espera por la imagen terminada.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.