Vimoo abre los pesos de un generador de vídeo de 11,7B parámetros: 5 segundos en 720p

El mercado de generadores de vídeo abiertos suma un jugador más, y esta vez lo interesante no es tanto el modelo en sí como la forma de ensamblarlo. La empresa Vimoo ha publicado los pesos de la familia Vimoo 1.0 para generación de vídeo a partir de texto (T2V) y de imagen (I2V). No entrenó todo desde cero. En su lugar, montó un híbrido con bloques abiertos ya existentes alrededor de un núcleo propio.

Qué hay dentro

El núcleo es un transformer de difusión de doble flujo (Dual-Stream MMDiT) con 11.700 millones de parámetros. «Doble flujo» significa que los tokens de texto y los visuales van por ramas separadas e interactúan mediante atención. Muchos generadores de imágenes modernos usan un esquema similar.

Alrededor del núcleo hay componentes de terceros:

• El VAE de vídeo de Wan 2.2 con compresión 4×16×16 y 48 canales latentes. Convierte los fotogramas en una representación latente compacta con la que trabaja el transformer.
• Qwen2.5-VL-7B se encarga del sentido del prompt: qué hay en la escena y quién hace qué.
• Glyph-ByT5-v2 es un codificador a nivel de carácter para tipografía. Su misión es evitar que un letrero o un titular en el encuadre se conviertan en una papilla de pseudoletras.
• Google SigLIP, en modo I2V, conserva los detalles del fotograma de referencia para que el protagonista no cambie en el tercer segundo.

La generación base ofrece 5 segundos: 121 fotogramas a 24 FPS en resolución 720p. Para 1080p existe un modelo generativo restaurador independiente, Vimoo Enhancer. No se limita a estirar la imagen, sino que dibuja detalles adicionales.

Cómo se ve en la práctica

Imagina que haces un anuncio para una cafetería. Necesitas una escena en la que un barista deja una taza en la barra y en el cristal del fondo se lee el nombre del local. Con un generador abierto típico, el texto del cristal casi seguro se deformaría. Aquí se encarga un codificador específico, así que el modelo tiene opciones de hacerlo mejor. Cuánto mejor, aún no está claro, porque la publicación no incluye comparaciones independientes.

En modo I2V das un fotograma con una taza de marca, y SigLIP ayuda a conservar su aspecto durante el movimiento. Después, el borrador en 720p se puede pasar por el Enhancer para obtener 1080p.

La principal ventaja de este enfoque es que cada bloque se puede sustituir o actualizar por separado. Sale un codificador mejor, lo cambias sin reentrenar todo desde cero. Para los equipos que construyen sus propios pipelines de vídeo, es una buena plantilla de arquitectura.

Limitaciones y qué hacer al respecto

Primero, lo que no sabemos. La publicación no incluye benchmarks, ejemplos de generación ni comparación con Wan 2.2, en cuyo VAE se basa parcialmente el modelo. No hay datos sobre los requisitos de memoria de vídeo ni sobre la velocidad de inferencia. La licencia de los pesos también debe revisarse por separado antes de llevar el modelo a un producto comercial. Cinco segundos de vídeo son un clip corto, no una escena. Para vídeos largos habrá que unir fragmentos y vigilar la coherencia de los personajes.

Qué debería hacer un desarrollador o product manager:

• Descargar los pesos de Hugging Face y probar sus propios 10–20 prompts habituales, sobre todo con texto en el encuadre. Es la única forma honesta de comprobar lo anunciado.
• Comparar el resultado con Wan 2.2 con las mismas peticiones. Si la diferencia es pequeña, no tiene sentido cambiar de stack.
• Leer el informe técnico y la licencia antes de cualquier plan de producción.
• Si construyes tu propio generador, considerar el ensamblaje modular como una forma de ahorrar meses de entrenamiento.

La conclusión es sencilla. No es un avance revolucionario, sino un ensamblaje de ingeniería cuidadoso con buenas piezas abiertas. Resulta interesante como ejemplo práctico y como una opción más para el autoalojamiento. Si Vimoo 1.0 llegará a ser algo más grande, solo lo dirán las pruebas con tareas reales.