Omni-Diffusion-Distill acelera 18 veces una dLLM multimodal: 8 pasos en lugar de 128

Los autores de un preprint en arXiv presentan Omni-Diffusion-Distill, un método de destilación en dos etapas para modelos de lenguaje de difusión multimodales unificados. Reduce la generación de imágenes de 128 a 8 pasos de decodificación, y la comprensión multimodal, de 512 a 64. En tiempo de ejecución, esto supone una aceleración de 18,2 y 21,2 veces. El alumno obtiene 0,828 en GenEval y 83,0 en DPG-Bench en text-to-image, y en tareas de comprensión logra 20,0 en MM-Vet según la evaluación con GPT.

Por qué las dLLM unificadas son lentas

Una dLLM multimodal unificada sustituye la combinación de un modelo para imágenes y otro para comprensión por una sola arquitectura. Todo funciona en un espacio discreto de tokens, tanto el texto como las imágenes. El precio es la decodificación iterativa: el modelo va refinando poco a poco la máscara de tokens, y cada respuesta requiere decenas o cientos de pasadas hacia delante.

Los métodos actuales de destilación few-step están pensados para una sola tarea: o bien la generación de imágenes, o bien la generación de texto. Cómo comprimir una dLLM multimodal totalmente discreta en un único alumno sin perder ni la generación ni la comprensión era una cuestión abierta. A ella responde este trabajo.

Cómo funciona la destilación

En la primera etapa, el alumno aprende a saltarse pasos de decodificación. Para ello reproduce trayectorias en caché del profesor. En la segunda etapa se le reentrena con estados intermedios tomados de sus propias ejecuciones. Así ve los errores que realmente comete con una decodificación corta, y no solo las trayectorias ideales del profesor.

Los autores abordan por separado dos fuentes de degradación que surgen precisamente en el planteamiento unificado:

• La penalización por colisiones por pares (pairwise collision penalty) reduce las repeticiones en la decodificación paralela de texto. Cuando el modelo elige varios tokens en un mismo paso, tiende a producir lo mismo.
• El guidance con coherencia de entropía evita el colapso de entropía. Este aparece cuando el alumno se ajusta a la distribución «afilada» del profesor en la generación de imágenes.

Las cifras del artículo

• Generación de imágenes: 128 → 8 pasos, aceleración de 18,2x.
• Comprensión multimodal: 512 → 64 pasos, aceleración de 21,2x.
• GenEval: 0,828; DPG-Bench: 83,0.
• MM-Vet (evaluación con GPT): 20,0.
• COCO captioning: 57,2, el doble que los 28,4 del profesor con el mismo número de pasos.

Hay un detalle que merece atención. La ganancia en tiempo (18,2x y 21,2x) es mayor que la reducción del número de pasos (16x y 8x). El resumen no explica el motivo. Quizá se deba al coste de cada paso o a la simplificación del guidance, pero es solo una suposición y la respuesta habrá que buscarla en el texto completo del trabajo. La comparación con el profesor en COCO con el mismo presupuesto de pasos también muestra que, con una reducción agresiva de pasos, una dLLM convencional pierde calidad de forma notable, mientras que la destilada se mantiene.

Dónde puede resultar útil

Para quienes desarrollan productos multimodales sobre LLM de difusión, la conclusión práctica principal es que la latencia deja de ser un argumento en contra de esta clase de modelos. Ocho pasos por imagen y 64 para comprensión se acercan más a los escenarios interactivos que cientos de pasadas. Los más beneficiados son las aplicaciones en las que un mismo modelo debe dibujar y describir: asistentes, editores de imágenes y herramientas de e-commerce.

Las salvedades son las habituales en un preprint. Los resultados no han pasado revisión por pares y los han medido los propios autores en los benchmarks que han elegido. Los valores absolutos en MM-Vet siguen siendo modestos. El resumen no dice nada sobre la publicación del código ni de los pesos. Antes de incorporar el método a producción, conviene esperar a que se reproduzca en otros modelos y a que se pruebe con cargas de trabajo reales.