UCSD entrena un modelo de imágenes de 3 mil millones de parámetros con 6600 horas de GPU H100

Un equipo de la Universidad de California en San Diego propone una nueva forma de entrenar modelos que generan imágenes a partir de texto. La generación se divide en dos tareas: entender qué debe aparecer en la imagen y dibujarlo con detalle. La primera la resuelve un modelo autorregresivo, que predice tokens uno a uno, igual que un modelo de lenguaje.

La segunda la resuelve la difusión, es decir, el «revelado» gradual de una imagen a partir de ruido. Con este esquema, los investigadores entrenaron un modelo de 3 mil millones de parámetros con solo 6600 horas de GPU H100. El modelo logró 86 en GenEval y 87 en DPG-Bench.

GenEval comprueba si el modelo reproduce correctamente los objetos, su número, sus colores y su disposición según el prompt. DPG-Bench hace lo mismo con descripciones largas y detalladas.

Un backbone aprende el sentido y otro dibuja los píxeles

Lo habitual es comparar los modelos autorregresivos y la difusión como rivales: a ver quién genera mejor imagen. Los autores consideran que la comparación no es correcta, porque ambos sistemas resuelven a la vez dos tareas distintas. Hay que asimilar el conocimiento visual: qué aspecto tienen los objetos y cómo se distribuyen. Y hay que plasmarlo en una imagen detallada.

El esquema se construye por analogía con los modelos de lenguaje, donde primero hay preentrenamiento y después ajuste posterior.

• En la primera etapa, un tokenizador congelado convierte la imagen en tokens discretos. Un modelo autorregresivo de texto aprende a predecirlos. Las posiciones que se predicen se eligen en orden aleatorio, y el modelo recibe tokens especiales que actúan como indicadores.

• En la segunda etapa, el backbone autorregresivo se congela. Se le añaden módulos de difusión entrenables, que usan sus capas de atención y sus representaciones internas. • La difusión trabaja directamente en el espacio de píxeles, sin espacio latente.

Se entrena con flow matching, es decir, predice cómo pasar del ruido a la imagen limpia. • Durante el entrenamiento, el renderizador recibe los tokens de la imagen real. Durante la generación, esos tokens se sustituyen por los que el modelo autorregresivo produjo a partir del texto de la consulta.

La mejor reconstrucción no mejora la imagen

El primer experimento se realizó con modelos que, en su versión final, tenían 400M de parámetros. Las variantes de dos etapas constaban de un backbone de 250M y un renderizador de 150M. Como preentrenamiento, se comparó la autorregresión con la difusión latente (LDM).

• La autorregresión más difusión obtuvo 64,8 en GenEval ya tras 100 mil actualizaciones. La difusión pura en píxeles, tras 400 mil iteraciones, dio 61,2. • Con más entrenamiento, el resultado subió a 65,5 en GenEval y 71,1 en DPG-Bench. • La difusión latente directa mostró 57,3, y la combinación «difusión latente y después difusión en píxeles», solo 56,6. Dividir en dos etapas, por sí solo, no garantiza nada. Hace falta precisamente la autorregresión.

A continuación, los autores examinaron qué debe aprender la etapa autorregresiva. Compararon tres tokenizadores. El primero, Recon, basado en Emu3.5, conserva los detalles necesarios para reconstruir la imagen. El segundo, Semantic-Recon, cuantiza las características del codificador congelado de Qwen2.5-VL y se entrena con reconstrucción. El tercero, Semantic-LM, se entrena únicamente mediante la predicción del siguiente token dentro de un Qwen2.5-VL congelado, sin decodificador de imágenes y sin función de pérdida de reconstrucción.

El resultado es inesperado. Recon es el que mejor reconstruye imágenes y el que mejor genera por sí solo, pero su resultado final es el más débil. Semantic-Recon logra 65,5 en GenEval frente a 54,7 de Recon, y en DPG-Bench 71,1 frente a 63,0. En GenEval solo con AR, Recon es superior (57,49 frente a 50,44), pero tras la difusión el orden se invierte: 54,67 frente a 65,51. Semantic-LM, sin ninguna reconstrucción, obtuvo 64,8 en GenEval y 67,7 en DPG-Bench. La conclusión de los autores: la calidad final la determina la semántica de los tokens, no su capacidad para restaurar píxeles con exactitud.

Leyes de escalado y un presupuesto de 6600 horas de GPU

Cuando las tareas son dos, surge la pregunta de cómo repartir el cómputo entre las etapas. Los autores derivaron leyes de escalado por separado para el preentrenamiento autorregresivo y para el ajuste posterior con difusión. La ley autorregresiva se ajustó con 18 modelos, de 55,71M a 2,43B de parámetros. Para comparar, también entrenaron una difusión en píxeles desde cero, con hiperparámetros ajustados por separado.

Con el mismo tamaño de modelo y el mismo volumen de datos, la difusión posterior al preentrenamiento autorregresivo muestra menor pérdida y una asíntota ajustada más baja que el modelo entrenado desde cero. El preentrenamiento no solo acelera la convergencia, sino que eleva el techo de calidad del renderizado.

Con base en estas leyes, eligieron un modelo de aproximadamente 3B de parámetros y repartieron el presupuesto entre las etapas. El resultado fue un modelo text-to-image con 86 en GenEval y 87 en DPG-Bench.

Para los ingenieros, esto significa que un tokenizador para generar imágenes no necesita decodificador. Basta con una semántica aprendida a partir de la señal del lenguaje. Así, la separación «el conocimiento por un lado, el renderizado por otro» permite obtener un modelo competitivo con un presupuesto modesto. Para laboratorios sin grandes clústeres, supone una reducción notable de la barrera de entrada. La salvedad es que los resultados se obtuvieron en benchmarks concretos y con unos pocos tokenizadores, y la generalidad del enfoque aún está por comprobar.