Halcyon supera a LlamaGen y JiT-T2I con entre 18 y 275 veces menos cómputo de preentrenamiento

Un equipo de investigadores ha demostrado que un modelo text-to-image potente no requiere preentrenamiento de lenguaje a escala de internet. La familia Halcyon se entrenó íntegramente desde cero con GPIC, un conjunto de 100 millones de pares imagen-texto. La versión pequeña, Halcyon-0.52B, logró un gFD de 48,0 frente a 63,3 de LlamaGen-XL/8 y gastó 18,2 veces menos cómputo en el preentrenamiento. La mayor, Halcyon-1.6B, superó a JiT-T2I-XXL/8++ con 35,3 frente a 41,0, usando 275 veces menos cómputo. En ambas comparaciones, menos es mejor.

Qué se puso a prueba

Los sistemas T2I actuales suelen partir de un modelo de lenguaje preentrenado en enormes corpus de texto. La premisa es que ese modelo entiende mejor el prompt y, por tanto, dibuja con más precisión. Los autores cuestionan esa tesis y se preguntan si el preentrenamiento de lenguaje es realmente necesario para generar imágenes de alta calidad.

Halcyon es un modelo autorregresivo multimodal de fusión temprana (early-fusion). Los tokens de texto y los visuales se procesan juntos desde el principio, sin una torre de lenguaje preentrenada por separado. Toda la señal de entrenamiento procede de 100 millones de pares imagen-texto, un volumen modesto para los estándares de los corpus de internet.

Las cifras y los experimentos controlados

El resultado principal se resume en la relación entre calidad y coste:

• Halcyon-0.52B: gFD de 48,0 frente a 63,3 de LlamaGen-XL/8, con 18,2 veces menos cómputo de preentrenamiento.
• Halcyon-1.6B: gFD de 35,3 frente a 41,0 de JiT-T2I-XXL/8++, con 275 veces menos cómputo de preentrenamiento.
• Datos de entrenamiento: GPIC, 100 millones de pares imagen-texto.
• Arquitectura: autorregresión multimodal de fusión temprana, entrenamiento desde cero.

La comparación con la competencia, por sí sola, no demuestra nada sobre las causas. Por eso importa más otro punto: los autores realizaron experimentos controlados y el preentrenamiento solo con texto no mejoró la generación T2I. Es una observación empírica, no un simple buen resultado en un benchmark. Sugiere que el conocimiento textual acumulado en corpus de lenguaje aporta a la tarea de «dibuja según esta descripción» menos de lo que se suele asumir. Hay una salvedad: la conclusión se obtuvo en un planteamiento concreto, con unos tamaños de modelo y un conjunto de datos determinados. No se puede extrapolar a cualquier escala sin comprobarlo.

Descripciones de imágenes sin coste adicional

Otro detalle afecta al captioning. En el entrenamiento T2I se suele descartar al azar una parte de las descripciones (caption dropout) para que el modelo aprenda tanto la generación condicionada como la incondicionada. En Halcyon, este recurso se sustituye por supervisión I2T: en lugar de una condición vacía, el modelo recibe la tarea de describir la imagen. Así aprende a describir imágenes y mantiene una calidad T2I competitiva con el mismo presupuesto de preentrenamiento.

Un solo modelo, en una sola ejecución de entrenamiento, adquiere dos capacidades. Para los equipos que necesitan tanto generar como etiquetar imágenes, esto permite no mantener dos pipelines separados.

Conclusiones prácticas

Para investigadores y equipos pequeños, la señal principal es que entrenar un modelo T2I propio resulta más barato de lo que parecía. Un conjunto de 100 millones de pares es notablemente menor que los corpus web habituales, y la diferencia en cómputo de preentrenamiento se mide en decenas y centenas de veces. Si los resultados se reproducen con otros datos, los laboratorios sin acceso a clústeres gigantescos dispondrán de una vía de trabajo viable.

Se puede comprobar por cuenta propia: el código y los modelos están publicados en la página del proyecto, cs.stanford.edu/~keshik/halcyon. Conviene probar Halcyon con prompts y dominios propios, porque el gFD describe una distribución, no la idoneidad para un producto concreto. También resulta útil comparar, con datos propios, la variante con supervisión I2T y el esquema clásico con caption dropout.

Queda además la cuestión de la escala. El trabajo muestra resultados para modelos de 0,52 y 1,6 mil millones de parámetros. Aún no está claro si la ventaja se mantendrá con modelos un orden de magnitud mayores. Lo responderá la siguiente ronda de experimentos.