La arquitectura SpecSlot reduce el FID en 2,84 frente a JiT-CM y ahorra un 3,9% de GFLOPs

Los modelos generativos que trabajan directamente en píxeles prescinden de un autoencoder entrenado por separado y del cuello de botella de compresión que este introduce. El precio es una secuencia larga: la imagen entera hay que convertirla en tokens de transformer. La arquitectura SpecSlot separa dos factores que suelen ir estrechamente unidos: cuánto detalle produce el modelo en la imagen y cuántos tokens participan en la atención global. En ImageNet-512, la configuración W256/K4 redujo el FID (la métrica de distancia entre imágenes generadas y reales; cuanto más bajo, mejor) en 2,84 respecto a JiT-CM. Se trata de un modelo de control de JiT que los autores ajustaron a los mismos FLOPs. Además, SpecSlot consumió un 3,9% menos de GFLOPs.

Por qué la cuadrícula de parches choca con la atención cuadrática

En la mayoría de los transformers de píxeles, un token equivale a un parche espacial. La cuadrícula de parches determina a la vez qué lee el modelo, qué predice cada token y cuántos tokens entran en la atención global. Si en una imagen de 256×256 se reduce el parche de 16 a 8, el número de tokens pasa de 256 a 1024, y la parte cuadrática del coste de la atención crece con él.

Los enfoques existentes abordan el problema desde distintos ángulos. JiT pasa cada parche por la secuencia global. Los sistemas multiescala trasladan los detalles a etapas adicionales o a cabezales de «refinamiento». Los métodos de atención eficiente acortan la secuencia mediante ventanas, tokens globales selectivos o dispersión aprendida. Spectral Forcing aprovecha la estructura de frecuencias, pero solo para filtrar la entrada ruidosa, y sus tokens siguen siendo parches espaciales. En todos estos esquemas, el detalle de la salida queda ligado a la cuadrícula de parches, aunque el intercambio entre tokens se comprima o se limite.

Read, Allocate, Route: anclas y slots espectrales

Los autores parten de una observación: las frecuencias bajas contienen la organización general del encuadre y se benefician del intercambio de información a larga distancia, mientras que los detalles finos son, en su mayoría, locales. En los esquemas actuales, la forma en que un token se comunica con los demás depende de su posición, no de lo que produce en la salida. SpecSlot cambia esto y construye el cálculo con tres operaciones.

Read: la imagen se lee sobre una cuadrícula de anclas espaciales que recogen los datos de entrada. Una pequeña convolución con inicialización a cero permite que las celdas vecinas intercambien información antes de repartir los roles. Allocate: cada ancla se despliega en slots indexados, y cada slot recibe su propio grupo radial, sin solapamientos, de coeficientes DCT (transformada discreta del coseno). Route: el rol determina la comunicación. A la etapa global solo llega, de cada ancla, el slot con el grupo de frecuencias más bajo, mientras que dentro del ancla interactúan todos los slots.

El patrón de atención se llama GGLL (global–global–local–local): un único portador de baja frecuencia por ancla pasa a los bloques globales, y todos los slots trabajan en los bloques locales dentro del ancla. Los estados finales de los slots decodifican una base espectral sobre lapped-DCT y una corrección espacial alineada con las anclas. Ambas se suman en el espacio de píxeles. La corrección no añade tokens nuevos. El estado, el objetivo y la función de pérdida permanecen en el espacio de píxeles, y el modelo se entrena con rectified flow.

Como resultado, aparecen dos variables de reparto independientes. Una fija la densidad de las anclas espaciales; la otra, la división espectral dentro de cada ancla. El número total de slots crece, pero la secuencia global contiene únicamente a los portadores. Un presupuesto fijo de tokens puede gastarse en anclas más densas o en roles espectrales más finos. Elegir el tamaño del parche pasa a ser un problema explícito de compromiso entre calidad y cómputo.

Qué muestran las mediciones

En ImageNet-256 e ImageNet-512, SpecSlot ofrece dos puntos de funcionamiento medidos entre las configuraciones barata y cara de JiT. En ImageNet-512, la variante W256/K4 queda por detrás de JiT-B/16 en FID por solo 0,69, pero cuesta un 38,2% menos. Las ventanas de salida más grandes cubren más píxeles sin cambiar la secuencia global. Los autores atribuyen a esto que la ganancia frente a JiT-CM resultara mayor.

En la generación de imágenes a partir de texto, SpecSlot superó a JiT-B/8 por 1,06 puntos en DPG-Bench (una prueba de correspondencia entre la imagen y descripciones complejas), con un coste del paso hacia delante un 40,6% menor.

Los propios autores hacen una salvedad: que los slots tengan partes iguales de coeficientes no implica un coste igual, porque la comunicación y las proyecciones escalan de forma distinta con la partición. Por eso conviene comparar los costes medidos y no solo el número de tokens. Los autores han publicado el código y los pesos en GitHub y Hugging Face.