APEX comprime los latentes de difusión 128 veces y supera a un modelo de 256 tokens en ImageNet-512

Un grupo de investigadores ha presentado en arXiv el método APEX, que ataca el principal problema de la difusión barata: cuanto más comprimido está el latente, más difícil resulta generarlo. En ImageNet-512, APEX supera a los métodos existentes con cada número de canales probado en los regímenes de compresión 64x y 128x. Con los mismos costes de entrenamiento y guided sampling, también supera a un modelo de 256 tokens en todos los presupuestos probados, y la diferencia es mayor cuanto menos cómputo se usa. El código está publicado en la página del proyecto.

El dilema que motivó el trabajo

El coste de la difusión latente depende directamente del número de tokens con los que trabaja el denoiser. Menos tokens significa un entrenamiento y una inferencia más rápidos y baratos. Pero la información de la imagen no desaparece: si hay pocos tokens, hay que empaquetarla en los canales de cada uno.

Aquí surge la contradicción que los autores llaman reconstruction-generation dilemma. Más canales permiten al autoencoder reconstruir la imagen con mayor precisión. Al mismo tiempo, un latente tan denso es más difícil de modelar para el modelo de difusión. La ganancia en reconstrucción se pierde por la caída en la generación.

Qué propone APEX

El nombre significa Asynchronous Prefix denoising for EXtreme compression. La solución tiene dos partes que funcionan en conjunto.

La primera es un espacio latente jerárquico. El autoencoder ordena los canales por prefijos: primero van los que contienen la estructura de la imagen y después los que se encargan de los detalles. El inicio del vector de canales describe el panorama general y el resto lo afina.

La segunda es un denoising asíncrono por grupos de canales. Un único denoiser común genera los distintos grupos en distintos momentos temporales locales. El número de tokens no aumenta y la arquitectura no se complica con modelos separados para cada grupo. Según los autores, este esquema permite generar la estructura y los detalles de forma diferente, en lugar de tratar todo el latente como una sola tarea.

Las cifras del artículo

• Benchmark: ImageNet-512.
• Regímenes de compresión: 64x y 128x.
• Comparación con los métodos existentes: APEX es mejor con cada número de canales probado.
• Comparación con el modelo de 256 tokens: APEX es mejor en cada presupuesto probado, con los mismos costes de entrenamiento y guided sampling.
• Tendencia: cuanto menor es el presupuesto de cómputo, mayor es la ventaja.
• Tokens adicionales: no se requieren.

El punto sobre el presupuesto es más importante que el resto. Si la ventaja crece justo donde hay poco cómputo, el método interesa sobre todo a quienes necesitan ahorrar.

Qué hacer con esto en la práctica

Para los equipos que construyen sus propios modelos generativos de imágenes, APEX es una buena razón para revisar el equilibrio entre número de tokens y calidad. El código es abierto, así que se puede reproducir el resultado en ImageNet-512 sin hacer ingeniería inversa del artículo.

También hace falta cautela. El abstract declara resultados solo en ImageNet-512. No se puede saber a partir de él si el enfoque funciona en text-to-image con grandes datasets, con vídeo o con otras arquitecturas de denoiser. Tampoco se indica el coste del propio autoencoder con jerarquía de canales: cuánto cuesta entrenarlo y qué tan sensible es a la configuración.

Conviene leer el texto completo y responder a tres preguntas. Cómo está diseñado exactamente el calendario de los tiempos asíncronos. Qué ganancia real en tiempo de inferencia aporta la compresión 128x. Si la ventaja se mantiene al escalar el modelo. De estas respuestas depende que APEX se convierta en una herramienta de trabajo o se quede en un trabajo académico pulcro.