TTR-Compressor comprime secuencias mediante regresión y recorta un 55,6% los tokens visuales

Un equipo de investigadores presentó TTR-Compressor, un módulo de compresión de secuencias que, en lugar de pooling y proyecciones entrenables, usa una regresión que se resuelve directamente en el paso hacia delante. En los modelos de lenguaje multimodales supera de forma consistente al MLP-merger estándar e iguala su calidad con 55,6% menos de tokens visuales. En la atención dispersa por bloques mejora de forma notable el resultado en el benchmark RULER frente a los compresores basados en el propio mecanismo de atención.

El cuello de botella dentro de los modelos eficientes

La compresión de secuencias está presente en casi todas las arquitecturas modernas, aunque se habla poco de ella. Los codificadores visuales producen cientos de tokens por imagen, y hay que fusionarlos en un número menor antes de pasarlos al modelo de lenguaje. En la atención dispersa, el contexto largo se divide en bloques, y cada bloque necesita una representación compacta con la que el modelo decide hacia dónde mirar. En todos los casos se recurre al mismo recurso: promediado, max-pooling o una pequeña proyección entrenable como un MLP.

El problema es que estas operaciones pierden información justo donde más hace falta. El promedio diluye los tokens raros pero importantes. Una proyección fija no se adapta al contenido de cada secuencia concreta. Los autores describen la compresión como una barrera crítica de información y consideran que los enfoques habituales no son lo bastante potentes.

Una regresión que se resuelve al vuelo

La idea de TTR-Compressor es tratar la compresión como un problema de regresión en tiempo de prueba. Los propios tokens de entrada definen la tarea de regresión, y los coeficientes ajustados funcionan como representación comprimida del bloque. La información de la secuencia llega a la salida mediante un ajuste a sus propios tokens, y no mediante una aplicación lineal fija.

El detalle de ingeniería más importante tiene que ver con el coste computacional. El planteamiento de la tarea de regresión se entrena de extremo a extremo, con la retropropagación del error habitual. En cambio, los coeficientes se calculan en el paso hacia delante en forma cerrada, sin iteraciones internas de optimización. Este esquema aporta una adaptabilidad real a la entrada y conserva la velocidad que justifica tener un compresor. Como la solución cerrada es diferenciable, todo se puede entrenar junto con el resto del modelo.

Principales resultados del trabajo:

• atención dispersa por bloques: TTR-Compressor mejora de forma notable las métricas de RULER frente a los compresores basados en atención;
• fusión de tokens visuales en LLM multimodales: el método supera de forma consistente al MLP-merger estándar;
• eficiencia: se alcanza la calidad del MLP-merger con 55,6% menos de tokens visuales;
• generalidad: los autores presentan el método como un reemplazo general del pooling y de las proyecciones, y no como una solución para una sola tarea.

Por qué importa la cifra de 55,6%

RULER mide hasta qué punto un modelo retiene y localiza información en contextos largos, y es una prueba incómoda para cualquier esquema de compresión. Si el compresor de bloques pierde detalles, la atención dispersa no puede elegir los bloques correctos y la calidad cae. La gran ventaja sobre los compresores basados en atención indica que la representación por regresión conserva más señal útil.

En los modelos multimodales, la ventaja se calcula de forma directa. Los tokens visuales son caros tanto en el prefill como en la KV-cache, y el número de imágenes y de fotogramas de vídeo por solicitud no deja de crecer. Reducirlos casi a la mitad con la misma calidad supone menos memoria, menor latencia y más imágenes en un mismo contexto con el mismo presupuesto. Además, el compresor sustituye un solo componente y no obliga a reescribir el resto de la arquitectura.

Dónde puede resultar útil primero

Los primeros candidatos a probarlo son los equipos que entrenan modelos multimodales con un merger visual y se topan con el coste de inferencia. Sustituir el MLP-merger por TTR-Compressor parece un experimento local: cambia un único módulo y la métrica de comparación es clara, ya sea la calidad con un número fijo de tokens o el número de tokens con una calidad fija.

El segundo grupo son los desarrolladores de modelos de contexto largo con atención dispersa por bloques. Para ellos, el compresor de bloques determina la precisión con que funciona el enrutamiento de la atención, y el resultado en RULER apunta directamente a una mejora.

Por ahora hay una sola limitación: la evaluación se hizo en dos clases de tareas. Cómo se comportará el método con otras modalidades, con audio o con modelos muy grandes lo dirán las reproducciones independientes. Aun así, el principio de «los tokens definen la regresión y los coeficientes son la representación» parece un primitivo básico que se puede integrar con facilidad en arquitecturas eficientes ya existentes.