AIRI revela la debilidad del token cramming: 1568 tokens en un vector, pero la comprensión se pierde

Investigadores del laboratorio FusionBrain AIRI presentaron en ICML 2026 el trabajo «Progressive Cramming: Reliable Token Compression and What It Reveals». Su conclusión: que un texto se reconstruya a la perfección, palabra por palabra, a partir de un embedding comprimido no implica que el modelo de lenguaje conserve la capacidad de razonar sobre él.

De dónde surgió el token cramming

En febrero de 2025, el investigador de AIRI Yuri Kuratov y su equipo publicaron el trabajo «Cramming 1568 Tokens into a Single Vector and Back Again». Mostraron algo casi imposible: en un único embedding de entrada de un LLM congelado se pueden «empaquetar» hasta 1568 tokens (varios párrafos de texto) y luego reconstruirlos palabra por palabra. Un vector de unos pocos miles de números sustituía a miles de tokens, lo que abría perspectivas extraordinarias para la compresión del contexto.

Parámetros clave del método original:

• 1568 tokens caben en un solo vector de entrada
• El modelo reconstruye el texto sin perder ni un token
• El LLM congelado no se reentrena: solo cambia el embedding de entrada
• El método recibió el nombre de token cramming («empaquetado de tokens»)

Por qué reconstruir no es comprender

Al reproducir el resultado, el equipo de FusionBrain AIRI detectó un problema oculto. El protocolo estándar de token cramming comprueba únicamente la exactitud de la reconstrucción del texto, pero no cómo el modelo entiende y utiliza su contenido.

Los autores del nuevo estudio propusieron un protocolo alternativo, el progressive cramming: la compresión empieza con un número reducido de tokens y aumenta de forma gradual. En cada paso se evalúa no solo la exactitud de la reconstrucción, sino también la capacidad del modelo para resolver tareas de comprensión, como pares de pregunta y respuesta o cadenas lógicas.

«El protocolo estándar de token cramming oculta fallos catastróficos.

Una cosa es reconstruir un texto y otra muy distinta, comprenderlo», afirma Dmitri Tarásov, investigador de FusionBrain AIRI, en la publicación del laboratorio en Habr.

Los resultados fueron desalentadores: con un alto grado de compresión, el modelo logra reproducir el texto al pie de la letra, pero pierde por completo la posibilidad de razonar sobre su contenido. La precisión en las tareas de comprensión cae hasta el nivel del azar.

Dónde se esconde la causa del fallo

AIRI determinó que el fallo no se produce en las capas profundas del transformer, sino en las primeras capas de la red, precisamente las encargadas del procesamiento inicial de los tokens y de la formación de rasgos semánticos.

En el token cramming, el optimizador aprende a esquivar las primeras capas: genera un vector que permite a las capas posteriores «adivinar» los tokens necesarios sin entender su significado. En la práctica, el modelo aprende a comprimir saltándose la semántica. Según los autores del estudio, el análisis de las trayectorias de optimización mostró que el embedding correspondiente a 1568 tokens se sitúa en una región del espacio completamente distinta a la de los vectores de entrada normales, lo que explica que el modelo no pueda «pensar» con esos datos.

Qué significa esto

El token cramming, tal como se plantea hoy, es un truco de reconstrucción impresionante, pero no un método útil de compresión de contexto para tareas que exigen comprensión. El trabajo de FusionBrain AIRI cambia el estándar de evaluación de los métodos de compresión: ya no basta con comprobar la exactitud de la reconstrucción, hay que verificar que el modelo conserve la capacidad de razonar.

Preguntas frecuentes

¿Qué es el token cramming?

El token cramming es un método en el que cientos o miles de tokens de texto se «empaquetan» en un único vector de entrada de un modelo de lenguaje congelado. El trabajo original de Yuri Kuratov (AIRI, febrero de 2025) demostró que es posible reconstruir 1568 tokens a partir de un solo vector sin reentrenar el modelo.

¿En qué se diferencia el progressive cramming del protocolo estándar?

El progressive cramming es un protocolo de evaluación propuesto por AIRI en ICML 2026 en el que el grado de compresión aumenta gradualmente y, en cada paso, se comprueba no solo la exactitud de la reconstrucción, sino también la capacidad del modelo para resolver tareas de comprensión. Este protocolo reveló que una reconstrucción perfecta no garantiza que se conserve el razonamiento.