AIRI expõe fraqueza do token cramming: 1568 tokens em um vetor, mas a compreensão se perde

Pesquisadores do laboratório FusionBrain AIRI apresentaram no ICML 2026 o trabalho «Progressive Cramming: Reliable Token Compression and What It Reveals» e demonstraram que a reconstrução perfeita, palavra por palavra, de um texto a partir de um embedding comprimido não significa que o modelo de linguagem preserve a capacidade de raciocinar sobre ele.

De onde veio o token cramming

Em fevereiro de 2025, o pesquisador da AIRI Yuri Kuratov e sua equipe publicaram o artigo «Cramming 1568 Tokens into a Single Vector and Back Again» e mostraram algo quase impossível: é possível «empacotar» até 1568 tokens — vários parágrafos de texto — em um único embedding de entrada de um LLM congelado e depois recuperá-los palavra por palavra. Um vetor de alguns milhares de números substituía milhares de tokens, o que abria perspectivas fantásticas para a compressão de contexto.

Principais parâmetros do método original:

• 1568 tokens cabem em um único vetor de entrada
• O modelo reconstrói o texto sem perder nenhum token
• O LLM congelado não passa por ajuste fino — muda apenas o embedding de entrada
• O método foi batizado de token cramming («empacotamento de tokens»)

Por que reconstruir não é entender

Ao reproduzir o resultado, a equipe do FusionBrain AIRI encontrou um problema oculto. O protocolo padrão de token cramming verifica apenas a precisão da reconstrução do texto, mas não como o modelo entende e usa o conteúdo.

Os autores do novo estudo propuseram um protocolo alternativo, o progressive cramming: a compressão começa com um número pequeno de tokens e aumenta gradualmente. A cada etapa, checa-se não só a precisão da reconstrução, mas também a capacidade do modelo de executar tarefas de compreensão — pares de pergunta e resposta, cadeias lógicas.

«O protocolo padrão de token cramming esconde falhas catastróficas.

Uma coisa é reconstruir o texto; outra, bem diferente, é entendê-lo», — Dmitri Tarasov, pesquisador do FusionBrain AIRI, em publicação do laboratório no Habr.

Os resultados foram desanimadores: com alto grau de compressão, o modelo consegue reproduzir o texto literalmente, mas perde por completo a possibilidade de raciocinar sobre o conteúdo. A precisão nas tarefas de compreensão cai ao nível do acaso.

Onde está a origem da falha

A AIRI descobriu que o problema não ocorre nas camadas profundas do transformer, mas nas primeiras camadas da rede — justamente as responsáveis pelo processamento inicial dos tokens e pela formação das características semânticas.

No token cramming, o otimizador aprende a contornar as primeiras camadas: ele cria um vetor que permite às camadas seguintes «adivinhar» os tokens necessários sem entender seu significado. Na prática, o modelo aprende a comprimir passando ao largo da semântica. Segundo os autores, a análise das trajetórias de otimização mostrou que o embedding para 1568 tokens fica em uma região do espaço completamente diferente da dos vetores de entrada normais — o que explica a incapacidade do modelo de «pensar» com esses dados.

O que isso significa

Na forma atual, o token cramming é um truque de reconstrução impressionante, mas não um método viável de compressão de contexto para tarefas que exigem compreensão. O trabalho do FusionBrain AIRI muda o padrão de avaliação de métodos de compressão: não basta verificar a precisão da reconstrução — é preciso verificar se a capacidade de raciocínio do modelo se mantém.

Perguntas frequentes

O que é token cramming?

Token cramming é um método em que centenas ou milhares de tokens de texto são «empacotados» em um único vetor de entrada de um modelo de linguagem congelado. O trabalho original de Yuri Kuratov (AIRI, fevereiro de 2025) mostrou ser possível recuperar 1568 tokens a partir de um único vetor sem ajuste fino do modelo.

Em que o progressive cramming difere do protocolo padrão?

O progressive cramming é um protocolo de avaliação proposto pela AIRI no ICML 2026, em que o grau de compressão aumenta gradualmente e, a cada etapa, verifica-se não só a precisão da reconstrução, mas também a capacidade do modelo de resolver tarefas de compreensão. Foi esse protocolo que revelou que a reconstrução perfeita não significa que o raciocínio seja preservado.