AIRI раскрыла слабость token cramming: 1568 токенов в векторе, но понимание теряется

Pesquisadores do laboratório FusionBrain AIRI apresentaram no ICML 2026 o artigo "Progressive Cramming: Reliable Token Compression and What It Reveals" e provaram que a reconstrução perfeita palavra por palavra de um texto a partir de um embedding comprimido não significa que o modelo de linguagem mantém a capacidade de raciocinar sobre ele.

De onde surgiu o token cramming

Em fevereiro de 2025, o pesquisador da AIRI Yuri Kuratov e sua equipe publicaram o artigo "Cramming 1568 Tokens into a Single Vector and Back Again" e demonstraram algo quase impossível: até 1568 tokens — vários parágrafos de texto — podem ser "compactados" em um único embedding de entrada de uma LLM congelada e depois recuperados palavra por palavra. Um vetor de alguns milhares de números substituía milhares de tokens, abrindo perspectivas fantásticas para a compressão de contexto.

Parâmetros-chave do método original:

• 1568 tokens cabem em um único vetor de entrada
• O modelo recupera o texto com zero perda de tokens
• A LLM congelada não é ajustada — apenas o embedding de entrada muda
• O método foi chamado de token cramming

Por que reconstrução não é compreensão

A equipe FusionBrain AIRI, ao reproduzir o resultado, descobriu um problema oculto. O protocolo padrão de token cramming verifica apenas a precisão da reconstrução do texto, mas não como o modelo compreende e utiliza o conteúdo.

Os autores do novo estudo propuseram um protocolo alternativo — progressive cramming: a compressão começa com um pequeno número de tokens e aumenta gradualmente, sendo que a cada etapa verifica-se não apenas a precisão da reconstrução, mas também a capacidade do modelo de executar tarefas de compreensão — pares de perguntas e respostas, cadeias lógicas.

"O protocolo padrão de token cramming esconde falhas catastróficas.

Uma coisa é reconstruir o texto, outra completamente diferente é compreendê-lo", — Dmitry Tarasov, pesquisador da FusionBrain AIRI, em publicação do laboratório no Habr.

Os resultados foram desanimadores: com alto grau de compressão, o modelo consegue reproduzir o texto palavra por palavra, mas perde completamente a capacidade de raciocinar sobre seu conteúdo. A precisão em tarefas de compreensão cai ao nível do acaso.

Onde está escondida a causa da falha

A AIRI descobriu que a falha não ocorre nas camadas profundas do transformer, mas nas primeiras camadas da rede — são justamente essas camadas que respondem pelo processamento primário dos tokens e pela formação de características semânticas.

Com o token cramming, o otimizador aprende a contornar as primeiras camadas: é criado um vetor que permite às camadas subsequentes "adivinhar" os tokens necessários sem compreender seu significado. Na prática, o modelo aprende a comprimir, ignorando a semântica. Segundo os autores do estudo, a análise das trajetórias de otimização mostrou que o embedding para 1568 tokens está em uma região completamente diferente do espaço em relação aos vetores de entrada normais — isso explica a incapacidade do modelo de "pensar" com esses dados.

O que isso significa

O token cramming em sua forma atual é um impressionante truque de reconstrução, mas não um método funcional de compressão de contexto para tarefas que exigem compreensão. O trabalho da FusionBrain AIRI muda o padrão de avaliação dos métodos de compressão: não basta verificar a precisão da reconstrução — é necessário verificar se a capacidade do modelo de raciocinar foi preservada.

Perguntas frequentes

O que é token cramming?

Token cramming é um método no qual centenas ou milhares de tokens de texto são "compactados" em um único vetor de entrada de um modelo de linguagem congelado. O trabalho original de Yuri Kuratov (AIRI, fevereiro de 2025) demonstrou a possibilidade de recuperar 1568 tokens de um único vetor sem ajuste fino do modelo.

Como o progressive cramming difere do protocolo padrão?

Progressive cramming é um protocolo de avaliação proposto pela AIRI no ICML 2026, no qual o grau de compressão aumenta gradualmente e a cada etapa verifica-se não apenas a precisão da reconstrução, mas também a capacidade do modelo de resolver tarefas de compreensão. Foi exatamente esse protocolo que revelou que a reconstrução perfeita não significa que o raciocínio foi preservado.