TTR-Compressor comprime sequências por regressão e reduz tokens visuais em 55,6%

Pesquisadores apresentaram o TTR-Compressor, um módulo de compressão de sequências que, em vez de pooling e projeções treináveis, usa uma regressão resolvida diretamente no forward pass. Em modelos de linguagem multimodais, ele supera de forma consistente o MLP-merger padrão e iguala a qualidade dele com 55,6% menos tokens visuais. Na atenção esparsa em blocos, eleva bastante o resultado no benchmark RULER em relação aos compressores construídos sobre o próprio mecanismo de atenção.

O gargalo dentro dos modelos eficientes

A compressão de sequências aparece em praticamente todas as arquiteturas modernas, embora raramente seja tema de destaque. Os codificadores visuais geram centenas de tokens por imagem, e é preciso fundi-los em um número menor antes de enviá-los ao modelo de linguagem. Na atenção esparsa, o contexto longo é dividido em blocos, e cada bloco precisa de uma representação compacta, com base na qual o modelo decide para onde olhar. Em todos os casos, o recurso é o mesmo: média, max-pooling ou uma pequena projeção treinável, como um MLP.

O problema é que essas operações perdem informação justamente onde ela é mais necessária. A média dilui tokens raros, mas importantes. Uma projeção fixa não consegue se ajustar ao conteúdo de cada sequência. Os autores chamam a compressão de barreira crítica de informação e afirmam que as abordagens mais comuns não são fortes o suficiente.

Uma regressão resolvida em tempo de execução

A ideia do TTR-Compressor é tratar a compressão como um problema de regressão em tempo de teste. Os próprios tokens de entrada definem a tarefa de regressão, e os coeficientes ajustados servem como representação comprimida do bloco. A informação da sequência chega à saída pelo ajuste aos seus próprios tokens, e não por um mapeamento linear fixo.

O principal detalhe de engenharia está no custo computacional. A formulação do problema de regressão é treinada de ponta a ponta, com a retropropagação do erro de sempre. Já os coeficientes são calculados no forward pass em forma fechada, sem iterações internas de otimização. Esse desenho oferece adaptação relevante à entrada e preserva a velocidade que justifica a existência do compressor. Como a solução fechada é diferenciável, tudo pode ser treinado junto com o restante do modelo.

Principais resultados do trabalho:

• atenção esparsa em blocos: o TTR-Compressor melhora de forma expressiva os resultados no RULER em comparação com compressores baseados em atenção;
• fusão de tokens visuais em LLMs multimodais: o método supera de forma consistente o MLP-merger padrão;
• eficiência: a qualidade do MLP-merger é alcançada com 55,6% menos tokens visuais;
• generalidade: os autores posicionam o método como substituto geral para pooling e projeções, e não como solução para uma única tarefa.

Por que o número 55,6% importa

O RULER mede o quanto o modelo retém e localiza informações em contextos longos, e é um teste incômodo para qualquer esquema de compressão. Se o compressor de blocos perde detalhes, a atenção esparsa não consegue escolher os blocos certos, e a qualidade cai. A grande vantagem sobre os compressores baseados em atenção indica que a representação por regressão preserva mais sinal útil.

Para modelos multimodais, a conta é direta. Tokens visuais custam caro tanto no prefill quanto no KV-cache, e o número de imagens e de quadros de vídeo por requisição só cresce. Reduzir esse número quase pela metade, com a mesma qualidade, significa menos memória, menor latência e mais imagens em um único contexto com o mesmo orçamento. Além disso, o compressor substitui um único componente, sem exigir que o restante da arquitetura seja reescrito.

Onde isso pode ser útil primeiro

Os primeiros candidatos a testar o método são equipes que treinam modelos multimodais com um merger visual e esbarram no custo de inferência. Trocar o MLP-merger pelo TTR-Compressor parece um experimento local: muda-se um módulo, e a métrica de comparação é clara, seja a qualidade com número fixo de tokens, seja o número de tokens com qualidade fixa.

O segundo grupo reúne desenvolvedores de modelos de contexto longo com atenção esparsa em blocos. Para eles, o compressor de blocos determina a precisão do roteamento da atenção, e o resultado no RULER aponta diretamente para um ganho.

Por ora, há uma limitação: a avaliação cobriu apenas dois tipos de tarefa. Como o método se comporta em outras modalidades, em áudio ou em modelos muito grandes, só reproduções independentes poderão mostrar. Ainda assim, o princípio "os tokens definem a regressão, os coeficientes são a representação" parece um primitivo básico, fácil de incorporar a arquiteturas eficientes já existentes.