TokenGate acelera o prefill em LLMs em até 11,3 vezes com poda treinável de tokens

Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia e Carlos Guestrin apresentaram o TokenGate, um componente que torna o prefill em grandes modelos de linguagem muito mais rápido e econômico em memória. Em vez de processar todos os tokens de entrada em cada camada do transformer, o TokenGate permite que os modelos ignorem seletivamente o contexto irrelevante, de forma semelhante a como uma pessoa lê um documento longo: percorre rapidamente o conteúdo e só lê com atenção as partes-chave.

O problema que o TokenGate resolve é crítico para o uso prático de LLMs: processar contextos longos exige recursos computacionais e de memória significativos. Quando um modelo recebe milhares ou dezenas de milhares de tokens de entrada (por exemplo, todo o código-fonte de um repositório ou um documento extenso), ele é forçado a passar cada token por todas as camadas de atenção. O TokenGate introduz um mecanismo de learnable token pruning — poda treinável — que determina quais tokens realmente importam para a tarefa em questão.

O mecanismo de token-gated attention

O centro da inovação do TokenGate é o token-gated attention, um mecanismo inspirado na arquitetura Mixture-of-Experts. A descoberta-chave de engenharia resolve o problema da não diferenciabilidade: em vez de um operador top-K rígido para descartar tokens (o que dificulta o treinamento end-to-end), o sistema usa uma reavaliação suave. Cada token recebe uma pontuação de importância que reavalia sua contribuição para o cálculo de atenção. Isso permite treinar todo o mecanismo de poda junto com o restante do modelo em um único processo, sem truques especiais ou etapas extras.

Resultados e desempenho

Em experimentos com tarefas diversas, o TokenGate apresenta resultados impressionantes:

• Aceleração do time-to-first token (TTFT): de 1,4 a 11,3 vezes, dependendo da tarefa e do tamanho do contexto • Redução do pico de memória: de 1,5 a 3,4 vezes sem perda de precisão • Comparação com os melhores concorrentes: até 6,4 vezes mais rápido no prefill e metade do pico de memória em relação aos métodos de poda de tokens existentes

Compatibilidade e integração

O TokenGate foi projetado como um componente plug-and-play que estende modelos já treinados sem exigir retreinamento. O sistema funciona tanto com transformers padrão (por exemplo, Qwen3) quanto com os modelos de atenção híbrida de nova geração (por exemplo, Qwen3.5). A adaptação exige apenas técnicas simples e parametricamente eficientes, com complexidade comparável ao fine-tuning padrão parâmetro-eficiente (PEFT).

Os autores compartilham os resultados com a comunidade: o código completo está disponível no repositório https://github.com/tokengate-models/TokenGate. Isso permite que outros pesquisadores e engenheiros integrem o TokenGate imediatamente em seus próprios sistemas.

O TokenGate resolve um problema real na implantação de LLMs em produção: a necessidade de processar contextos longos rapidamente e sem uso excessivo de recursos. A abordagem de poda treinável de tokens com token-gated attention abre caminho para um uso mais eficiente das capacidades dos grandes modelos de linguagem atuais.