Google apresenta TurboQuant: compressão de 6 vezes do cache KV de LLMs sem perda de precisão

O Google Research apresentou o TurboQuant, um algoritmo de compressão do cache KV para grandes modelos de linguagem que busca eliminar uma das principais limitações do contexto longo. Segundo a empresa, o método reduz o consumo de memória em pelo menos seis vezes e, em algumas configurações, acelera o cálculo de attention em até oito vezes, sem perda de qualidade nas tarefas de teste.

Por que o cache KV pesa no desempenho

Quando um LLM trabalha com contexto longo, ele guarda chaves e valores intermediários no cache KV para não recalculá-los a cada token. Isso economiza computação, mas logo esbarra na memória: quanto maior o modelo e mais longo o diálogo ou o documento, mais o cache cresce. Com isso, o gargalo não é só a GPU em si, mas também a troca de dados entre a SRAM rápida e a memória HBM. Na inferência isso é especialmente doloroso, porque requisições longas ficam bem mais caras tanto em latência quanto em hardware.

O

Google compara o cache KV a uma "cola digital de alta velocidade" que o modelo usa no lugar de repetir cálculos.

A quantização convencional resolve o problema em parte, mas tem um efeito colateral: junto com os dados comprimidos, é preciso armazenar constantes de quantização adicionais. Esses bits extras consomem parte do ganho, principalmente quando se trata de bilhões de valores dentro de um contexto longo. É nesse ponto que o Google constrói o TurboQuant: a ideia não é simplesmente comprimir os vetores com mais força, mas eliminar o overhead extra que impede uma economia real de memória.

Como funciona o TurboQuant

O TurboQuant tem duas etapas. Primeiro entra o PolarQuant: o algoritmo gira os vetores de forma aleatória, converte-os para uma representação mais conveniente e depois quantiza cada coordenada separadamente. Essa abordagem preserva a estrutura principal dos dados originais sem um ajuste complexo para cada bloco.

Em seguida entra a segunda camada: Quantized Johnson-Lindenstrauss, ou QJL. Ela pega o erro residual da primeira etapa e o codifica com um bit adicional, de modo a eliminar o viés sistemático no cálculo do inner product e do attention score.

Na prática, isso importa por dois motivos. Primeiro, o TurboQuant continua data-oblivious: não precisa de datasets de calibração, treinamento adicional nem fine-tuning para um modelo específico. Segundo, o método serve para cenários online, nos quais o cache precisa ser comprimido durante a própria inferência, e não por meio de um pipeline offline separado.

O Google ressalta que o esquema é útil não só para LLMs, mas também para busca vetorial, que também precisa armazenar e comparar de forma rápida e barata grandes conjuntos de embeddings. A empresa prepara a apresentação do próprio TurboQuant no ICLR 2026.

Que resultados o Google obteve

O Google testou o TurboQuant em LongBench, Needle In A Haystack, ZeroSCROLLS, RULER e L-Eval, usando os modelos abertos Gemma e Mistral. Segundo a empresa, o TurboQuant preserva a qualidade em tarefas de contexto longo e reduz de forma perceptível o cache KV. No blog do Google, o destaque é a quantização de 3 bits sem perda de qualidade nos benchmarks testados, enquanto no abstract do artigo no arXiv se registra separadamente a preservação total da qualidade com 3,5 bits por canal e apenas uma pequena degradação com 2,5 bits.

• redução de pelo menos 6 vezes na memória do cache KV
• aceleração de até 8 vezes no cálculo de attention logits em uma H100 na configuração de 4 bits, em comparação com chaves de 32 bits não quantizadas
• sem necessidade de retreinamento, fine-tuning ou datasets de calibração
• bons resultados também em busca vetorial: o TurboQuant superou os métodos de referência PQ e RabbiQ em recall no dataset GloVe

O Google também aposta na aplicação do método em busca. TurboQuant, PolarQuant e QJL reduzem não só o uso de memória, mas também o tempo de construção do índice, mantendo a precisão da busca por vizinhos mais próximos. Isso torna a tecnologia interessante não apenas para modelos generativos, mas para qualquer infraestrutura que lide com coleções enormes de vetores: da busca semântica a sistemas de recomendação e à camada de retrieval de produtos de IA.

O que isso significa

O TurboQuant mostra que o próximo grande ganho para LLMs pode vir não de novos parâmetros do modelo, mas de um uso mais inteligente da memória. Se a abordagem do Google se confirmar em produção e chegar às stacks de inferência populares, o contexto longo ficará mais barato, mais rápido e mais acessível, mesmo sem upgrade de hardware. Para desenvolvedores, é a chance de encaixar sessões mais longas e cenários de RAG no mesmo orçamento de GPU; para os usuários, de receber respostas mais estáveis em documentos grandes e diálogos longos.