Google apresenta TurboQuant, cache KV de 3 bits para LLMs, mas o mercado de memória entrou em pânico cedo demais

O Google Research apresentou o TurboQuant, um algoritmo que promete comprimir o cache KV de modelos de linguagem para 3 bits, sem retreinamento e quase sem perda de qualidade. Essas afirmações assustaram rapidamente o mercado de memória, embora uma revolução real nos data centers ainda esteja longe.

Por que o mercado reagiu

Em 24 de março de 2026, o Google Research publicou um material sobre o TurboQuant e, dois dias depois, investidores passaram a vender ações de empresas ligadas a memória. A SK Hynix perdeu 6,23%, a Samsung 4,8%, e a Micron e a SanDisk, nos EUA, caíram cerca de 5% e 8%. A lógica do mercado parecia direta: se modelos grandes puderem funcionar com uma quantidade várias vezes menor de memória na inferência, a demanda por HBM e DRAM nos data centers também deveria diminuir. Mas essa leitura foi simplista demais e ignorou onde exatamente o TurboQuant traz ganho.

O problema que o algoritmo ataca não envolve toda a memória do modelo, apenas o cache KV. São as representações auxiliares dos tokens que o transformer guarda durante a geração de texto para não recalculá-las a cada passo. Em contexto curto, o cache KV quase não atrapalha, mas em contexto longo ele se torna o principal consumidor de memória. Em modelos grandes com janelas de dezenas e centenas de milhares de tokens, esse cache pode ocupar dezenas de gigabytes e virar gargalo na inferência em larga escala.

O que o TurboQuant faz

A indústria aprendeu há muito tempo a quantizar os pesos dos modelos, com GPTQ, AWQ e outras abordagens. Com o cache KV a situação é mais complicada, porque ele surge em tempo real e é único para cada requisição. Não dá para preparar os dados uma vez, calibrar um esquema e simplesmente aplicá-lo em todo lugar. É preciso um método capaz de comprimir rapidamente qualquer vetor novo, sem destruir a qualidade das respostas em contextos longos. É essa tarefa que o TurboQuant tenta resolver.

O esquema do Google tem dois estágios. Primeiro, a etapa PolarQuant gira o vetor com uma matriz ortogonal aleatória, para que a distribuição dos valores fique mais uniforme e previsível. Depois disso, é possível aplicar um quantizador ótimo pré-calculado, sem dados de calibração. Em seguida entra a etapa QJL, que codifica o sinal do erro residual em um único bit e reduz o viés sistemático nos produtos escalares. Com isso, o erro se acumula de forma menos perceptível em uma sequência longa de tokens, e o modelo preserva melhor a qualidade da resposta.

• Representação de 3 bits do cache KV sem retreinar o modelo
• Até 8 vezes mais rápido no cálculo dos logits de atenção na H100, segundo os autores
• Pelo menos 6 vezes menos VRAM para o próprio cache KV
• Sem calibração offline obrigatória para cada modelo específico

Onde estão os limites do método

O ponto mais importante é que a tecnologia ainda não parece um padrão industrial. A comunidade já notou que, em modelos pequenos de até 3B parâmetros, a compressão agressiva para 3 bits pode prejudicar visivelmente a qualidade, causar repetições e piorar a coerência do texto. Em muitos cenários práticos, o modo de 4 bits continua sendo a opção mais segura.

Além disso, o Google publicou até agora apenas um post de blog e um preprint. Ainda não há implementação oficial e, em 29 de abril de 2026, o algoritmo não está integrado ao vLLM, ao llama.cpp nem ao SGLang.

Há também uma disputa científica sobre a prioridade da ideia. Jianyang Gao, um dos autores do algoritmo anterior RaBitQ, afirmou que o TurboQuant é próximo demais da abordagem deles e, ao mesmo tempo, descreve o antecessor de forma incorreta. Entre as queixas estão a minimização da semelhança metodológica, uma crítica contestável à teoria do RaBitQ e uma comparação em condições desiguais: o TurboQuant foi testado em uma GPU A100, enquanto o RaBitQ, em um dos benchmarks, rodou em Python de thread única. A reclamação já foi enviada ao comitê de ética da ICLR, e o Google ainda não deu resposta pública.

O que isso significa

O TurboQuant parece não um colapso do mercado de memória, mas uma melhoria forte em um gargalo específico da inferência de LLMs. Se o Google liberar o código e o método entrar nos stacks padrão, contextos longos ficarão mais baratos e rodar modelos grandes em hardware mais modesto se tornará mais realista. Mas, por enquanto, é mais um resultado de pesquisa importante do que uma virada industrial pronta.