Google apresenta TurboQuant, algoritmo que comprime em até seis vezes a memória de trabalho da IA

O Google anunciou o TurboQuant, novo algoritmo de compressão da memória de trabalho de redes neurais que, segundo a empresa, pode reduzir o consumo de memória em até seis vezes. O anúncio provocou de imediato uma onda de piadas na comunidade de tecnologia: usuários do mundo todo o comparam ao Pied Piper, o algoritmo fictício da série "Silicon Valley", da HBO, que virou símbolo cult do hype tecnológico sem fundamento.

Por enquanto, o TurboQuant continua sendo um experimento de laboratório: a empresa não divulgou artigo técnico, código público nem prazos de adoção comercial.

Por que a memória das redes neurais é um problema crítico

Grandes modelos de linguagem exigem volumes colossais de memória de GPU. O problema tem duas dimensões. A primeira é estática: os próprios pesos do modelo. O Llama 3.1 com 70 bilhões de parâmetros ocupa cerca de 140 gigabytes em precisão total.

A segunda dimensão é dinâmica: os cálculos intermediários que o modelo faz ao processar cada requisição. Esses dados temporários se chamam ativações e, em contextos longos, tornam-se o principal gargalo. Quando um modelo processa um documento de 100.000 tokens, precisa manter na memória os resultados dos cálculos de cada camada para cada token, o chamado KV cache. O volume desses dados cresce linearmente com o tamanho do contexto e, com entradas suficientemente longas, pode superar o dos próprios pesos.

É aqui que o TurboQuant propõe uma solução radical.

Como funciona o TurboQuant

O algoritmo aplica quantização, técnica que reduz a precisão numérica das representações, diretamente às ativações em tempo real. Há décadas, a quantização padrão é aplicada aos pesos estáticos dos modelos: em vez de números de ponto flutuante de 32 bits, usam-se inteiros de 8 ou 4 bits. Isso funciona bem para pesos imutáveis, porque a faixa de valores é previsível.

As ativações são outra história. Seus valores variam de forma imprevisível conforme a requisição, o que torna a quantização padrão ineficaz sem perda de qualidade.

O Google afirma que o TurboQuant resolve esse problema com métodos adaptativos que levam em conta a estatística das ativações em tempo real. Segundo a empresa, isso permite alcançar compressão de seis vezes sem degradação significativa da qualidade das respostas.

O que significaria a confirmação dos resultados

Mesmo um resultado prático mais modesto, compressão de duas a três vezes, mudaria a economia da infraestrutura de IA. Os maiores provedores de nuvem gastam dezenas de bilhões de dólares por ano em infraestrutura de GPU para atender requisições aos modelos. Boa parte desse custo vem justamente dos requisitos de memória na inferência.

Comprimir as ativações significaria modelos mais potentes no mesmo hardware, menor latência pela redução de operações de memória e a possibilidade de processar contextos longos sem perda de desempenho.

Para dispositivos de borda (edge), as consequências são ainda maiores. Hoje, rodar modelos do nível do Llama 3.1 70B exige várias placas de vídeo ou concessões agressivas de precisão. O TurboQuant poderia baixar muito essa barreira e levar modelos potentes a notebooks e estações de trabalho com memória limitada.

O fenômeno Pied Piper e o que está por trás

A comparação com o Pied Piper não é só um meme. Na série, uma startup fictícia cria um algoritmo de compressão universal com características fantásticas, baseado em um original "coeficiente de Weissman". Os paralelos com o TurboQuant são óbvios: números revolucionários, código fechado e falta de verificação independente.

A diferença é que o Google DeepMind não é uma startup de garagem. A empresa tem um longo histórico de conquistas reais em eficiência: Flash Attention, otimização de KV cache, algoritmos de destilação. Se o TurboQuant passou por revisão interna e foi anunciado publicamente, é provável que haja um resultado real por trás.

O próximo passo obrigatório é a publicação no arXiv e a reprodução independente dos números por pesquisadores externos. Até lá, o TurboQuant continua sendo uma promessa. Se os resultados se confirmarem, as piadas sobre o Pied Piper ficarão para trás junto com o problema da memória das redes neurais, e esse seria um bom desfecho.