Google apresenta o TurboQuant: algoritmo reduz em seis vezes a memória usada por modelos de IA

Google apresenta o TurboQuant: algoritmo reduz em seis vezes a memória usada por modelos de IA

O avanço acelerado dos grandes modelos de linguagem esbarrou em uma barreira física severa: o crescimento exponencial das exigências de poder computacional e de memória RAM. Por muito tempo, parecia que escalar a inteligência artificial seria prerrogativa de corporações com orçamentos ilimitados para hardware de servidores. Agora, a equipe de pesquisadores do Google Research propôs uma solução elegante para o problema.

A tecnologia TurboQuant, um algoritmo de quantização inovador, representa um verdadeiro salto na otimização de redes neurais. Os engenheiros conseguiram reduzir em seis vezes o consumo de memória dos modelos, preservando integralmente a precisão original na geração de respostas. O feito marca a transição da expansão extensiva do hardware de servidores para um uso intensivo e mais inteligente das arquiteturas já existentes.

Para entender a dimensão da conquista, é preciso conhecer o principal consumidor de memória nos sistemas generativos atuais: o chamado KV-cache. Ao processar linguagem natural, os modelos transformer armazenam os cálculos intermediários de chaves e valores de cada token. Isso permite que a rede neural lembre o contexto da conversa e não recalcule os dados anteriores a cada nova palavra gerada.

Com precisão padrão de dezesseis ou trinta e dois bits, esse cache cresce até tamanhos colossais conforme aumenta o comprimento da requisição do usuário. Na prática, os aceleradores de IA de ponta acabam enchendo sua cara memória não tanto com os pesos do modelo, mas com o contexto das sessões em andamento. Até hoje, as tentativas de comprimir esses dados de forma agressiva resultavam em queda inaceitável na qualidade das respostas ou exigiam meses de retreinamento, com alto custo de recursos, de todo o sistema para os novos parâmetros.

O TurboQuant se baseia na compressão radical da precisão do KV-cache para inéditos três bits. A quantização, processo matemático que converte valores contínuos ou de alta precisão em equivalentes discretos de baixa precisão, é conhecida há muito tempo. Os especialistas do Google Research, porém, conseguiram contornar seus principais obstáculos.

Na arquitetura, eles incluíram um mecanismo inteligente de compensação de perdas: na prática, usa-se um formato de quatro bits, em que três bits representam o valor comprimido e um bit adicional é destinado exclusivamente à correção matemática de erros. Essa abordagem preservou as nuances mais sutis das ativações dentro da rede neural. Mas o aspecto mais impressionante da tecnologia é que o algoritmo é aplicado praticamente em tempo real e não exige absolutamente nenhum retreinamento das gigantescas matrizes de parâmetros, o que por si só economiza milhões de dólares em tempo de computação.

Os testes práticos do novo algoritmo, realizados com os aceleradores de IA topo de linha Nvidia H100, trouxeram resultados impressionantes, que confirmam a solidez da teoria. Combinada com GPUs modernas, a versão de quatro bits do TurboQuant proporcionou um aumento de oito vezes na velocidade de cálculo dos logits de atenção em comparação com as chaves tradicionais não quantizadas de trinta e dois bits. A matemática da inferência mudou: em vez de gastar ciclos preciosos transferindo blocos pesados de dados entre os níveis de memória, os chips passam a operar com pacotes ultracompactos.

Ao mesmo tempo, o volume total de cache utilizado caiu exatamente seis vezes. O modelo roda várias vezes mais rápido, ocupa muito menos espaço e entrega um resultado de qualidade idêntica, o que, na indústria de hardware, é considerado o cenário ideal de otimização.

As consequências desse avanço para o mercado global de inteligência artificial são difíceis de superestimar. Em primeiro lugar, a redução radical do apetite de hardware dos grandes modelos de linguagem permite executá-los em equipamentos menos potentes e, portanto, mais acessíveis. Se antes a implantação de uma rede neural corporativa exigia clusters com dezenas de placas de vídeo topo de linha, agora será possível obter desempenho equivalente com hardware de gerações anteriores ou com um número bem menor de chips modernos.

Para as gigantes de tecnologia, isso significa um barateamento enorme na escalabilidade dos serviços de IA em nuvem e a redução do consumo de energia dos data centers, tema que nos últimos anos passou a gerar preocupação séria. Para as startups, é uma chance única de competir em IA generativa sem precisar captar investimentos astronômicos para comprar servidores.

Em resumo, é possível afirmar com segurança que o trabalho do Google Research desloca o foco de toda a indústria da corrida infinita por poder computacional para a elegância dos algoritmos matemáticos. O TurboQuant mostra que o limite de eficiência das redes neurais atuais está longe de ser alcançado e que a arquitetura dos transformers esconde enormes reservas ainda não exploradas. À medida que o algoritmo for integrado a frameworks abertos e produtos comerciais, a indústria provavelmente verá uma nova onda de aplicações de IA capazes de processar janelas de contexto enormes com custos mínimos.

A inteligência artificial fica não só mais funcional, mas também mais econômica, dando mais um passo firme rumo a uma adoção sustentável e generalizada no nosso dia a dia.