NVIDIA apresenta KVTC: compressão do cache de LLMs em 20 vezes promete acelerar redes neurais

# NVIDIA apresenta KVTC: compressão do cache de LLMs em 20 vezes promete acelerar redes neurais

A indústria de inteligência artificial deu de cara com um paradoxo: quanto mais poderosos os modelos de linguagem, mais lentos eles ficam. Pesquisadores da NVIDIA identificaram a origem dessa lentidão e propuseram uma solução radical. A nova arquitetura KVTC comprime em vinte vezes o cache de dados auxiliares e elimina o principal gargalo no processamento de requisições das redes neurais modernas. O desenvolvimento pode mudar a economia da IA na nuvem, permitindo que empresas atendam várias vezes mais usuários em um único servidor.

O problema estava na própria arquitetura dos transformers, base do ChatGPT, do Claude, do Gemini e dos demais LLMs. Quando o modelo processa um texto, ele cria um cache KV especial, que guarda as chaves e os valores de cada token, necessários para calcular a atenção nas etapas seguintes da geração. Parece técnico, mas a ideia é simples: são dados intermediários sem os quais o modelo não consegue continuar a conversa.

Conforme o modelo cresce e o contexto aumenta (a quantidade de palavras que ele lembra), esse cache cresce de forma exponencial. Em LLMs avançados, com dezenas de bilhões de parâmetros, o cache KV pode ocupar dezenas de gigabytes da memória de vídeo da GPU. Em documentos longos, ou quando o servidor precisa atender centenas de usuários simultaneamente, a memória enche por completo e o sistema começa a travar.

A equipe da NVIDIA propôs usar codificação por transformação para comprimir esse cache sem perder qualidade nas respostas. O KVTC funciona como um compressor inteligente: o sistema analisa quais partes do cache KV são realmente críticas para a precisão e quais podem ser descartadas ou quantizadas com segurança. Em testes práticos, o método alcança compressão de 20 vezes com queda mínima de desempenho do modelo. Não é apenas uma redução de memória, mas uma revisão fundamental de como os transformers armazenam seus dados auxiliares.

É difícil exagerar a importância desse avanço. Segundo pesquisas, a operação de LLMs na nuvem responde por até 60% dos gastos dos data centers com memória e processamento. Se o KVTC permitir que uma empresa comporte quatro vezes mais requisições simultâneas no mesmo hardware, isso significa uma redução de quatro vezes no custo por token. Para um serviço como ChatGPT ou Claude, que atende milhões de requisições por dia, isso representa centenas de milhões de dólares em economia. Além disso, os usuários devem receber geração de texto mais rápida, já que um cache em memória mais veloz é processado bem mais depressa.

A adoção do KVTC também ampliará o acesso à IA. Empresas que não têm como bancar enormes clusters de GPUs caras poderão rodar modelos potentes em hardware mais modesto. Isso é especialmente importante para startups e para empresas fora dos polos de tecnologia. Os pesquisadores da NVIDIA já compartilharam documentação detalhada do método, o que deve permitir à comunidade integrar rapidamente o KVTC a frameworks populares como vLLM e TensorRT-LLM.

Embora o KVTC resolva um problema técnico específico, ele aponta para uma tendência mais ampla no setor de IA: o futuro pertence aos engenheiros que sabem fazer modelos não maiores e mais complexos, mas mais eficientes. Quando o tamanho dos modelos já chega a limites físicos e econômicos, a otimização vira vantagem competitiva. A NVIDIA mostra que, na fronteira da IA, ainda há espaço para inovações realmente valiosas, não na arquitetura dos modelos, mas na forma de executá-los na prática, no mundo real.