Open source revela potência oculta da RTX 4090: Tensor Core com o dobro da velocidade

Uma única RTX 4090, nenhuma troca de hardware, e a vazão de operações específicas dos Tensor Cores salta de 165,6 para 331,6 TFLOPS. É exatamente o dobro. Um projeto aberto, noticiado pelo Jiqizhixin, alcança uma reserva de capacidade de cálculo das GeForce que a NVIDIA não libera no modo padrão. O driver, nesse processo, continua sendo o oficial.

Não só o topo de linha

O ponto central da história é que a RTX 4090 foi apenas o exemplo mais chamativo. A mesma abordagem extraiu desempenho extra de placas de gerações diferentes. Entre os dispositivos testados:

• RTX 4090 (arquitetura Ada Lovelace): de 165,6 para 331,6 TFLOPS em operações específicas dos Tensor Cores;
• RTX 4070 Ti SUPER (Ada Lovelace): reserva encontrada, em uma placa de nível inferior da mesma geração;
• RTX 3090 Ti (Ampere): reserva encontrada, em uma geração anterior;
• placa de 2018, ou seja, da era Turing: o potencial apareceu até nela.

O fato de o resultado se repetir em três arquiteturas indica uma causa sistêmica. Não se trata de um bug de um chip específico. É provável que o problema esteja na forma como a pilha de software padrão acessa as unidades tensoriais.

De onde vem a metade «extra»

Os números oficiais das placas de consumo da NVIDIA são conhecidos. Na RTX 4090, o valor de cerca de 165 TFLOPS corresponde ao modo de precisão mista com acumulação em FP32. Placas profissionais com silício parecido anunciam um valor maior nesse modo. Por isso, as GeForce gamer são vistas há tempos como artificialmente limitadas nas operações tensoriais. O método aberto mostra que parte desse limite pode ser contornada no nível do código do usuário, e não por firmware ou patch de driver.

É importante lembrar que o ganho vale para determinadas operações. Não é uma duplicação mágica de tudo. Cargas reais, como a inferência de LLMs, esbarram também na largura de banda da memória, no tamanho do cache e no escalonamento dos kernels. O dobro no pico dos Tensor Cores só acelera os casos em que o gargalo eram justamente os cálculos matriciais: lotes grandes, prefill de prompts longos, treinamento e fine-tuning de modelos pequenos.

O que fazer com isso na prática

Para quem tem placas gamer, a notícia é boa. A RTX 4090 com 24 GB de memória continua sendo a placa mais popular para rodar modelos localmente e fazer experimentos, e um ganho gratuito em operações matriciais aumenta imediatamente o valor dela. Saem ganhando startups, grupos de pesquisa e entusiastas sem orçamento para H100 ou B200.

Antes de reescrever o pipeline, vale verificar três pontos:

• comparar seus kernels e bibliotecas com o que o projeto faz e medir a vazão real na sua própria carga, e não apenas os TFLOPS de pico;
• conferir a estabilidade: o consumo de energia e a temperatura com as unidades tensoriais em carga total ficam acima do habitual;
• acompanhar a resposta da NVIDIA, já que a empresa pode fechar a brecha em versões futuras do driver ou do CUDA.

Para a indústria, a história tem um significado mais amplo. A distância entre aceleradores de consumo e de data center é definida em boa parte por software, e a comunidade aberta sabe reduzi-la. Se o método for adotado nos frameworks populares, parte das tarefas que hoje vão para a nuvem poderá ser processada na placa local. Isso pressiona a política de preços da NVIDIA e reforça o argumento a favor da inferência local.