GPUDirect e TurboQuant: AWS acelera o carregamento de grandes LLMs em GPUs

A AWS descreveu no AWS Machine Learning Blog um problema que cada vez mais equipes enfrentam ao implantar grandes modelos de linguagem (LLMs) em instâncias com GPU na nuvem: quanto maior o modelo que precisa ser carregado na memória de alta velocidade dos aceleradores gráficos (High Bandwidth Memory, HBM), mais tempo é preciso esperar até que as GPUs estejam prontas para a inferência. Pelo título da publicação, a empresa propõe resolver o problema com a combinação de GPUDirect e TurboQuant, que aceleram o carregamento de modelos grandes em GPUs.

Qual é o problema no carregamento de modelos grandes

Os modelos de linguagem atuais têm centenas de bilhões de parâmetros, e os clusters de GPUs em que são implantados continuam crescendo. Carregar os pesos de um modelo desses do disco ou do armazenamento em nuvem para a memória da GPU não é uma operação instantânea: os dados precisam passar por vários elos intermediários da infraestrutura antes de chegar à HBM da placa de vídeo e de o modelo poder começar a responder requisições. Cada segundo extra que as caras instâncias com GPU ficam ociosas esperando o carregamento vira, diretamente, dinheiro perdido, principalmente com escalonamentos frequentes, reinicializações de instâncias ou implantação de novas versões do modelo em produção.

Principais fatos:

• O tema é o carregamento de LLMs na memória de alta velocidade da GPU (HBM).
• O problema se agrava à medida que os modelos chegam a centenas de bilhões de parâmetros.
• Os clusters de GPUs para inferência continuam crescendo em escala.
• A solução descrita pela AWS combina as tecnologias GPUDirect e TurboQuant.
• O material foi publicado no AWS Machine Learning Blog.

Como o GPUDirect acelera o processo

GPUDirect é o nome geral de uma família de tecnologias de acesso direto à memória da GPU que permitem que os dados se movam entre o armazenamento (ou a placa de rede) e a memória da placa de vídeo diretamente, sem cópias extras pela RAM e pelo processador do host. No carregamento de modelos grandes, isso significa que os pesos podem seguir de um armazenamento rápido direto para a HBM da GPU, sem criar gargalo no lado da CPU. Essas cópias intermediárias foram tradicionalmente uma das causas do longo tempo de inicialização de modelos grandes em instâncias com GPU.

O que o TurboQuant oferece

A segunda parte da solução, o TurboQuant, tem relação, pelo nome, com a quantização: técnica que comprime os pesos do modelo reduzindo a precisão da representação dos números, por exemplo passando de números de 32 ou 16 bits para formatos mais compactos. Quanto menor o volume de dados a transferir para a memória da GPU, mais rápido é o carregamento, em condições iguais. Para as equipes que operam LLMs em produção, combinar um caminho de transferência mais rápido (GPUDirect) com um volume menor de dados graças à quantização pode, em teoria, reduzir de forma notável o tempo entre a inicialização da instância com GPU e o momento em que o modelo está pronto para atender a primeira requisição.

É um indicador crítico tanto para o escalonamento automático sob carga quanto para o custo total de propriedade da infraestrutura de IA na nuvem.

Por que isso importa agora

O problema da partida a frio de modelos grandes é especialmente agudo em serviços que dependem do escalonamento automático do número de instâncias com GPU conforme a carga: se adicionar uma nova instância diante de um pico de tráfego leva minutos por causa do carregamento lento dos pesos, os usuários, nesse período, enfrentam atrasos nas respostas ou têm suas requisições processadas por um número insuficiente de aceleradores. À medida que as empresas saem de experimentos com modelos relativamente pequenos e passam a operar em produção modelos com centenas de bilhões de parâmetros, o tempo de carregamento deixa de ser um detalhe técnico secundário e vira um fator que afeta diretamente a responsividade do serviço e quantas caras horas de GPU são desperdiçadas esperando, em vez de fazer computação útil.

Para uma provedora de nuvem como a AWS, acelerar o carregamento de modelos também é uma questão de competitividade da própria infraestrutura: clientes que implantam LLMs em produção comparam não só o custo do aluguel de instâncias com GPU, mas também quanto tempo e dinheiro vão em todo o ciclo, do lançamento até o serviço estar pronto para receber tráfego real. Publicar análises de engenharia como essa no AWS Machine Learning Blog cumpre ao mesmo tempo uma função prática, compartilhar otimizações com a comunidade de desenvolvedores, e mostra que a provedora trabalha de forma sistemática para eliminar os gargalos que os usuários de GPUs em nuvem encontram na prática ao escalar seus próprios serviços de IA.