LLMs no Kubernetes: como domar as GPUs sem quebrar com hardware

A euforia com as APIs públicas dá lugar aos poucos a uma ressaca pesada para os tesoureiros corporativos. Quando se começa a adotar IA, pagar à OpenAI por cada token parece uma ótima ideia. Mas, quando a carga cresce e a segurança dos dados vira questão urgente, as empresas passam a olhar para o próprio hardware. E aí se descobre que comprar uma dezena de H100 não basta. É preciso fazê-las trabalhar de forma coordenada, sem ficar ociosas e sem virar um sistema de aquecimento de escritório caríssimo. Os engenheiros da Nova AI escolheram o caminho de menor resistência ao bom senso e empacotaram a execução de grandes modelos de linguagem no Kubernetes.

O problema é que o Kubernetes não foi criado originalmente para redes neurais. Ele lida muito bem com microsserviços que consomem migalhas de memória, mas trava diante de gigantes de centenas de gigabytes. Se você simplesmente jogar um LLM num contêiner padrão, o agendador vai distribuir os recursos de forma ineficiente. Uma placa de vídeo vai trabalhar a cem por cento e as três vizinhas vão descansar, enquanto a empresa paga o aluguel do rack. A Nova AI tenta resolver isso com orquestração inteligente, em que cada cluster de GPUs se torna um único organismo, e não um conjunto de placas avulsas.

A arquitetura da solução gira em torno de encurtar ao máximo o caminho entre a requisição do usuário e a resposta do modelo. Isso exige um ajuste minucioso de drivers e um monitoramento que enxergue não só a carga do processador, mas métricas específicas de memória de vídeo e de núcleos CUDA. Em soluções on-prem, isso é crítico. Na nuvem, basta apertar um botão e comprar mais capacidade; num data center próprio, você está limitado pelos servidores físicos. É preciso extrair o máximo do que já está no rack. A Nova AI automatiza esse processo e permite redistribuir dinamicamente os pesos dos modelos entre os nós do cluster.

Por que isso importa justamente agora? Estamos entrando na era da soberania de dados. Bancos, o setor público e grandes holdings industriais não podem se dar ao luxo de enviar informações sensíveis para servidores na Califórnia. Ao mesmo tempo, querem as mesmas capacidades dos melhores modelos fechados. Usar pesos abertos como Llama 3 ou Qwen em infraestrutura própria é o único caminho legal e seguro. Mas, sem ferramentas decentes de gerenciamento, esse caminho vira uma luta sem fim com arquivos de configuração e quedas repentinas de inferência por falta de memória.

O valor prático dessa abordagem aparece em cenários de carga variável. Imagine que, de dia, seu assistente de IA ajuda centenas de funcionários a escrever código e, à noite, o cluster precisa passar para tarefas pesadas de análise ou para o retreinamento de modelos com dados recentes. Em modo manual, isso viraria um pesadelo para os administradores de sistemas. Uma solução de plataforma permite fazer isso sem emendas. Você literalmente transforma suas GPUs em uma nuvem flexível, que se ajusta em tempo real às tarefas do negócio, em vez de obrigar o negócio a se ajustar às limitações do hardware.

No fim das contas, o sucesso da adoção de IA numa grande empresa vai depender não de quão inteligente é o modelo escolhido, mas do custo de cada requisição bem-sucedida. Se a sua inferência custa três vezes mais que a dos concorrentes, nenhuma mágica das redes neurais vai salvá-lo. A otimização no nível do Kubernetes e o conhecimento profundo do funcionamento de clusters de GPUs se tornam as ferramentas invisíveis que separam um produto funcional de um experimento caro que será encerrado em seis meses.

O principal: a era de queimar horas de GPU sem pensar está acabando, e chega o tempo da infraestrutura inteligente. Plataformas russas como a Nova AI conseguirão competir com os orquestradores ocidentais em condições de escassez de hardware?