Dois pods dividem uma GPU A10G no Amazon EKS: NVIDIA Run:ai deu 8 GiB a cada um
Normalmente, o Kubernetes entrega a GPU inteira a um único pod, e o colega fica esperando enquanto um notebook ocupa 6 GiB dos 23 disponíveis. A AWS mostrou como o NVIDIA Run:ai no Amazon EKS divide uma única placa A10G entre dois pods, com limite de 8 GiB para cada. Os dois pods ocuparam 6 GiB cada, e um pedido de 9 GiB foi recusado. Para notebooks e inferência de pequeno porte, a divisão reduz filas, mas o ganho de velocidade não foi medido.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine um cluster com uma única GPU. Um analista mantém aberto um notebook que precisa de apenas 6 GiB de memória, enquanto a placa tem 23 GiB de memória de vídeo. Um colega quer rodar uma avaliação rápida de modelo, mas o Kubernetes entregou a GPU inteira ao primeiro pod, e o segundo precisa esperar, embora sobre memória livre de sobra.
A AWS publicou uma análise de como resolver isso com o NVIDIA Run:ai GPU Fractioning no Amazon EKS (o Kubernetes gerenciado da nuvem AWS). No exemplo testado, uma GPU NVIDIA A10G de uma instância g5.xlarge é dividida entre dois pods: cada um recebe um "contrato" de 8 GiB de memória (GiB é gibibyte), e na prática cada um ocupa 6 GiB.
Para equipes com GPUs caras ociosas por causa de notebooks e serviços pequenos, é uma forma de reduzir filas sem comprar novas placas.
Qual é o problema e o que o Run:ai propõe
Por padrão, o device plugin da NVIDIA apresenta ao Kubernetes a GPU como um único recurso, nvidia.com/gpu. Dois pods que pedem nvidia.com/gpu: 1 não sobem ao mesmo tempo no mesmo nó, mesmo que a memória somada dos dois caiba na placa. No ambiente de testes dos autores, sem a divisão, foi exatamente isso que aconteceu: o segundo pod fica esperando.
Há outras formas de dividir uma GPU. O MIG fatia a placa em partições de hardware, mas só funciona em placas compatíveis. O time-slicing do device plugin apenas alterna os processos e não oferece isolamento de memória nem de falhas. O MPS permite que vários processos CUDA rodem ao mesmo tempo, e a proteção contra falhas depende da configuração. O Run:ai constrói sobre o MPS uma camada para Kubernetes: scheduler, contrato de memória para cada pod, aplicação forçada do limite e métricas por pod. A NVIDIA abriu o código do Run:ai em 13 de outubro de 2026; o exemplo usa dois dos quatro módulos: o KAI Scheduler e o GPU Fractioning Operator.
Vale escolher essa abordagem quando você precisa de limites rígidos de memória na GPU sem usar MIG e aceita trabalhar com um grupo de nós de tamanho fixo. Os casos típicos são notebooks interativos com longas pausas, avaliações rápidas de modelos, verificações de compatibilidade e serviços pequenos de inferência.
O que funcionou na prática
O ambiente foi montado na região us-east-2, com Kubernetes 1.36. Um nó de sistema m7i.large abriga os controladores do operador e do KAI Scheduler, e o único nó de GPU é um g5.xlarge com A10G de 23 028 MiB. Cada um dos dois pods recebeu anotações com pedido e limite de 8 GiB e o scheduler kai-scheduler. Eles não solicitam a GPU inteira.
Os dois pods iniciaram na mesma placa e enxergam exatamente 8 192 MiB. A sonda CUDA alocou 6 144 MiB em cada um sem problemas. A métrica de memória mostrou cerca de 6,24 GiB por pod, ou seja, 250 MiB a mais do que a sonda alocou. Os autores atribuem a diferença ao contexto CUDA e a custos adicionais, mas não mediram essa divisão separadamente.
O teste negativo também passou: um pod com limite de 8 GiB pediu 9 GiB, e o cudaMalloc retornou erro de falta de memória. O status do pod ficou Completed, e não OOMKilled, porque a própria sonda tratou o erro. Isso comprova a recusa na alocação de memória, mas não o isolamento de falhas.
Armadilhas
O ponto mais incômodo é a versão do driver. O GPU Fractioning Operator 0.1.7 exige o driver da série R615 ou mais recente, e a imagem AL2023 otimizada para EKS tinha, na data da verificação, apenas o R580 e o R595. Por isso, os autores montaram uma imagem própria com o Packer, usando o driver 615.71.10, o NVIDIA Container Toolkit 1.20.1 e o containerd 2.3.5 com NRI. Para produção, eles recomendam fixar as versões dos pacotes e da imagem base. Quando uma imagem pronta do EKS receber o driver necessário, será possível migrar para ela, mas os scripts do exemplo precisarão de ajustes.
As limitações merecem leitura antes da execução:
- só foi testada a combinação G5/A10G; outras GPUs exigem sua própria verificação de compatibilidade;
- o limite de memória não reserva uma fatia proporcional de computação;
- o teste não mede desempenho nem isolamento de falhas, e não é garantia de segurança;
- mais pods por placa não significam mais vazão nem menor custo;
- o ambiente cria recursos pagos: control plane do EKS, NAT gateway, instâncias e snapshot de AMI, por isso é preciso fazer a limpeza após o teste.
O que a equipe deve fazer
Se as GPUs ficam ociosas por causa de notebooks e serviços pequenos, o ambiente do repositório aws-samples pode ser reproduzido em um cluster descartável. Escolha o limite por pod com base no pico de consumo medido, mais uma folga para os custos adicionais, e depois verifique as latências sob carga simultânea. Para treinamento de grande porte e serviços sensíveis à latência, a divisão provavelmente não serve. Para o restante, é uma forma barata de acabar com a fila pela GPU.
- 19 de nov. de 2026Anthropic estreia na bolsa e capta US$ 81,3 bilhões — recorde de US$ 75 bilhões da SpaceX é superado
- 19 de nov. de 2026Participações da Amazon e do Google na Anthropic são avaliadas em US$308 bilhões no IPO a US$83 por ação
- 19 de nov. de 2026Agentes do AWS AgentCore agora acessam Keycloak em rede fechada com CA corporativa
- 19 de nov. de 2026Nvidia registra receita recorde de US$ 115,8 bilhões, mas vale menos em relação ao lucro do que em qualquer momento desde 2012
Perguntas frequentes sobre a notícia
O que se sabe sobre Qual é o problema e o que o Run:ai propõe?
Por padrão, o device plugin da NVIDIA apresenta ao Kubernetes a GPU como um único recurso, nvidia.com/gpu. Dois pods que pedem nvidia.com/gpu: 1 não sobem ao mesmo tempo no mesmo nó, mesmo que a memória somada dos dois caiba na placa. No ambiente de testes dos autores, sem a divisão, foi exatamente isso que aconteceu: o segundo pod fica esperando. Há outras formas de dividir uma GPU. O MIG fatia a placa em partições de hardware, mas só funciona em placas compatíveis.
O que funcionou na prática?
O ambiente foi montado na região us-east-2, com Kubernetes 1.36. Um nó de sistema m7i.large abriga os controladores do operador e do KAI Scheduler, e o único nó de GPU é um g5.xlarge com A10G de 23 028 MiB. Cada um dos dois pods recebeu anotações com pedido e limite de 8 GiB e o scheduler kai-scheduler. Eles não solicitam a GPU inteira. Os dois pods iniciaram na mesma placa e enxergam exatamente 8 192 MiB. A sonda CUDA alocou 6 144 MiB em cada um sem problemas.
O que se sabe sobre Armadilhas?
O ponto mais incômodo é a versão do driver. O GPU Fractioning Operator 0.1.7 exige o driver da série R615 ou mais recente, e a imagem AL2023 otimizada para EKS tinha, na data da verificação, apenas o R580 e o R595. Por isso, os autores montaram uma imagem própria com o Packer, usando o driver 615.71.10, o NVIDIA Container Toolkit 1.20.1 e o containerd 2.3.5 com NRI. Para produção, eles recomendam fixar as versões dos pacotes e da imagem base.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.