Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Два пода делят одну GPU A10G в Amazon EKS: NVIDIA Run:ai дал каждому по 8 ГиБ

Обычно Kubernetes отдаёт видеокарту одному поду целиком, и коллега ждёт, пока ноутбук занимает 6 ГиБ из 23. AWS показала, как NVIDIA Run:ai на Amazon EKS делит одну карту A10G между двумя подами с лимитом 8 ГиБ каждому. Оба пода заняли по 6 ГиБ, а запрос 9 ГиБ получил отказ. Для ноутбуков и мелкого инференса это сокращает очереди, но прирост скорости не измеряли.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Два пода делят одну GPU A10G в Amazon EKS: NVIDIA Run:ai дал каждому по 8 ГиБ
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Без дробления второй под с nvidia.com/gpu1 не запускается на том же узле
Ключевой факт #2Метрика показала 6,24 ГиБ на под — на 250 МиБ больше, чем выделила проба
Ключевой факт #3Оператор требует драйвер R615+, поэтому AWS собрала свой образ AL2023

Представьте кластер с одной видеокартой. Аналитик держит открытый ноутбук, которому нужно всего 6 ГиБ памяти, а видеопамяти на карте 23 ГиБ. Коллега хочет прогнать короткую оценку модели, но Kubernetes отдал GPU целиком первому поду, и второму приходится ждать, хотя свободной памяти хватает с запасом. AWS опубликовала разбор того, как это исправить с помощью NVIDIA Run:ai GPU Fractioning на Amazon EKS (управляемый Kubernetes в облаке AWS). В проверенном примере одна видеокарта NVIDIA A10G в инстансе g5.xlarge делится между двумя подами: каждому выдан «контракт» на 8 ГиБ памяти (ГиБ — гибибайт), а реально каждый занимает по 6 ГиБ. Для команд, у которых дорогие GPU простаивают под ноутбуки и мелкие сервисы, это способ сократить очереди без покупки новых карт.

В чём проблема и что предлагает Run:ai

По умолчанию плагин устройств NVIDIA показывает Kubernetes видеокарту как один ресурс nvidia.com/gpu. Два пода, каждый из которых просит nvidia.com/gpu: 1, на одном узле одновременно не запустятся, даже если их суммарная память помещается в карту. В тестовом стенде авторов без дробления так и вышло: второй под ждёт.

Делить GPU можно и другими способами. MIG режет карту на аппаратные разделы, но работает только на поддерживаемых картах. Time-slicing в device plugin просто чередует процессы и не даёт ни изоляции памяти, ни изоляции сбоев. MPS позволяет нескольким CUDA-процессам работать одновременно, а защита от сбоев зависит от настроек. Run:ai строит на MPS слой для Kubernetes: планировщик, контракт на память для каждого пода, принудительное соблюдение лимита и метрики по каждому поду. NVIDIA открыла код Run:ai 13 октября 2026 года; в примере используются два из четырёх модулей — KAI Scheduler и GPU Fractioning Operator.

Подход стоит выбирать, когда нужны жёсткие лимиты памяти на GPU без MIG и вы готовы работать с группой узлов фиксированного размера. Типичные задачи: интерактивные ноутбуки с долгими паузами, короткие оценки моделей, проверки совместимости и небольшие инференс-сервисы.

Что получилось на практике

Стенд собран в регионе us-east-2 на Kubernetes 1.36: системный узел m7i.large держит контроллеры оператора и KAI Scheduler, а единственный GPU-узел — g5.xlarge с A10G на 23 028 МиБ. Каждому из двух подов задали аннотации с запросом и лимитом по 8 ГиБ и указали планировщик kai-scheduler. Целую GPU они не запрашивают.

Оба пода запустились на одной карте и видят ровно 8 192 МиБ. CUDA-проба в каждом выделила по 6 144 МиБ без проблем. Метрика памяти показала около 6,24 ГиБ на под, то есть на 250 МиБ больше, чем выделила проба. Авторы связывают это с контекстом CUDA и накладными расходами, но отдельно разбивку не измеряли.

Негативный тест тоже прошёл: под с лимитом 8 ГиБ попросил 9 ГиБ, и cudaMalloc вернул ошибку нехватки памяти. Статус пода при этом Completed, а не OOMKilled, потому что проба сама обработала ошибку. Это доказывает отказ в выделении памяти, но не изоляцию сбоев.

Подводные камни

Самое неприятное — версия драйвера. GPU Fractioning Operator 0.1.7 требует драйвер ветки R615 или новее, а в оптимизированном под EKS образе AL2023 на момент проверки были только R580 и R595. Поэтому авторы собрали собственный образ через Packer с драйвером 615.71.10, NVIDIA Container Toolkit 1.20.1 и containerd 2.3.5 с NRI. Для продакшена они советуют закрепить версии пакетов и базового образа. Когда готовый EKS-образ получит нужный драйвер, можно перейти на него, но скрипты примера придётся поправить.

Ограничения лучше прочитать до запуска:

  • проверена только связка G5/A10G, другие GPU требуют своей проверки совместимости;
  • лимит памяти не резервирует пропорциональную долю вычислений;
  • тест не измеряет производительность и изоляцию сбоев, это не гарантия безопасности;
  • рост числа подов на карте не равен росту пропускной способности или снижению затрат;
  • стенд создаёт платные ресурсы: control plane EKS, NAT gateway, инстансы и снимок AMI, поэтому после проверки нужно выполнить очистку.

Что делать команде

Если GPU простаивают под ноутбуки и мелкие сервисы, стенд из репозитория aws-samples можно повторить на одноразовом кластере. Лимит на под выбирайте по измеренному пиковому потреблению плюс запас на накладные расходы, а затем проверьте задержки при одновременной нагрузке. Для крупного обучения и сервисов, чувствительных к задержкам, дробление, скорее всего, не подойдёт. Для остального это недорогой способ убрать очередь на видеокарту.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: в чём проблема и что предлагает Run:ai?

По умолчанию плагин устройств NVIDIA показывает Kubernetes видеокарту как один ресурс nvidia.com/gpu. Два пода, каждый из которых просит nvidia.com/gpu: 1, на одном узле одновременно не запустятся, даже если их суммарная память помещается в карту. В тестовом стенде авторов без дробления так и вышло: второй под ждёт. Делить GPU можно и другими способами. MIG режет карту на аппаратные разделы, но работает только на поддерживаемых картах.

Что известно по теме: что получилось на практике?

Стенд собран в регионе us-east-2 на Kubernetes 1.36: системный узел m7i.large держит контроллеры оператора и KAI Scheduler, а единственный GPU-узел — g5.xlarge с A10G на 23 028 МиБ. Каждому из двух подов задали аннотации с запросом и лимитом по 8 ГиБ и указали планировщик kai-scheduler. Целую GPU они не запрашивают. Оба пода запустились на одной карте и видят ровно 8 192 МиБ. CUDA-проба в каждом выделила по 6 144 МиБ без проблем.

Что известно по теме: подводные камни?

Самое неприятное — версия драйвера. GPU Fractioning Operator 0.1.7 требует драйвер ветки R615 или новее, а в оптимизированном под EKS образе AL2023 на момент проверки были только R580 и R595. Поэтому авторы собрали собственный образ через Packer с драйвером 615.71.10, NVIDIA Container Toolkit 1.20.1 и containerd 2.3.5 с NRI. Для продакшена они советуют закрепить версии пакетов и базового образа. Когда готовый EKS-образ получит нужный драйвер, можно перейти на него, но скрипты примера придётся поправить.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…