Два пода делят одну GPU A10G в Amazon EKS: NVIDIA Run:ai дал каждому по 8 ГиБ
Обычно Kubernetes отдаёт видеокарту одному поду целиком, и коллега ждёт, пока ноутбук занимает 6 ГиБ из 23. AWS показала, как NVIDIA Run:ai на Amazon EKS делит одну карту A10G между двумя подами с лимитом 8 ГиБ каждому. Оба пода заняли по 6 ГиБ, а запрос 9 ГиБ получил отказ. Для ноутбуков и мелкого инференса это сокращает очереди, но прирост скорости не измеряли.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте кластер с одной видеокартой. Аналитик держит открытый ноутбук, которому нужно всего 6 ГиБ памяти, а видеопамяти на карте 23 ГиБ. Коллега хочет прогнать короткую оценку модели, но Kubernetes отдал GPU целиком первому поду, и второму приходится ждать, хотя свободной памяти хватает с запасом. AWS опубликовала разбор того, как это исправить с помощью NVIDIA Run:ai GPU Fractioning на Amazon EKS (управляемый Kubernetes в облаке AWS). В проверенном примере одна видеокарта NVIDIA A10G в инстансе g5.xlarge делится между двумя подами: каждому выдан «контракт» на 8 ГиБ памяти (ГиБ — гибибайт), а реально каждый занимает по 6 ГиБ. Для команд, у которых дорогие GPU простаивают под ноутбуки и мелкие сервисы, это способ сократить очереди без покупки новых карт.
В чём проблема и что предлагает Run:ai
По умолчанию плагин устройств NVIDIA показывает Kubernetes видеокарту как один ресурс nvidia.com/gpu. Два пода, каждый из которых просит nvidia.com/gpu: 1, на одном узле одновременно не запустятся, даже если их суммарная память помещается в карту. В тестовом стенде авторов без дробления так и вышло: второй под ждёт.
Делить GPU можно и другими способами. MIG режет карту на аппаратные разделы, но работает только на поддерживаемых картах. Time-slicing в device plugin просто чередует процессы и не даёт ни изоляции памяти, ни изоляции сбоев. MPS позволяет нескольким CUDA-процессам работать одновременно, а защита от сбоев зависит от настроек. Run:ai строит на MPS слой для Kubernetes: планировщик, контракт на память для каждого пода, принудительное соблюдение лимита и метрики по каждому поду. NVIDIA открыла код Run:ai 13 октября 2026 года; в примере используются два из четырёх модулей — KAI Scheduler и GPU Fractioning Operator.
Подход стоит выбирать, когда нужны жёсткие лимиты памяти на GPU без MIG и вы готовы работать с группой узлов фиксированного размера. Типичные задачи: интерактивные ноутбуки с долгими паузами, короткие оценки моделей, проверки совместимости и небольшие инференс-сервисы.
Что получилось на практике
Стенд собран в регионе us-east-2 на Kubernetes 1.36: системный узел m7i.large держит контроллеры оператора и KAI Scheduler, а единственный GPU-узел — g5.xlarge с A10G на 23 028 МиБ. Каждому из двух подов задали аннотации с запросом и лимитом по 8 ГиБ и указали планировщик kai-scheduler. Целую GPU они не запрашивают.
Оба пода запустились на одной карте и видят ровно 8 192 МиБ. CUDA-проба в каждом выделила по 6 144 МиБ без проблем. Метрика памяти показала около 6,24 ГиБ на под, то есть на 250 МиБ больше, чем выделила проба. Авторы связывают это с контекстом CUDA и накладными расходами, но отдельно разбивку не измеряли.
Негативный тест тоже прошёл: под с лимитом 8 ГиБ попросил 9 ГиБ, и cudaMalloc вернул ошибку нехватки памяти. Статус пода при этом Completed, а не OOMKilled, потому что проба сама обработала ошибку. Это доказывает отказ в выделении памяти, но не изоляцию сбоев.
Подводные камни
Самое неприятное — версия драйвера. GPU Fractioning Operator 0.1.7 требует драйвер ветки R615 или новее, а в оптимизированном под EKS образе AL2023 на момент проверки были только R580 и R595. Поэтому авторы собрали собственный образ через Packer с драйвером 615.71.10, NVIDIA Container Toolkit 1.20.1 и containerd 2.3.5 с NRI. Для продакшена они советуют закрепить версии пакетов и базового образа. Когда готовый EKS-образ получит нужный драйвер, можно перейти на него, но скрипты примера придётся поправить.
Ограничения лучше прочитать до запуска:
- проверена только связка G5/A10G, другие GPU требуют своей проверки совместимости;
- лимит памяти не резервирует пропорциональную долю вычислений;
- тест не измеряет производительность и изоляцию сбоев, это не гарантия безопасности;
- рост числа подов на карте не равен росту пропускной способности или снижению затрат;
- стенд создаёт платные ресурсы: control plane EKS, NAT gateway, инстансы и снимок AMI, поэтому после проверки нужно выполнить очистку.
Что делать команде
Если GPU простаивают под ноутбуки и мелкие сервисы, стенд из репозитория aws-samples можно повторить на одноразовом кластере. Лимит на под выбирайте по измеренному пиковому потреблению плюс запас на накладные расходы, а затем проверьте задержки при одновременной нагрузке. Для крупного обучения и сервисов, чувствительных к задержкам, дробление, скорее всего, не подойдёт. Для остального это недорогой способ убрать очередь на видеокарту.
- 19 нояб. 2026 г.Anthropic вышла на биржу и собрала $81,3 млрд — рекорд SpaceX в $75 млрд побит
- 19 нояб. 2026 г.Доли Amazon и Google в Anthropic оценили в $308 млрд при IPO по $83 за акцию
- 19 нояб. 2026 г.Агенты AWS AgentCore теперь ходят к закрытому Keycloak с корпоративным CA
- 19 нояб. 2026 г.Nvidia показала рекордную выручку 115,8 млрд $, но стоит дешевле, чем с 2012 года
Вопросы и ответы по материалу
Что известно по теме: в чём проблема и что предлагает Run:ai?
По умолчанию плагин устройств NVIDIA показывает Kubernetes видеокарту как один ресурс nvidia.com/gpu. Два пода, каждый из которых просит nvidia.com/gpu: 1, на одном узле одновременно не запустятся, даже если их суммарная память помещается в карту. В тестовом стенде авторов без дробления так и вышло: второй под ждёт. Делить GPU можно и другими способами. MIG режет карту на аппаратные разделы, но работает только на поддерживаемых картах.
Что известно по теме: что получилось на практике?
Стенд собран в регионе us-east-2 на Kubernetes 1.36: системный узел m7i.large держит контроллеры оператора и KAI Scheduler, а единственный GPU-узел — g5.xlarge с A10G на 23 028 МиБ. Каждому из двух подов задали аннотации с запросом и лимитом по 8 ГиБ и указали планировщик kai-scheduler. Целую GPU они не запрашивают. Оба пода запустились на одной карте и видят ровно 8 192 МиБ. CUDA-проба в каждом выделила по 6 144 МиБ без проблем.
Что известно по теме: подводные камни?
Самое неприятное — версия драйвера. GPU Fractioning Operator 0.1.7 требует драйвер ветки R615 или новее, а в оптимизированном под EKS образе AL2023 на момент проверки были только R580 и R595. Поэтому авторы собрали собственный образ через Packer с драйвером 615.71.10, NVIDIA Container Toolkit 1.20.1 и containerd 2.3.5 с NRI. Для продакшена они советуют закрепить версии пакетов и базового образа. Когда готовый EKS-образ получит нужный драйвер, можно перейти на него, но скрипты примера придётся поправить.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.