Авито разобрал шесть докладов KubeCon Japan 2026 о делёжке GPU

ML Ops-инженер Авито Антон Алексеев съездил в Иокогаму на KubeCon + CloudNativeCon Japan 2026 и свёл шесть докладов о GPU и LLM-инференсе в один разбор. Ко второму дню конференции он заметил, что слайды у разных спикеров похожи: спектр изоляции тенантов, квоты, bin packing и рефрен «GPU дорогие — давайте делить». Авито решает ту же задачу, поэтому сравнение получилось прикладным: что компания уже пробовала, а что только собирается.

Сам материал на Хабре пока представлен вводной частью, поэтому ниже речь о контексте, а не о пересказе каждого доклада.

Один мотив на шесть докладов

То, что разные команды независимо приходят к одним и тем же схемам, говорит о зрелости темы. Пару лет назад GPU в Kubernetes обычно выдавали целиком: одна карта, один под. Сегодня ускорители занимают заметную часть инфраструктурного бюджета, а нагрузка у них неровная. Обучение и пакетные задачи грузят карту плотно. Онлайн-инференс часто оставляет её полупустой. Отсюда и четыре повторяющиеся темы:

• изоляция тенантов: насколько жёстко разделять соседей по карте;
• квоты: сколько ускорителей может занять команда или проект;
• bin packing: как плотно упаковать поды по нодам, чтобы не плодить частично занятые карты;
• LLM-инференс как основной потребитель, где память под веса и KV-кэш упирается в размер карты.

Спектр изоляции

Этот спектр описывается одной шкалой: чем жёстче граница между тенантами, тем меньше утилизация и выше предсказуемость. Типичные точки на ней известны давно.

• Карта целиком под один под: максимальная изоляция, самая низкая плотность.
• MIG на поддерживаемых картах NVIDIA: аппаратное разделение на несколько независимых экземпляров, до семи на одну карту, с выделенной памятью.
• MPS: несколько процессов делят вычислительные ресурсы, но изоляция слабее.
• Time-slicing: поды по очереди получают карту, памяти и ошибок изоляции никто не гарантирует.

Выбор зависит от нагрузки. Для критичного онлайн-сервиса с жёсткими требованиями к задержке разумнее аппаратная граница. Для внутренних экспериментов обычно хватает мягкого разделения.

Квоты и упаковка

Изоляция решает вопрос «кто с кем соседствует». Квоты и планировщик решают, кто вообще получит карту. Здесь на практике сходятся очереди для пакетных задач, приоритеты и вытеснение. Bin packing важен потому, что дробные запросы быстро фрагментируют кластер: свободных долей много, а под, которому нужна целая карта или крупный MIG-профиль, поставить некуда. Планировщик, учитывающий топологию и стремящийся заполнять ноды плотно, возвращает эти доли в оборот.

По заявлению автора, он разберёт, что из доложенного Авито уже опробовало, а что в планах. Для читателя это самая ценная часть: доклады на конференциях обычно показывают рабочую схему, но редко рассказывают, где она ломается на чужой нагрузке. Отчёт инженера, который сверяет слайды с собственным продакшеном, закрывает именно этот пробел. В конце текста автор обещает рассказ про саму Японию, так что формат ближе к дневнику поездки с техническим ядром.

С чего начать команде с GPU-кластером

Если вы только думаете о делёжке карт, порядок действий напрашивается из самих докладов. Сначала измерьте реальную утилизацию: загрузку вычислительных блоков и занятую память по каждому сервису, а не только факт выделения карты. Затем разделите нагрузки по требованиям к изоляции: онлайн-инференс, пакетные задачи, эксперименты. Для каждого класса выберите свою точку на спектре, не пытаясь ввести единый режим. После этого вводите квоты по командам и очереди для пакетных задач, а упаковку настраивайте в последнюю очередь, когда понятна структура запросов. И наконец, заранее решите, что вы делаете с шумными соседями: без метрик по задержке разделение карты быстро превращается в источник необъяснимых деградаций.

Полный разбор шести докладов и опыт Авито опубликованы на Хабре в статье Антона Алексеева.