Авито построил Aviflow: ML-платформа для распределённого обучения LLM на HGX

Авито прошёл путь от выделенных машин с доступом по SSH до собственной cloud-native платформы Aviflow, на которой обучаются большие языковые модели. Старший разработчик ML-платформы Павел занимается MLOps полтора года. Он выступил с докладом на Kuber Conf и пересобрал его в статью на Хабре. Название обещает «обучение LLM по клику» на серверах HGX. Видимая часть материала обрывается на истории платформы, поэтому конкретных цифр по числу узлов и GPU пока нет. Зато хорошо описана эволюция, через которую проходят многие компании с растущей ML-командой.

Как всё начиналось: DevBox и SSH

Когда в Авито было немного дата-сайентистов, каждый работал своим набором инструментов. Главным был DevBox, выделенная машина. Специалист заходил на неё по SSH, собирал датасеты, обучал модели и делал остальную работу руками. Пока людей мало, схема терпима. Машина закреплена за человеком, конфликтов за ресурсы нет, а любую проблему лечит один админ.

Потом выросло число специалистов и отделов. Коллеги блокировали машины целиком и выполняли задачи вручную. GPU простаивали между запусками, а очередь превращалась в переписку в чатах.

LLM добавили хаоса

Поверх этого в компании добавили LLM. По словам автора, у неё свой инструментарий, и жизнь она не облегчила. Причина понятна из самой природы задачи. Модель не помещается на одну карту или обучается слишком долго, поэтому нужны несколько GPU, часто на нескольких узлах. Тогда DevBox перестаёт работать как единица ресурса. Нужны планировщик, изоляция окружений, воспроизводимые запуски и понятная отчётность по загрузке.

Ответ Авито называется Aviflow. Это cloud-native платформа, где обучение описывается как задача, а не как набор ручных действий на конкретной машине.

Почему HGX и Kubernetes

HGX — референсная серверная платформа NVIDIA, обычно на восемь GPU, связанных высокоскоростной шиной NVLink через NVSwitch. Для распределённого обучения важна именно связность. Градиенты нужно синхронизировать быстро, иначе GPU будут ждать друг друга. Выступление прошло на Kuber Conf, значит, оркестрация построена вокруг Kubernetes, и серверы HGX становятся пулом ресурсов, а не личными машинами.

Ключевые факты из доступной части материала:

• Автор: Павел, старший разработчик ML-платформы Авито, полтора года в MLOps.
• Платформа: Aviflow, cloud-native.
• Предшественник: DevBox, выделенные машины с доступом по SSH.
• Железо: серверы HGX.
• Задача: распределённое обучение LLM.
• Формат: доклад на Kuber Conf и разбор на Хабре, есть видеозапись.

Что можно взять себе

История Авито показывает типичный маршрут, и по нему можно сверить собственную команду. Если специалисты договариваются о GPU в мессенджере, значит, платформа уже нужна. Если для запуска обучения нужен SSH, пора переходить на описание задач в декларативном виде. Если LLM появилась в команде как отдельный остров, стоит заранее решить, как её задачи будут жить в общем кластере.

Практический порядок действий такой: сначала общий пул GPU и очередь, затем стандартизованные окружения, потом распределённый запуск и мониторинг. Начинать с «кнопки» бессмысленно, если под ней нет учёта ресурсов.

Для деталей, включая архитектуру Aviflow, схему планирования и результаты, нужно читать полный текст на Хабре или смотреть запись доклада. Именно там должны быть цифры по загрузке и скорости запуска, которых нет в анонсной части.