Avito a construit Aviflow : une plateforme ML pour l'entraînement distribué de LLM sur HGX

Avito est passé de machines dédiées accessibles en SSH à sa propre plateforme cloud-native, Aviflow, sur laquelle s'entraînent de grands modèles de langage. Pavel, développeur senior de la plateforme ML, fait du MLOps depuis un an et demi. Il a présenté un exposé à la Kuber Conf, qu'il a retravaillé en article sur Habr. Le titre promet un « entraînement de LLM en un clic » sur des serveurs HGX. La partie visible du texte s'arrête à l'histoire de la plateforme : aucun chiffre concret sur le nombre de nœuds et de GPU n'est donc disponible pour l'instant. En revanche, l'évolution décrite est bien détaillée, et de nombreuses entreprises dotées d'une équipe ML en croissance suivent le même chemin.

Les débuts : DevBox et SSH

Quand Avito comptait peu de data scientists, chacun travaillait avec son propre jeu d'outils. L'outil principal était le DevBox, une machine dédiée. Le spécialiste s'y connectait en SSH, constituait ses datasets, entraînait ses modèles et faisait tout le reste à la main. Tant que les effectifs restent réduits, ce schéma est tolérable. La machine est attribuée à une personne, il n'y a pas de conflit pour les ressources, et un seul administrateur règle tous les problèmes.

Puis le nombre de spécialistes et de services a augmenté. Les collègues bloquaient des machines entières et exécutaient leurs tâches manuellement. Les GPU restaient inactifs entre deux lancements, et la file d'attente se réduisait à des échanges dans des chats.

Les LLM ont ajouté au désordre

Par-dessus, l'entreprise a introduit les LLM. Selon l'auteur, elles ont leurs propres outils et n'ont pas simplifié la vie de l'équipe. La raison tient à la nature même de la tâche. Le modèle ne tient pas sur une seule carte ou s'entraîne trop longtemps, il faut donc plusieurs GPU, souvent répartis sur plusieurs nœuds. Le DevBox cesse alors de fonctionner comme unité de ressource. Il faut un ordonnanceur, une isolation des environnements, des lancements reproductibles et un suivi clair du taux d'utilisation.

La réponse d'Avito s'appelle Aviflow. C'est une plateforme cloud-native où l'entraînement se décrit comme une tâche, et non comme une suite d'actions manuelles sur une machine précise.

Pourquoi HGX et Kubernetes

HGX est la plateforme serveur de référence de NVIDIA, généralement équipée de huit GPU reliés par le bus haut débit NVLink via NVSwitch. Pour l'entraînement distribué, c'est précisément cette connectivité qui compte. Les gradients doivent être synchronisés rapidement, faute de quoi les GPU s'attendent les uns les autres. L'exposé ayant eu lieu à la Kuber Conf, l'orchestration s'articule donc autour de Kubernetes, et les serveurs HGX deviennent un pool de ressources plutôt que des machines personnelles.

Les faits clés de la partie accessible du texte :

• Auteur : Pavel, développeur senior de la plateforme ML d'Avito, un an et demi dans le MLOps.
• Plateforme : Aviflow, cloud-native.
• Prédécesseur : DevBox, des machines dédiées accessibles en SSH.
• Matériel : serveurs HGX.
• Objectif : entraînement distribué de LLM.
• Format : exposé à la Kuber Conf et analyse sur Habr, avec un enregistrement vidéo.

Ce qu'on peut en retenir

L'histoire d'Avito illustre un parcours typique, qui permet de situer sa propre équipe. Si les spécialistes se partagent les GPU via une messagerie, une plateforme est déjà nécessaire. Si le lancement d'un entraînement exige un accès SSH, il est temps de passer à une description déclarative des tâches. Si la LLM est arrivée dans l'équipe comme un îlot isolé, mieux vaut décider d'emblée comment ses tâches vivront dans le cluster commun.

L'ordre pratique des opérations est le suivant : d'abord un pool de GPU partagé et une file d'attente, puis des environnements standardisés, enfin le lancement distribué et le monitoring. Commencer par le « bouton » n'a aucun sens s'il n'y a pas de comptabilité des ressources en dessous.

Pour les détails, notamment l'architecture d'Aviflow, le schéma d'ordonnancement et les résultats, il faut lire le texte complet sur Habr ou regarder l'enregistrement de l'exposé. C'est là que devraient figurer les chiffres sur le taux d'utilisation et la vitesse de lancement, absents de la partie d'annonce.