Avito construyó Aviflow: una plataforma de ML para el entrenamiento distribuido de LLM en HGX

Avito ha pasado de máquinas dedicadas con acceso por SSH a su propia plataforma cloud-native, Aviflow, en la que se entrenan grandes modelos de lenguaje. Pavel, desarrollador sénior de la plataforma de ML, lleva año y medio dedicado a MLOps. Presentó una ponencia en Kuber Conf y la reelaboró como artículo en Habr. El título promete «entrenamiento de LLM con un clic» en servidores HGX. La parte visible del material se corta en la historia de la plataforma, así que todavía no hay cifras concretas sobre el número de nodos y GPU. En cambio, describe bien la evolución que atraviesan muchas empresas con un equipo de ML en crecimiento.

Cómo empezó todo: DevBox y SSH

Cuando Avito tenía pocos científicos de datos, cada uno trabajaba con su propio conjunto de herramientas. La principal era DevBox, una máquina dedicada. El especialista entraba en ella por SSH, preparaba los datasets, entrenaba los modelos y hacía el resto del trabajo a mano. Mientras hay poca gente, el esquema es tolerable. La máquina está asignada a una persona, no hay conflictos por los recursos y un solo administrador resuelve cualquier problema.

Después crecieron el número de especialistas y de departamentos. Los compañeros bloqueaban las máquinas enteras y ejecutaban las tareas a mano. Las GPU quedaban ociosas entre lanzamientos y la cola se convertía en una conversación en chats.

Las LLM trajeron más caos

Encima de todo esto, la empresa incorporó LLM. Según el autor, estas tienen su propio conjunto de herramientas y no hicieron la vida más fácil. El motivo se entiende por la naturaleza misma de la tarea. Un modelo no cabe en una sola tarjeta o tarda demasiado en entrenarse, por lo que hacen falta varias GPU, a menudo repartidas en varios nodos. Entonces DevBox deja de funcionar como unidad de recurso. Hacen falta un planificador, aislamiento de entornos, lanzamientos reproducibles y un informe claro sobre el uso de los recursos.

La respuesta de Avito se llama Aviflow. Es una plataforma cloud-native en la que el entrenamiento se describe como una tarea, y no como un conjunto de acciones manuales en una máquina concreta.

Por qué HGX y Kubernetes

HGX es la plataforma de servidor de referencia de NVIDIA, normalmente con ocho GPU conectadas mediante el bus de alta velocidad NVLink a través de NVSwitch. Para el entrenamiento distribuido, lo que importa es precisamente esa conectividad. Los gradientes hay que sincronizarlos rápido; de lo contrario, las GPU acaban esperándose unas a otras. La ponencia se presentó en Kuber Conf, lo que indica que la orquestación se construye en torno a Kubernetes y que los servidores HGX pasan a ser un pool de recursos, y no máquinas personales.

Hechos clave de la parte disponible del material:

• Autor: Pavel, desarrollador sénior de la plataforma de ML de Avito, con año y medio en MLOps.
• Plataforma: Aviflow, cloud-native.
• Predecesor: DevBox, máquinas dedicadas con acceso por SSH.
• Hardware: servidores HGX.
• Objetivo: entrenamiento distribuido de LLM.
• Formato: ponencia en Kuber Conf y análisis en Habr; hay grabación en vídeo.

Qué puede aprovechar tu equipo

La historia de Avito muestra una ruta típica, y sirve para comparar con la de tu propio equipo. Si los especialistas se ponen de acuerdo sobre las GPU por mensajería, la plataforma ya hace falta. Si para lanzar un entrenamiento se necesita SSH, es hora de pasar a describir las tareas de forma declarativa. Si las LLM han aparecido en el equipo como una isla aparte, conviene decidir de antemano cómo vivirán sus tareas dentro del clúster común.

El orden práctico de actuación es este: primero un pool común de GPU y una cola, después entornos estandarizados y, por último, el lanzamiento distribuido y la monitorización. Empezar por el «botón» no tiene sentido si debajo no hay contabilidad de recursos.

Para conocer los detalles, incluidos la arquitectura de Aviflow, el esquema de planificación y los resultados, hay que leer el texto completo en Habr o ver la grabación de la ponencia. Ahí es donde deberían estar las cifras de utilización y de velocidad de lanzamiento que no aparecen en la parte de anuncio.