Avito analiza seis charlas de KubeCon Japan 2026 sobre cómo compartir GPU

Anton Alekséyev, ingeniero de ML Ops de Avito, viajó a Yokohama para asistir a KubeCon + CloudNativeCon Japan 2026 y reunió seis charlas sobre GPU e inferencia de LLM en un único análisis. Hacia el segundo día de la conferencia notó que las diapositivas de distintos ponentes se parecían: el espectro de aislamiento de tenants, las cuotas, el bin packing y el estribillo «las GPU son caras, compartámoslas». Avito resuelve el mismo problema, así que la comparación resulta práctica: qué ha probado ya la empresa y qué solo planea probar.

Por ahora, el material en Habr consiste solo en una parte introductoria, de modo que a continuación hablamos del contexto y no de un resumen de cada charla.

Un mismo motivo en seis charlas

Que equipos distintos lleguen de forma independiente a los mismos esquemas indica que el tema ha madurado. Hace un par de años, las GPU en Kubernetes solían asignarse enteras: una tarjeta, un pod. Hoy los aceleradores ocupan una parte notable del presupuesto de infraestructura, y su carga es irregular. El entrenamiento y las tareas por lotes exprimen la tarjeta. La inferencia en línea suele dejarla medio vacía. De ahí salen los cuatro temas que se repiten:

• aislamiento de tenants: hasta qué punto separar de forma estricta a los vecinos de una misma tarjeta;
• cuotas: cuántos aceleradores puede ocupar un equipo o un proyecto;
• bin packing: cómo empaquetar los pods en los nodos con la mayor densidad posible para no generar tarjetas parcialmente ocupadas;
• la inferencia de LLM como principal consumidora, donde la memoria para los pesos y la KV-cache choca con el tamaño de la tarjeta.

El espectro de aislamiento

Este espectro se describe con una sola escala: cuanto más estricta es la frontera entre tenants, menor es la utilización y mayor la previsibilidad. Los puntos típicos de la escala se conocen desde hace tiempo.

• Tarjeta completa para un solo pod: aislamiento máximo, densidad mínima.
• MIG en las tarjetas NVIDIA compatibles: partición por hardware en varias instancias independientes, hasta siete por tarjeta, con memoria dedicada.
• MPS: varios procesos comparten los recursos de cómputo, pero el aislamiento es más débil.
• Time-slicing: los pods se turnan para usar la tarjeta, y nadie garantiza ni la memoria ni el aislamiento frente a errores.

La elección depende de la carga. Para un servicio en línea crítico, con requisitos estrictos de latencia, lo más razonable es una frontera por hardware. Para experimentos internos suele bastar una separación blanda.

Cuotas y empaquetado

El aislamiento resuelve quién comparte tarjeta con quién. Las cuotas y el planificador deciden quién recibe una tarjeta, para empezar. En la práctica, aquí confluyen las colas para tareas por lotes, las prioridades y la expulsión de pods (preemption). El bin packing importa porque las peticiones fraccionarias fragmentan rápido el clúster: quedan muchas fracciones libres, pero no hay dónde colocar un pod que necesita una tarjeta entera o un perfil MIG grande. Un planificador que tiene en cuenta la topología y busca llenar los nodos con densidad devuelve esas fracciones al uso.

Según el autor, analizará qué de lo expuesto ha probado ya Avito y qué tiene en sus planes. Para el lector es la parte más valiosa: las charlas de conferencia suelen mostrar un esquema que funciona, pero rara vez cuentan dónde se rompe con una carga ajena. El informe de un ingeniero que contrasta las diapositivas con su propia producción cubre justo ese vacío. Al final del texto, el autor promete hablar del propio Japón, de modo que el formato se parece más a un diario de viaje con un núcleo técnico.

Por dónde empezar con un clúster de GPU

Si apenas está pensando en compartir tarjetas, el orden de actuación se deduce de las propias charlas. Primero, mida la utilización real: la carga de las unidades de cómputo y la memoria ocupada por cada servicio, y no solo el hecho de que se haya asignado la tarjeta. Después, separe las cargas según sus requisitos de aislamiento: inferencia en línea, tareas por lotes, experimentos.

Elija para cada clase su punto en el espectro, sin intentar imponer un régimen único. A continuación, introduzca cuotas por equipo y colas para las tareas por lotes, y deje la configuración del empaquetado para el final, cuando ya se entienda la estructura de las peticiones. Y, por último, decida de antemano qué hará con los vecinos ruidosos: sin métricas de latencia, compartir una tarjeta se convierte enseguida en fuente de degradaciones inexplicables.

El análisis completo de las seis charlas y la experiencia de Avito están publicados en Habr, en el artículo de Anton Alekséyev.