VK reduce el lanzamiento de un nuevo feed de recomendaciones de semanas a un solo día

El equipo de AI VK ha publicado en Habr un informe sobre lo que ha cambiado en Discovery en los últimos meses. Discovery es la capa de infraestructura común sobre la que se sostienen las recomendaciones, la búsqueda y la publicidad de todos los productos de VK. El resultado principal: una nueva vertical de recomendaciones, es decir, un feed o una lista independiente para un escenario concreto, ahora se lanza en un solo día. Antes, esa rutina llevaba semanas. Alrededor del 90% de las tareas de ranking se resuelve con configuración, sin código nuevo.

Config en lugar de semanas de desarrollo

Antes, para cada nuevo feed el equipo tenía que montar su propio conjunto de servicios, configurar los flujos de datos, crear la monitorización y construir por separado la infraestructura para las pruebas A/B. Ahora el ingeniero describe la vertical en un archivo de configuración. Contiene cuatro bloques:

• el catálogo de objetos que hay que ordenar; • las fuentes de candidatos, es decir, de dónde salen los objetos que se muestran; • el perfil de usuario con el que se selecciona el contenido; • los objetivos de optimización, es decir, las métricas que el modelo debe hacer crecer.

A partir de ahí, la plataforma despliega por sí sola los servicios, los flujos de datos, la monitorización y el circuito de A/B. La persona escribe una descripción, no la infraestructura.

Esto ha dado lugar a 15 nuevas verticales. Entre ellas hay escenarios pequeños, como el ranking de comentarios. Antes no merecía la pena lanzar algo así: las semanas de trabajo no se amortizaban. Cuando el lanzamiento lleva un día, la economía cambia, y hasta las tareas más específicas obtienen su propio recomendador.

Un portal que impide romper producción

Si la configuración controla casi todo, un error en ella afecta a millones de usuarios. Por eso, alrededor de la plataforma se ha construido Discovery Portal, un punto único de gestión de configuraciones, topología de servicios y monitorización. Funciona así:

• los cambios se validan antes de aplicarse; • el despliegue es gradual y, en cada paso, las métricas se comparan con la versión anterior; • si las métricas caen, el sistema revierte el cambio; • volver a la versión anterior se hace en un solo paso.

Todos los desarrolladores de AI VK usan el portal, y por él pasan decenas de cambios al día. Para los ingenieros, esta es la principal conclusión práctica: sin un circuito de seguridad así, la velocidad de lanzamiento se convierte pronto en una cadena de caídas. Un arranque rápido y una reversión rápida solo funcionan juntos.

GPU con un presupuesto de milisegundos

Un bloque aparte se dedica a las unidades de procesamiento gráfico en el propio ranking. La recomendación debe llegar en apenas unos milisegundos; de lo contrario, el feed se queda colgado. El equipo ha implantado tres mecanismos:

• Batching dinámico. El servidor acumula durante un breve instante las solicitudes entrantes y se las entrega a la tarjeta gráfica en un lote. Una GPU calcula con más eficiencia muchos objetos a la vez que uno por uno. • Control de las colas de latencia. La velocidad media dice poco: el usuario recuerda las respuestas más lentas. El equipo vigila precisamente las solicitudes largas y poco frecuentes, y las limita. • Ruta de reserva hacia un modelo más sencillo. Si el modelo pesado no llega en el tiempo asignado, responde una versión aligerada. El feed recibirá un resultado algo menos preciso, pero no se quedará vacío.

Los tres recursos son conocidos para los ingenieros que mantienen inferencia online. Aquí se han integrado en una plataforma y se han aplicado al ranking en productos con una audiencia enorme.

Qué ha mejorado en las métricas

VK ofrece estas cifras tras implantar los cambios:

• el tiempo en el feed de ВКонтакте ha subido un 11%; • las solicitudes de amistad desde recomendaciones han crecido casi 2,7 veces; • el tiempo de visionado en VK Clips ha aumentado un 22%; • en la página principal de VK Video, el tiempo de visionado ha subido un 20%.

La publicidad también funciona sobre Discovery. En los mensajes a comunidades, la conversión de impresión a acción objetivo ha crecido un 46%, y el coste de la acción objetivo ha bajado un 13%. En la publicidad CPC de sitios web (pago por clic) hay un 56% más de acciones objetivo, y su coste ha caído un 24%.

Son datos de la propia compañía. El informe no detalla el periodo de medición, el tamaño de los grupos A/B ni la contribución de cada mejora de los modelos, así que parte del aumento puede deberse a los nuevos modelos que se han trasladado a la plataforma, y no a la plataforma en sí. Aun así, el rango declarado, de +11% a +46%, indica que la capa única ha acelerado no solo los lanzamientos, sino también los propios experimentos.

Qué viene ahora

El siguiente paso es migrar por completo la búsqueda a Discovery. Si lo consiguen, las recomendaciones, la búsqueda y la publicidad funcionarán sobre una misma infraestructura, con un portal, una monitorización y unas reglas de despliegue comunes.

Para otras compañías, la conclusión es sencilla. Cuantas más tareas de ranking se trasladan a la configuración, más barata resulta cada nueva vertical y con más decisión la prueban los equipos. Pero la plataforma solo se amortiza si va acompañada de validación, lanzamientos graduales y reversión automática.