VK ramène le lancement d'un nouveau fil de recommandations de plusieurs semaines à une journée

L'équipe AI de VK a publié sur Habr un bilan des changements apportés à Discovery ces derniers mois. Discovery est la couche d'infrastructure commune qui soutient les recommandations, la recherche et la publicité dans tous les produits de VK. Résultat principal : une nouvelle vertical de recommandation, c'est-à-dire un fil ou une liste dédiés à un scénario précis, se lance désormais en une journée. Cette routine prenait auparavant plusieurs semaines. Environ 90% des tâches de ranking se règlent par configuration, sans nouveau code.

Une config à la place de semaines de développement

Auparavant, chaque nouveau fil obligeait l'équipe à assembler son propre jeu de services, à configurer les flux de données, à mettre en place le monitoring et à construire à part l'infrastructure de tests A/B. Désormais, l'ingénieur décrit la vertical dans un fichier de configuration. Celui-ci comporte quatre blocs :

• le catalogue des objets à classer ; • les sources de candidats, c'est-à-dire l'origine des objets à afficher ; • le profil utilisateur, sur la base duquel le contenu est sélectionné ; • les objectifs d'optimisation, c'est-à-dire les métriques que le modèle doit faire progresser.

Ensuite, la plateforme déploie elle-même les services, les flux de données, le monitoring et le circuit A/B. L'ingénieur écrit une description, pas de l'infrastructure.

Résultat : 15 nouvelles verticales. Certaines sont de petits scénarios, comme le ranking des commentaires. Auparavant, un cas d'usage aussi mineur ne valait pas la peine d'être lancé : des semaines de travail ne se rentabilisaient pas. Quand un lancement prend une journée, l'équation change, et même les tâches très ciblées obtiennent leur propre système de recommandation.

Un portail qui empêche de casser la production

Si la configuration pilote presque tout, une erreur dans ce fichier touche des millions d'utilisateurs. C'est pourquoi VK a construit autour de la plateforme le Discovery Portal, un point de contrôle unique pour les configs, la topologie des services et le monitoring. Son fonctionnement :

• les modifications sont vérifiées avant d'être appliquées ; • le déploiement est progressif, et à chaque étape les métriques sont comparées à celles de l'ancienne version ; • en cas de chute des métriques, le système annule la modification ; • le retour à la version précédente se fait en une seule étape.

Tous les développeurs d'AI VK utilisent le portail, et des dizaines de modifications y transitent chaque jour. Pour les ingénieurs, c'est l'enseignement pratique principal : sans un tel filet de sécurité, la vitesse de lancement se transforme vite en série d'incidents. Démarrage rapide et retour arrière rapide vont forcément de pair.

Les GPU dans un budget de quelques millisecondes

Un volet distinct concerne l'usage des processeurs graphiques dans le ranking lui-même. Une recommandation doit tenir en quelques millisecondes, faute de quoi le fil rame. L'équipe a mis en place trois mécanismes :

• Le batching dynamique. Le serveur accumule brièvement les requêtes entrantes et les envoie en lot à la carte graphique. Un GPU traite plus efficacement de nombreux objets à la fois qu'un par un. • Le contrôle des latences de queue. La vitesse moyenne dit peu de chose : l'utilisateur retient les réponses les plus lentes. L'équipe surveille précisément les rares requêtes longues et les limite. • Le repli vers un modèle plus simple. Si le modèle lourd ne répond pas dans le délai imparti, une version allégée fournit la réponse. Le fil sera un peu moins précis, mais il ne restera pas vide.

Ces trois techniques sont familières des ingénieurs qui exploitent de l'inférence en ligne. Ici, elles ont été intégrées dans une plateforme et appliquées au ranking dans des produits à forte audience.

Ce que disent les métriques

VK publie les chiffres suivants après le déploiement des changements :

• le temps passé dans le fil de VKontakte a augmenté de 11% ; • les ajouts d'amis issus des recommandations ont presque été multipliés par 2,7 ; • le temps de visionnage dans VK Clips a progressé de 22% ; • sur la page d'accueil de VK Video, le temps de visionnage a augmenté de 20%.

La publicité repose elle aussi sur Discovery. Pour les messages dans les communautés, la conversion de l'affichage en action ciblée a augmenté de 46%, tandis que le coût de l'action ciblée a baissé de 13%. Dans la publicité CPC pour les sites (paiement au clic), les actions ciblées sont 56% plus nombreuses et leur coût a chuté de 24%.

Ces données proviennent de l'entreprise elle-même. Le rapport ne précise ni la période de mesure, ni la taille des groupes A/B, ni la contribution de chaque amélioration de modèle. Une partie de la hausse peut donc venir non de la plateforme, mais des nouveaux modèles qui y ont migré. Reste que l'ampleur annoncée, de +11% à +46%, montre que la couche unifiée a accéléré non seulement les lancements, mais aussi les expériences elles-mêmes.

Et ensuite

La prochaine étape consiste à migrer entièrement la recherche vers Discovery. Si elle réussit, les recommandations, la recherche et la publicité tourneront sur une même infrastructure, avec un portail, un monitoring et des règles de déploiement communs.

Pour les autres entreprises, l'enseignement est simple. Plus on déporte de tâches de ranking vers la configuration, moins chaque nouvelle vertical coûte cher et plus les équipes osent la tester. Mais la plateforme n'est rentable qu'avec de la validation, des déploiements progressifs et un retour arrière automatique.