Spotify : une plateforme d'annotation basée sur LLM — un corpus d'étiquetage 10x plus grand avec une productivité des annotateurs 3x

• How We Generated Millions of Content Annotations — Spotify Engineering (Puleo, Seetharam, Drzyzga), 2024-10-21
• Spotify: Scaling ML Annotation Platform with LLMs for Content Classification (сторонний критический разбор) — ZenML LLMOps Database

Contexte

Spotify est le plus grand service de streaming audio, avec un catalogue de centaines de millions de pistes et d'épisodes de podcast. D'un point de vue apprentissage automatique, un tel catalogue est à la fois un atout et un passif : les recommandations, la recherche, le placement automatique de contenu sur les pages d'artistes, la détection des relations entre les versions, et la modération des podcasts pour les violations de politique — tous ces éléments sont des modèles ML qui doivent couvrir l'ensemble du catalogue. Et n'importe quel modèle, avant de pouvoir fonctionner, a besoin de données étiquetées — à la fois pour l'entraînement et pour l'évaluation de la qualité.

L'étiquetage est la partie la plus sous-estimée du pipeline ML. Tandis que l'industrie débat des architectures de modèles, les équipes de production se heurtent à la question prosaïque : qui va mettre des millions d'étiquettes sur l'audio, la vidéo et le texte, à quelle vitesse, et avec quelle fiabilité. L'IA générative a aggravé le problème à deux reprises : les cycles d'itération des modèles se sont réduits de mois à semaines, ce qui rend l'étiquetage qui ne peut pas suivre le principal frein — tandis que les LLMs eux-mêmes, pour la première fois, ont rendu possible l'étiquetage automatique à grande échelle d'une qualité acceptable.

En octobre 2024, l'équipe de plateforme d'annotation de Spotify — la responsable des opérations de plateforme Dana Puleo et les ingénieurs spécialisés Meghana Seetharam et Katarzyna Drzyzga — ont publié « How We Generated Millions of Content Annotations » sur le blog d'ingénierie : comment l'entreprise a industrialisé l'étiquetage des données en combinant l'expertise humaine échelonnée avec un système LLM fonctionnant en parallèle avec les personnes. Le message est notable par son genre : non pas l'histoire d'un seul modèle mais une description d'une plateforme d'usine interne servant des dizaines de projets d'étiquetage dans les secteurs Musique, Podcasts et Audiolivres — avec un accent sur la sécurité et la modération du catalogue.

Problème

L'étiquetage des données à l'échelle du catalogue de Spotify était le goulot d'étranglement de tout le pipeline ML. Contenu : des centaines de millions d'éléments ; tâches : des dizaines, allant de la classification du contenu et de la détection des relations de version à l'analyse des épisodes de podcast pour les violations de politique ; et l'annotation manuelle est lente, coûteuse et met mal à l'échelle. Le dilemme classique : embaucher plus d'annotateurs et les coûts augmentent linéairement tandis que la qualité, sans processus solides, baisse même ; automatiser naïvement et la qualité des étiquettes devient imprévisible — pourtant à la fois l'entraînement et l'évaluation honnête du modèle en dépendent.

Le deuxième problème était la fragmentation. Différentes équipes de Spotify ont construit leurs propres processus d'annotation dispersés : leurs propres outils, leurs propres directives, leurs propres critères de qualité. L'expertise n'a pas été réutilisée, la qualité était inégale, et lancer chaque nouveau projet d'étiquetage signifiait construire un processus à partir de zéro — inacceptablement lent pour une ère dans laquelle les modèles génératifs demandent des ensembles de données d'évaluation frais toutes les quelques semaines.

Le troisième niveau est spécifique à une plateforme audio : l'étiquetage du son et de la vidéo est plus difficile que le texte. Un annotateur doit écouter des segments, comparer les versions de pistes, examiner les épisodes de podcast — les outils standards d'étiquetage de texte ne sont pas construits pour cela. Et les enjeux sont élevés : les erreurs d'étiquetage dans les tâches de sécurité du catalogue et de modération se convertissent directement en risques réputationnels et réglementaires pour la plateforme.

Solution

Spotify a construit une plateforme d'annotation unifiée sur trois piliers : l'expertise humaine évolutive, l'outillage flexible d'annotation, et l'infrastructure partagée intégrée aux pipelines ML.

Le côté humain est organisé en trois niveaux. Les annotateurs de base sont des experts du domaine fournissant un examen de première passe de tous les cas d'annotation. Les analystes de qualité sont des experts du domaine de haut niveau agissant comme point d'escalade pour tous les cas ambigus ou complexes. Les responsables de projet relient les équipes, maintiennent les matériaux de formation, et gèrent la boucle de rétroaction entre les clients d'étiquetage et les annotateurs. La pyramide résout deux problèmes à la fois : le volume (l'étiquetage de première passe est bon marché et rapide) et la qualité (les éléments contestés remontent aux experts les plus forts).

En parallèle avec les humains fonctionne un système d'étiquetage configurable basé sur LLM — la décision architecturale clé de la plateforme. Le modèle étiquète les mêmes données que les gens ; l'accord inter-annotateurs est calculé automatiquement, et les éléments avec un consensus faible — entre les humains, ou entre un humain et le modèle — s'escaladent automatiquement aux analystes de qualité. Selon les paroles de l'équipe, c'est ce qui a permis à Spotify « d'augmenter considérablement notre corpus de données d'annotation de haute qualité avec peu d'effort et de coût » : le LLM absorbe la majorité de la routine tandis que l'expertise humaine rare se concentre là où elle est irremplaçable.

L'outillage est construit pour les types de contenu réels : au-delà des interfaces standard pour les tâches NLP, la plateforme fournit des interfaces personnalisées pour annoter les segments audio et vidéo. Les tableaux de bord de projet en temps réel montrent les taux de réalisation, les volumes, et la productivité par annotateur — l'étiquetage se transforme d'une « boîte noire externalisée » en un processus de production géré avec un SLA mesurable.

Enfin, la couche d'intégration : la plateforme est intégrée aux flux de travail ML de Spotify à chaque étape — via des CLIs, des UIs, et des systèmes d'orchestration batch. Les résultats d'étiquetage ne restent pas dans les feuilles de calcul ; ils remontent automatiquement dans les pipelines d'entraînement et d'évaluation des modèles, et un nouveau projet d'étiquetage est configuré au-dessus d'une infrastructure prête plutôt que construit à partir de zéro.

Résultat

Le corpus d'annotation a grandi 10x et la productivité des annotateurs 3x : l'automatisation de l'échantillonnage, du traitement des révisions, et la réalimentation des résultats dans les pipelines d'entraînement ont supprimé les étapes manuelles, tandis que l'étiquetage LLM a enlevé la majorité de la routine aux gens. La plateforme exécute des dizaines de projets d'étiquetage en parallèle, servant les cas d'usage ML et GenAI dans un catalogue de centaines de millions de pistes et d'épisodes — de la détection des relations de version et du placement automatique de contenu à l'analyse des podcasts pour les violations de politique.

Limites importantes de ces chiffres. Les « 10x » et « 3x » sont les métriques internes de Spotify sans audit externe, et l'article ne divulgue pas la base de comparaison : il n'est pas clair à partir de quel corpus de départ et sur quelle période la croissance a été mesurée. Un examen tiers dans la base de données de cas LLMOps de ZenML note d'autres lacunes : l'article ne donne aucun détail technique sur les prompts, les approches few-shot, ou l'ajustement fin du LLM, et la revendication de « coût faible » n'est pas détaillée — qu'il soit inclus l'infrastructure, le temps d'ingénierie de prompt, et la surveillance de qualité continue est inconnu. Nous présentons l'affaire avec ces avertissements : la direction du résultat n'est pas en doute ; prenez les multiplicateurs exacts comme auto-déclaration.

À notre avis, la valeur principale de l'affaire est un schéma architectural qui se transfère à pratiquement n'importe quelle industrie : LLM plus humains, liés par une métrique d'accord avec escalade automatique. C'est fondamentalement plus fiable que « LLM au lieu d'humains » : le modèle fournit l'échelle, les gens fournissent l'étalonnage et l'arbitrage des cas limites, et la métrique d'accord décide automatiquement qui devrait gérer chaque élément spécifique. La boucle de rétroaction est double : les cas contestés non seulement élèvent la qualité des étiquettes mais révèlent aussi où les directives d'étiquetage sont ambiguës.

Notre deuxième observation : Spotify traite l'étiquetage comme un produit avec sa propre équipe, son outillage, et ses métriques plutôt que comme un approvisionnement ponctuel. À une époque où la qualité du modèle génératif est limitée non par les architectures mais par les ensembles de données d'évaluation, une plateforme d'annotation devient une infrastructure aussi critique que le service de modèles — et l'affaire de Spotify était la première de « grand streaming » à le montrer publiquement.

Leçons

1. La qualité des produits GenAI se concentre sur les données : une plateforme d'annotation est une infrastructure aussi critique que le service de modèles et mérite une équipe dédiée.
2. LLM + humains surpasse LLM à la place des humains : le modèle étiquette en masse, les humains résolvent les cas contestés — l'escalade automatique sur les métriques d'accord les relie en un seul pipeline.
3. Trois niveaux d'expertise (annotateur → analyste de qualité → responsable de projet) mettent à l'échelle le volume et la qualité en même temps.
4. Une plateforme centrale avec un outillage réutilisable dépasse des dizaines de processus maison : les nouveaux projets d'étiquetage sont configurés au-dessus d'une infrastructure prête.
5. Les outils doivent correspondre au type de contenu : l'audio et la vidéo ont besoin d'interfaces d'annotation construites à cet effet, pas d'outils texte adaptés.
6. Les métriques en temps réel (volume, débit, accord) transforment l'étiquetage d'une boîte noire en un processus de production géré.
7. Lisez les multiplicateurs de manière critique : « 10x » et « 3x » sont des chiffres internes sans ligne de base divulguée ; les examens tiers (ZenML) notent des détails manquants sur les prompts et la comptabilité des coûts complets.

Questions fréquentes