Spotify: plataforma de anotação alimentada por LLM — corpus de rotulagem 10x maior com 3x produtividade de anotadores

• How We Generated Millions of Content Annotations — Spotify Engineering (Puleo, Seetharam, Drzyzga), 2024-10-21
• Spotify: Scaling ML Annotation Platform with LLMs for Content Classification (сторонний критический разбор) — ZenML LLMOps Database

Contexto

O Spotify é o maior serviço de streaming de áudio, com um catálogo de centenas de milhões de faixas e episódios de podcast. Do ponto de vista do aprendizado de máquina, esse catálogo é um ativo e uma responsabilidade ao mesmo tempo: recomendações, busca, posicionamento automático de conteúdo em páginas de artistas, detecção de relações entre lançamentos e moderação de podcasts para violações de políticas — todos esses são modelos de ML que devem cobrir o catálogo inteiro. E qualquer modelo, antes de funcionar, precisa de dados rotulados — tanto para treinamento quanto para avaliação de qualidade.

Rotulagem é a parte mais subestimada do pipeline de ML. Enquanto a indústria debate arquiteturas de modelos, as equipes de produção enfrentam a pergunta prosaica: quem colocará milhões de rótulos em áudio, vídeo e texto, com que velocidade e confiabilidade. IA generativa aguçou o problema duas vezes: ciclos de iteração de modelos encolheram de meses para semanas, tornando a rotulagem que não consegue acompanhar o principal freio — enquanto LLMs em si, pela primeira vez, tornaram a rotulagem automática em larga escala de qualidade aceitável possível.

Em outubro de 2024, a equipe da plataforma de anotação do Spotify — gerente de operações de plataforma Dana Puleo e engenheiros sêniors Meghana Seetharam e Katarzyna Drzyzga — publicaram 'How We Generated Millions of Content Annotations' no blog de engenharia: como a empresa industrializou a rotulagem de dados combinando expertise humana em camadas com um sistema de LLM executado em paralelo com pessoas. O post é notável por seu gênero: não a história de um modelo, mas uma descrição de uma plataforma de fábrica interna servindo dezenas de projetos de rotulagem entre as verticais de Música, Podcasts e Audiolivros — com ênfase em segurança do catálogo e moderação.

Problema

A rotulagem de dados na escala do catálogo do Spotify era o gargalo de todo o pipeline de ML. Conteúdo: centenas de milhões de itens; tarefas: dezenas, desde classificação de conteúdo e detecção de relação de lançamento até análise de episódios de podcast para violações de políticas; e anotação manual é lenta, cara e não escala bem. O dilema clássico: contratar mais anotadores e custos crescem linearmente enquanto qualidade, na ausência de processos sólidos, até cai; automatizar ingenuamente e qualidade de rótulo se torna imprevisível — ainda assim treinamento e avaliação honesta de modelo dependem disso.

O segundo problema era fragmentação. Diferentes equipes do Spotify construíram seus próprios processos de anotação dispersos: suas próprias ferramentas, suas próprias diretrizes, seus próprios critérios de qualidade. Expertise não era reutilizada, qualidade era irregular e lançar cada novo projeto de rotulagem significava construir um processo do zero — inaceitavelmente lento para uma era na qual modelos generativos exigem conjuntos de dados de avaliação frescos a cada poucas semanas.

A terceira camada é específica para uma plataforma de áudio: rotular som e vídeo é mais difícil do que texto. Um anotador deve ouvir segmentos, comparar versões de faixas, revisar episódios de podcast — ferramentas padrão de rotulagem de texto não são construídas para isso. E as apostas são altas: erros de rotulagem em tarefas de segurança de catálogo e moderação se convertem diretamente em riscos reputacionais e regulatórios para a plataforma.

Solução

O Spotify construiu uma plataforma de anotação unificada sobre três pilares: expertise humana escalável, ferramentas de anotação flexíveis e infraestrutura compartilhada integrada com pipelines de ML.

O lado humano é organizado em três camadas. Anotadores principais são especialistas de domínio fornecendo revisão de primeira passagem de todos os casos de anotação. Analistas de qualidade são especialistas de domínio de nível superior atuando como ponto de escalação para todos os casos ambíguos ou complexos. Gerentes de projeto conectam as equipes, mantêm materiais de treinamento e executam o loop de feedback entre clientes de rotulagem e anotadores. A pirâmide resolve dois problemas ao mesmo tempo: volume (rotulagem de primeira passagem é barata e rápida) e qualidade (itens contestados fluem para os especialistas mais fortes).

Em paralelo com os humanos, é executado um sistema de rotulagem baseado em LLM configurável — a decisão arquitetônica chave da plataforma. O modelo rotula os mesmos dados que pessoas; acordo entre anotadores é calculado automaticamente e itens com baixo consenso — entre humanos ou entre um humano e o modelo — escalam automaticamente para analistas de qualidade. Nas palavras da equipe, isso é o que permitiu ao Spotify 'crescer significativamente nosso corpus de dados de anotação de alta qualidade com baixo esforço e custo': o LLM absorve a rotina em massa enquanto expertise humana escassa se concentra onde é irreplacível.

A ferramenta é construída para tipos de conteúdo reais: além de interfaces padrão para tarefas de NLP, a plataforma fornece interfaces personalizadas para anotar segmentos de áudio e vídeo. Painéis de projeto em tempo real mostram taxas de conclusão, volumes e produtividade por anotador — rotulagem se transforma de uma 'caixa preta terceirizada' em um processo de produção gerenciado com um SLA mensurável.

Finalmente, a camada de integração: a plataforma é embutida nos workflows de ML do Spotify em cada estágio — através de CLIs, UIs e sistemas de orquestração em lote. Resultados de rotulagem não ficam em planilhas; fluem de volta automaticamente em pipelines de treinamento e avaliação de modelos, e um novo projeto de rotulagem é configurado sobre infraestrutura pronta ao invés de ser construído do zero.

Resultado

O corpus de anotação cresceu 10x e produtividade de anotadores 3x: automatizar amostragem, servir revisão e alimentar resultados de volta em pipelines de treinamento removeu as etapas manuais, enquanto rotulagem de LLM tirou a rotina em massa das pessoas. A plataforma executa dezenas de projetos de rotulagem em paralelo, servindo casos de uso de ML e GenAI em um catálogo de centenas de milhões de faixas e episódios — desde detecção de relação de lançamento e posicionamento automático de conteúdo até análise de podcasts para violações de políticas.

Limites importantes nesses números. Os '10x' e '3x' são métricas internas do Spotify sem auditoria externa e o post não divulga a base de comparação: é incerto a partir de qual corpus inicial e em que período o crescimento foi medido. Uma revisão de terceiros no banco de dados de casos LLMOps da ZenML nota outras lacunas: o post não fornece detalhe técnico sobre prompts, abordagens few-shot ou fine-tuning de LLM, e a reivindicação de 'baixo custo' não é detalhada — se infraestrutura, tempo de engenharia de prompt e monitoramento contínuo de qualidade estão inclusos é desconhecido. Apresentamos o caso com esses avisos: a direção do resultado não está em dúvida; leia os multiplicadores exatos como auto-relatório.

Em nossa opinião, o principal valor do caso é um padrão arquitetônico que se transfere para praticamente qualquer indústria: LLM mais humanos, vinculados por uma métrica de acordo com escalação automática. Isso é fundamentalmente mais confiável do que 'LLM em vez de humanos': o modelo fornece escala, pessoas fornecem calibração e adjudicação de casos extremos, e a métrica de acordo automaticamente decide quem deve lidar com cada item específico. O loop de feedback é duplo: casos contestados não apenas aumentam qualidade de rótulo mas também revelam onde diretrizes de rotulagem são ambíguas.

Nossa segunda observação: Spotify trata rotulagem como um produto com sua própria equipe, ferramentas e métricas ao invés de uma compra única. Em uma era quando qualidade de modelo generativo é limitada não por arquiteturas mas por conjuntos de dados de avaliação, uma plataforma de anotação se torna infraestrutura tão crítica quanto model serving — e o caso do Spotify foi o primeiro de 'big streaming' a mostrar isso publicamente.

Lições aprendidas

1. Qualidade de produto GenAI engarrafa em dados: uma plataforma de anotação é infraestrutura tão crítica quanto model serving e merece uma equipe dedicada.
2. LLM + humanos supera LLM em vez de humanos: o modelo rotula em massa, humanos resolvem casos contestados — escalação automática em métricas de acordo os vincula em um pipeline.
3. Três camadas de expertise (anotador → analista de qualidade → gerente de projeto) escalam volume e qualidade ao mesmo tempo.
4. Uma plataforma central com ferramentas reutilizáveis supera dezenas de processos caseiros: novos projetos de rotulagem são configurados sobre infraestrutura pronta.
5. Ferramentas devem corresponder ao tipo de conteúdo: áudio e vídeo precisam de interfaces de anotação construídas para o propósito, não ferramentas de texto adaptadas.
6. Métricas em tempo real (volume, taxa de transferência, acordo) transformam rotulagem de uma caixa preta em um processo de produção gerenciado.
7. Leia os multiplicadores criticamente: '10x' e '3x' são números internos sem baseline divulgada; revisões de terceiros (ZenML) apontam falta de detalhes sobre prompts e contabilidade de custo completo.

Perguntas frequentes