Yandex substitui dezenas de algoritmos de recomendação por um único modelo, Sona: +6,3% no tempo de audição

Quem já construiu um sistema de recomendação conhece essa dor. Primeiro, um modelo seleciona candidatos entre milhões de itens; depois outro os ranqueia, um terceiro acrescenta diversidade e um quarto considera o contexto. Cada um é treinado separadamente, cada um tem suas próprias métricas, e manter todo esse conjunto fica cada vez mais caro. A Yandex mostrou que a cadeia pode ser substituída por um único modelo.

O que foi feito

A equipe de P&D, junto com engenheiros da Alice e do Yandex Music, desenvolveu a Sona, uma rede neural generativa. Ela observa as ações do usuário e determina sozinha o que recomendar e em que ordem. A arquitetura é própria, e o treinamento foi feito do zero com dados da Yandex, sem ajuste fino de pesos de terceiros.

Em um teste A/B em alto-falantes inteligentes com Alice, a Sona substituiu um sistema de dezenas de algoritmos. Em comparação com o grupo de controle, o tempo total de audição aumentou 6,30% e o número de curtidas, 11,42%. São números expressivos para um serviço cujas recomendações vêm sendo otimizadas manualmente há anos.

Como funciona, com um exemplo simples

Imagine que, à noite, o usuário diga ao alto-falante: «toque alguma coisa». Um sistema clássico primeiro reduz o catálogo a centenas de candidatos e depois os ordena com diferentes modelos. A Sona funciona de outra forma: ela gera a recomendação como uma sequência, como se escrevesse uma playlist faixa a faixa. Cada nova faixa leva em conta as anteriores e a reação do ouvinte.

Para não percorrer todo o catálogo de milhões de faixas, o modelo encontra diretamente os itens necessários. Isso é fundamental para a velocidade: uma busca exaustiva nessa escala seria cara demais.

Há também um «professor». Segundo os autores, ele serve para orientar o treinamento do modelo. A Yandex dá os detalhes no artigo completo no Habr, e vale examiná-los separadamente. Outra parte importante é o retreinamento com as ações recentes dos ouvintes. Os gostos mudam rápido, e o modelo não pode viver de dados de ontem.

O que isso significa na prática

Para os gerentes de produto, a principal conclusão é a simplicidade. Um único circuito de modelo no lugar de dezenas significa menos pontos de falha, métricas unificadas e experimentos mais simples. A equipe não sincroniza atualizações entre cinco modelos, e sim melhora um só.

Para os desenvolvedores, é uma tendência que já aparece entre os grandes players: abordagens generativas estão deslocando os pipelines de recomendação em várias etapas. Se você mantém seu próprio sistema de recomendação, vale avaliar quais etapas podem ser unificadas.

Limitações

Os próprios autores são cautelosos: antes de uma adoção ampla, ainda há muito a verificar. O teste foi realizado em um único cenário: música em alto-falantes com Alice. Não se sabe como a Sona se comportaria em vídeo, e-commerce ou busca, onde os objetivos são outros. Também ainda não há dados sobre o custo de inferência e de treinamento em comparação com o sistema antigo. Para equipes pequenas, sem um volume de dados como o da Yandex, repetir essa abordagem será difícil: treinar do zero exige tanto dados quanto poder computacional.

Em resumo: não é uma revolução para todos os casos, mas é um sinal forte. Se um grande sistema de recomendação ganha ao substituir uma cadeia de algoritmos por um único modelo, vale fazer a pergunta sobre consolidação também para a sua própria stack.