Yandex Lavka quebra o ciclo vicioso das recomendações com exploration personalizada

Ramil Boyarchenkov, especialista em machine learning da equipe da Yandex Lavka, contou no Habr como o serviço lidou com o ciclo vicioso das recomendações. Nesse efeito, um sistema de recomendação bem treinado acaba refém da própria precisão.

Qual é o problema das boas recomendações

Segundo o autor, quanto melhor o sistema adivinha o que o usuário vai colocar no carrinho, menos ele mostra algo desconhecido, já que oferecer produtos testados rende mais em vendas de curto prazo. Com o tempo, o sistema de recomendação se fecha nos hábitos já consolidados da pessoa e deixa de levá-la além deles, mesmo quando os interesses do usuário mudam. O sistema simplesmente não percebe essas mudanças, porque não enxerga sinais fora do conjunto de produtos que já conhece.

A tentativa de resolver a questão de forma direta, colocando produtos desconhecidos nos resultados, quase sempre prejudica as métricas: o volume das compras imediatas inevitavelmente cai quando o usuário recebe sugestões sobre as quais o sistema não tem segurança.

Como funciona o novo mecanismo

A equipe da Yandex Lavka criou um mecanismo que insere produtos desconhecidos não de forma aleatória, mas personalizada: eles vão para os usuários que, estatisticamente, estão mais propensos a experimentar algo novo.

• Os produtos desconhecidos são inseridos de forma personalizada, e não da mesma maneira para todos os usuários
• Para cada usuário, é calculada uma probabilidade individual de exibir novidades
• A equipe calibrou a "agressividade" da exploration, ou seja, o equilíbrio entre o risco de mostrar uma novidade ruim e o ganho de ampliar o horizonte das recomendações
• O autor do material é Ramil Boyarchenkov, engenheiro de machine learning da Yandex Lavka

A ideia é direcionar a exploration para onde o ganho potencial de apresentar um novo produto ao usuário supera a provável perda de vendas no curto prazo, em vez de distribuir novidades de forma uniforme por toda a audiência, o que é mais arriscado.

Por que isso não se resolve com uma única fórmula?

O equilíbrio entre exploration (tentar mostrar algo novo ao usuário, arriscando a precisão) e exploitation (apoiar-se em preferências já comprovadas) é um problema clássico, conhecido por qualquer sistema de recomendação, de serviços de streaming de música a marketplaces. Formalmente, ele pode ser descrito em termos matemáticos, mas na prática o ajuste correto depende das particularidades de cada negócio. No delivery de mercado, em que a decisão de compra é rápida e emocional, uma exploration agressiva demais corre o risco de frustrar o usuário com um produto desconhecido e sem graça, enquanto uma cautelosa demais deixa o sistema preso ao sortimento já conhecido.

Por isso, a equipe da Yandex Lavka precisou calibrar o grau de agressividade da exploration de forma empírica, em vez de adotar uma solução universal pronta.

Como isso aparece para o usuário final?

Do ponto de vista do cliente da Yandex Lavka, as mudanças não são diretamente perceptíveis: de vez em quando, ele simplesmente vê entre as recomendações um produto que nunca comprou e que talvez nem tenha procurado. Por trás dessa única exibição, porém, há um cálculo da probabilidade de que justamente esse usuário esteja disposto a experimentar uma novidade sem se decepcionar com o serviço. Essa personalização pontual da exploration diferencia a abordagem da Yandex Lavka de esquemas mais grosseiros, em que as novidades são inseridas de forma uniforme no feed de todos os usuários, com perda de parte das vendas entre aqueles que não gostam desse tipo de experimento.

O que isso significa

O caso é um exemplo típico de como um problema conhecido por qualquer sistema de recomendação, o equilíbrio entre exploration e exploitation, se resolve não com uma fórmula abstrata, mas com uma calibração prática voltada a um negócio e a um usuário específicos. Personalizar a exploration permite ampliar o horizonte das recomendações sem sacrificar as vendas de curto prazo, e essa abordagem vale muito além do delivery de mercado: serve para qualquer serviço em que o sistema de recomendação corre o risco de ficar preso aos produtos que o usuário já conhece.