VK reduz de semanas para um dia o lançamento de um novo feed de recomendação

A equipe de AI da VK publicou no Habr um relatório sobre o que mudou no Discovery nos últimos meses. O Discovery é a camada de infraestrutura única que sustenta recomendações, busca e publicidade em todos os produtos da VK. O principal resultado: uma nova vertical de recomendação, ou seja, um feed ou lista separado para um cenário específico, agora é lançada em um dia. Antes, essa rotina levava semanas. Cerca de 90% das tarefas de ranking são resolvidas por configuração, sem código novo.

Configuração no lugar de semanas de desenvolvimento

Antes, para cada novo feed, a equipe precisava montar seu próprio conjunto de serviços, configurar fluxos de dados, criar o monitoramento e construir, em separado, a infraestrutura para testes A/B. Agora, o engenheiro descreve a vertical em um arquivo de configuração. Ele tem quatro blocos:

• o catálogo de objetos que devem ser ranqueados; • as fontes de candidatos, de onde saem os objetos a serem exibidos; • o perfil do usuário, que serve de base para selecionar o conteúdo; • os objetivos de otimização, ou seja, as métricas que o modelo deve fazer crescer.

Daí em diante, a própria plataforma implanta serviços, fluxos de dados, monitoramento e o circuito de A/B. A pessoa escreve a descrição, não a infraestrutura.

O resultado foram 15 novas verticais. Entre elas há cenários pequenos, como o ranking de comentários. Antes, não valia a pena lançar algo tão miúdo: semanas de trabalho não se pagavam. Quando o lançamento leva um dia, a conta muda, e até tarefas pontuais ganham um recomendador próprio.

Um portal que impede de quebrar a produção

Se a configuração controla quase tudo, um erro nela atinge milhões de usuários. Por isso, em volta da plataforma foi construído o Discovery Portal, ponto único de gestão de configurações, topologia de serviços e monitoramento. Ele funciona assim:

• as alterações são validadas antes de serem aplicadas; • a liberação é gradual, e a cada etapa as métricas são comparadas com as da versão anterior; • se houver queda, o sistema reverte a alteração; • o retorno à versão anterior é feito em um único passo.

Todos os desenvolvedores de AI da VK usam o portal, e dezenas de alterações passam por ele por dia. Para os engenheiros, esta é a principal lição prática: sem um circuito de segurança desse tipo, a velocidade de lançamento rapidamente vira uma sequência de incidentes. Início rápido e reversão rápida só funcionam em conjunto.

GPU em um orçamento de milissegundos

Um bloco à parte trata do uso de GPUs no próprio ranking. A recomendação precisa caber em poucos milissegundos, senão o feed trava. A equipe implementou três mecanismos:

• Batching dinâmico. O servidor acumula por um curto período as requisições que chegam e as entrega à placa de vídeo em lote. A GPU processa muitos objetos de uma vez com mais eficiência do que um por um. • Controle da latência de cauda. A velocidade média diz pouco: o usuário se lembra das respostas mais lentas. A equipe monitora justamente as requisições raras e demoradas e as limita. • Caminho de contingência para um modelo mais simples. Se o modelo pesado não responde dentro do tempo estipulado, uma versão mais leve fornece a resposta. O feed terá um resultado um pouco menos preciso, mas não ficará vazio.

As três técnicas são conhecidas de quem opera inferência online. Aqui, elas foram reunidas em uma plataforma e aplicadas ao ranking em produtos com grande audiência.

O que cresceu nas métricas

A VK apresenta os seguintes números após a implantação das mudanças:

• o tempo no feed do VKontakte cresceu 11%; • as adições de amigos a partir de recomendações aumentaram quase 2,7 vezes; • o tempo de visualização no VK Clips subiu 22%; • na página inicial do VK Video, o tempo de visualização cresceu 20%.

A publicidade também roda sobre o Discovery. Nas mensagens para comunidades, a conversão de impressão em ação-alvo subiu 46%, e o custo da ação-alvo caiu 13%. Na publicidade CPC de sites (pagamento por clique), o número de ações-alvo ficou 56% maior, e o custo delas caiu 24%.

São dados da própria empresa. O relatório não separa o período de medição, o tamanho dos grupos de A/B nem a contribuição de cada melhoria dos modelos. Por isso, parte do ganho pode não ser da plataforma, e sim de novos modelos que migraram para ela. Ainda assim, a escala declarada, de +11% a +46%, indica que a camada única acelerou não só os lançamentos, mas também os próprios experimentos.

O que vem a seguir

O próximo passo é a migração completa da busca para o Discovery. Se der certo, recomendações, busca e publicidade passarão a rodar na mesma infraestrutura, com portal, monitoramento e regras de liberação em comum.

Para outras empresas, a conclusão é simples. Quanto mais tarefas de ranking são levadas para a configuração, mais barata fica cada nova vertical e mais ousadas as equipes ficam para testá-las. Mas a plataforma só se paga junto com validação, liberações graduais e reversão automática.