VK lance Discovery AI, un moteur de recherche neuronal pour la base de contenus de plusieurs milliards d'éléments de Dzen et VK Video

VK a publié sur Habr une analyse détaillée de l'architecture de Discovery AI, un système de recherche neuronale qui associe un grand modèle de langage à la base de contenus, forte de plusieurs milliards d'éléments, des services du groupe. La technologie est déployée par étapes sur Dzen, VKontakte, VK Video et Mail Media Projects.

Ce que comprend Discovery AI

Discovery AI n'est pas un modèle unique, mais un ensemble de composants d'IA interconnectés, développés par le département des technologies expérimentales d'IA de VK. Le développeur principal, Evgeny Astafurov, décrit le système comme un ensemble de cinq technologies :

• Recherche neuronale : recherche selon le sens de la requête, et non selon des mots-clés
• Analyse du contexte : compréhension de l'historique d'interaction de l'utilisateur avec les contenus
• Personnalisation : adaptation des résultats à chaque personne
• Modèles génératifs : synthèse de réponses textuelles à partir des contenus trouvés
• Algorithmes de recommandation : sélection de nouveaux contenus que l'utilisateur n'a pas encore vus

Au cœur du système, on trouve l'intégration d'un LLM avec un index de recherche et une infrastructure d'inférence. Le système travaille avec une base couvrant des milliards de contenus issus de tout l'écosystème VK.

En quoi la recherche neuronale diffère de la recherche classique

Un moteur de recherche classique cherche des correspondances exactes de mots. La recherche neuronale comprend l'intention : la requête « conseille-moi quelque chose sur l'investissement pour les débutants » renverra des contenus pertinents même s'ils ne contiennent pas ces mots précis.

Techniquement, cela passe par des représentations vectorielles : le LLM convertit la requête et les documents en vecteurs numériques, et le système trouve le contenu le plus proche par le sens. On peut ainsi faire passer la recherche à l'échelle de milliards de documents sans les parcourir un à un.

La partie générative ajoute un niveau supplémentaire : au lieu d'une liste de liens, l'utilisateur peut obtenir une réponse synthétisée, construite à partir de plusieurs sources de la base de VK.

«

La technologie devient un composant important du développement des systèmes de recommandation et de recherche dans nos produits », a déclaré Evgeny Astafurov, développeur principal chez VK.

Pour quels services et pour qui

Les plateformes prioritaires pour le déploiement sont Dzen, VKontakte, VK Video et Mail Media Projects. Outre les utilisateurs finaux, VK prévoit de proposer des outils fondés sur Discovery AI aux créateurs de contenu et aux entreprises.

Un déploiement par étapes signifie qu'il n'y aura pas de jour de lancement unique : la technologie apparaîtra progressivement dans les différents services du groupe. La publication ne donne pas de dates précises.

Ce que cela signifie

VK construit une infrastructure de recherche IA unifiée au-dessus de sa propre base de contenus de plusieurs milliards d'éléments, un avantage concurrentiel clé que les modèles occidentaux n'ont pas. Tandis que Yandex développe des systèmes similaires, VK parie sur le fait qu'une compréhension fine du contexte au sein d'un écosystème fermé compte plus que l'universalité.

Questions fréquentes

Dans quels services de VK la recherche neuronale arrivera-t-elle en premier ?

Selon la publication sur Habr, les plateformes prioritaires sont Dzen, VKontakte, VK Video et Mail Media Projects. Evgeny Astafurov n'a pas donné de dates précises pour un lancement à grande échelle.

Les créateurs et les entreprises auront-ils accès à

Discovery AI ?

Oui. VK a indiqué que les outils fondés sur Discovery AI seraient accessibles non seulement aux utilisateurs finaux, mais aussi aux créateurs de contenu et aux clients professionnels des services du groupe.