Google présente STATIC : une recherche générative 948 fois plus rapide

Les systèmes de recommandation qui décident de ce qui s'affiche dans votre fil YouTube, sur Google Play ou sur n'importe quel autre grand service sont au seuil d'un changement fondamental. Plutôt que l'approche classique, fondée sur la recherche des plus proches voisins dans l'espace des embeddings, l'industrie expérimente de plus en plus la recherche générative, où un grand modèle de langage « invente » directement les identifiants des éléments pertinents. Google AI vient de présenter le framework STATIC, qui résout l'un des problèmes les plus douloureux de cette approche, avec une accélération stupéfiante : 948 fois.

Pour saisir l'importance de ce travail, il faut en connaître le contexte. La recherche générative (Generative Retrieval, GR) est un paradigme dans lequel chaque élément du catalogue, qu'il s'agisse d'une vidéo, d'un produit ou d'un article, est encodé sous la forme d'un identifiant sémantique (Semantic ID), c'est-à-dire une séquence de tokens discrets. Le modèle de langage apprend à générer ces séquences de manière autorégressive, token après token, comme GPT génère du texte.

L'idée paraît élégante, mais un obstacle sérieux apparaît en pratique : les systèmes de recommandation industriels ne fonctionnent pas dans le vide. La logique métier impose des contraintes strictes : le contenu doit être récent, respecter les règles régionales, ne pas enfreindre les classifications par âge et tenir compte des accords de licence. Le modèle ne peut pas générer des identifiants librement ; chaque étape de décodage doit être vérifiée au regard de ces contraintes.

C'est là que les ennuis commencent. Le décodage contraint (constrained decoding) des implémentations existantes est d'une lenteur pénible. À chaque étape de génération, le modèle doit consulter un énorme ensemble de continuations valides, écarter les options non valides et redistribuer les probabilités. Avec des catalogues de dizaines de millions d'éléments et des contraintes combinatoires complexes, cela tourne au cauchemar de calcul. Les approches précédentes recouraient à des structures de données arborescentes, les arbres de préfixes (tries), mais elles passent mal à l'échelle quand plusieurs contraintes se recoupent et se prêtent difficilement à une parallélisation efficace sur GPU.

STATIC (Sparse maTrix frAmework for consTraIned deCoding) adopte une approche radicalement différente. Au lieu de parcourir des arbres, le framework traduit toute la logique des contraintes en opérations sur des matrices creuses. Chaque contrainte, qu'il s'agisse d'un filtre sur la date de publication, la géographie ou la catégorie, est représentée par une matrice creuse, et leur combinaison se ramène à des opérations matricielles standard : multiplication, intersection, union.

Cela apporte deux avantages critiques. Premièrement, les opérations sur matrices creuses sont remarquablement bien optimisées sur les GPU et TPU actuels ; des décennies de travail en algèbre linéaire pour l'apprentissage automatique ont créé une infrastructure puissante pour cela. Deuxièmement, l'approche permet de combiner élégamment un nombre arbitraire de contraintes sans explosion exponentielle de la complexité.

Le chiffre de 948 fois mérite un commentaire à part. En recherche sur l'optimisation, on croise souvent des multiplicateurs impressionnants qui, à y regarder de près, résultent d'une comparaison avec une référence volontairement faible. Pour STATIC, en revanche, la comparaison porte sur des méthodes de décodage contraint réelles, utilisées en production. Une accélération de cet ordre signifie qu'une opération qui prenait des minutes tient désormais en une fraction de seconde, soit la différence entre une technologie théoriquement intéressante et une technologie réellement exploitable.

Les conséquences pour l'industrie des systèmes de recommandation pourraient être considérables. Jusqu'ici, la recherche générative restait en grande partie un concept de recherche, précisément à cause de la difficulté à respecter les contraintes métier en temps réel. Les entreprises qui gèrent des catalogues de centaines de millions d'éléments ne pouvaient tout simplement pas se permettre la latence du décodage. STATIC lève potentiellement cette limite et ouvre la voie au remplacement des modèles classiques à deux tours avec recherche approximative des plus proches voisins par des pipelines entièrement génératifs. Cela pourrait à son tour améliorer la qualité des recommandations, car les modèles génératifs sont capables de saisir des schémas de préférences utilisateur plus complexes que les embeddings statiques.

Le contexte est aussi plus large. Le décodage contraint n'est pas un problème propre aux systèmes de recommandation. Il se pose dans la génération structurée de texte, dans les systèmes où les modèles de langage doivent produire du JSON valide, des requêtes SQL ou du code conforme à une grammaire formelle. Si l'approche de STATIC se révèle généralisable, ses principes pourraient trouver des applications bien au-delà des recommandations.

Google continue de transformer méthodiquement les modèles de langage, d'outils de génération de texte en moteurs de calcul universels. STATIC n'est pas l'annonce tapageuse d'un nouveau chatbot, mais une innovation d'infrastructure qui peut changer, discrètement mais radicalement, l'architecture de systèmes avec lesquels des milliards d'utilisateurs interagissent chaque jour. Ce sont précisément ces travaux, invisibles pour le grand public mais critiques pour les ingénieurs, qui déterminent en fin de compte l'intelligence et la rapidité des services que nous utilisons.