Alice AI choisit elle-même le modèle adapté à chaque requête : Alice AI LLM traite 80% du trafic

Tous ceux qui ont développé un produit reposant sur un grand modèle de langage (LLM) connaissent ce dilemme : utiliser un seul grand modèle pour toutes les requêtes coûte cher et prend du temps ; miser sur un petit modèle permet d’aller vite, mais ses performances se dégradent sur les tâches complexes. Avec Alice AI, Yandex a choisi une troisième voie : l’assistant examine lui-même la requête et décide à quel modèle la confier.

Comment cela fonctionne

La logique est simple. Pour les tâches du quotidien — « quel temps fait-il ? », « reformule ce message », « que cuisiner ? » —, Alice AI fait appel à des modèles qui répondent rapidement. Si la requête comporte de nombreuses contraintes, demande d’étudier plusieurs documents, d’effectuer des calculs ou d’élaborer un plan étape par étape, le mode « Expert » prend le relais. Il peut être activé manuellement, mais, par défaut, le système prend lui-même cette décision.

Imaginez cette requête : « Compare deux contrats de location, tiens compte de mon budget et de mes délais, puis prépare un plan de déménagement. » Il ne s’agit plus d’une simple conversation : il faut garder en contexte plusieurs sources, des contraintes et un ordre d’exécution. Une telle requête se voit attribuer davantage de ressources, et l’utilisateur est prêt à patienter un peu plus longtemps. Une question sur une recette de crêpes ne devrait pas imposer la même attente.

Un chiffre tiré de l’annonce : environ 80% des requêtes sont aujourd’hui traitées par Alice AI LLM, le modèle développé par Yandex. L’essentiel du trafic emprunte cette voie, tandis que le mode « Expert » intervient lorsqu’une réponse simple ne suffit pas.

Quels modèles sont utilisés

La composition du mode « Expert » n’est pas figée. Yandex indique tester différents modèles chaque jour et prévoit de renouveler régulièrement la sélection. Celle-ci peut comprendre des modèles de la famille Alice AI comme des modèles accessibles au public dont les poids sont ouverts, exécutés sur les serveurs de Yandex. Pour l’utilisateur, cela signifie que le produit ne dépend pas d’un seul modèle : si un modèle ouvert plus performant pour les calculs ou les documents longs apparaît, il pourra être intégré sans changer le produit lui-même.

Pour les développeurs, cette évolution est révélatrice. Le produit ne se résume plus à « notre modèle » : il associe un routeur, un ensemble de modèles et un contrôle qualité. Le modèle devient un composant interchangeable.

Le modèle ne fait pas tout le produit

Les auteurs de l’annonce insistent sur un point : la qualité d’une réponse dépend du modèle, mais aussi de son environnement d’exécution, ou « harness ». Ce terme désigne généralement tout ce qui entoure le modèle : instructions système, accès aux outils et à la recherche, traitement des documents, vérifications et nouvelles tentatives. Un même modèle peut produire des réponses sensiblement différentes selon cet environnement. Yandex indique mesurer l’influence du harness à l’aide de benchmarks. La méthodologie détaillée et les résultats figurent dans l’article complet publié sur Habr. Ils ne sont pas présents dans l’annonce ; nous ne donnerons donc aucun chiffre précis sur les gains obtenus.

Limites et pistes d’action

Plusieurs points restent dans l’ombre. L’annonce ne précise pas comment les requêtes sont classées : par un modèle distinct, par des heuristiques ou par une autre méthode. Aucune donnée n’indique la fréquence des erreurs du routeur, lorsqu’il confie une tâche complexe à un modèle rapide ou mobilise les ressources du mode « Expert » pour une question simple. Il manque également des mesures de qualité comparant ce dispositif à l’utilisation d’un seul modèle puissant. Tout routage ajoute une étape à la chaîne, donc de la latence et un point de défaillance supplémentaire.

Voici les enseignements pratiques pour les équipes qui développent leurs propres produits fondés sur des LLM :

• Ne faites pas passer tout le trafic par le modèle le plus coûteux. Annotez vos requêtes selon leur complexité et déterminez quelle proportion nécessite réellement un modèle puissant. Chez Yandex, Alice AI LLM traite environ 80% des requêtes ; vos résultats peuvent être différents.
• Donnez à l’utilisateur un sélecteur manuel, comme le mode « Expert » d’Alice. Il réduit les conséquences d’une erreur du routeur.
• Évaluez l’environnement d’exécution séparément du modèle. Avant de remplacer ce dernier, lancez un benchmark avec différents prompts, jeux d’outils et mécanismes de vérification.
• Conservez une architecture modulaire pour pouvoir remplacer les modèles sans réécrire le produit.

La course ne consiste plus seulement à disposer du plus grand modèle, mais à construire le meilleur système autour de plusieurs modèles. Alice AI offre un nouvel exemple de cette approche à grande échelle.