Un agent IA hybride ramène le coût d’un dialogue à 3,8 roubles

Une conversation libre avec un LLM paraît naturelle, mais présente deux défauts gênants pour un parcours produit : elle consomme beaucoup de tokens et le modèle peut oublier où il devait mener l’utilisateur. Un bot scénarisé coûte moins cher et se montre plus prévisible, mais se bloque dès qu’une personne écrit « Le stagiaire sait servir le café ! » au lieu de cliquer sur un bouton. L’auteur de l’article a conçu un système hybride : du code classique contrôle le parcours, tandis que le modèle interprète les messages et produit des réponses naturelles.

Lors d’un pilote avec 88 utilisateurs, l’ensemble des appels aux modèles a coûté 169 roubles. Le coût moyen d’un dialogue s’est établi à 3,8 roubles. Selon les calculs de l’auteur, la même conversation avec un LLM performant, sans cette structure déterministe, aurait coûté environ 16 roubles.

L’automate décide, le LLM explique

Le dialogue est découpé en états : prise de contact, formation, conclusion, offre, refus et arrêt. Seul le code peut faire passer l’utilisateur de l’un à l’autre. Il connaît les transitions autorisées, vérifie les réponses aux quiz et décide quand afficher l’offre commerciale.

Quand l’utilisateur clique sur un bouton, le modèle reçoit un contexte déjà préparé et rédige sa réponse. Lorsqu’un texte libre arrive, le système appelle d’abord un classifieur peu coûteux. Celui-ci choisit une action parmi celles qui sont autorisées : poursuivre le sujet, expliquer plus simplement, passer à une autre partie du programme ou simplement entretenir la conversation. L’automate vérifie ce choix, puis le modèle narrateur formule la réponse.

Par exemple, un utilisateur a demandé une explication plus simple des réseaux de neurones, puis a plaisanté sur le stagiaire et le café. Dans le premier cas, l’automate connaissait précisément le sujet et n’a appelé que le narrateur. Dans le second, le classifieur a identifié la plaisanterie comme une digression. Le code a conservé l’état en cours, puis le narrateur a répondu et ramené la conversation à la leçon. Cela a nécessité deux appels au modèle, au lieu de lui confier l’ensemble du pilotage.

D’où viennent les économies

Les dépenses tiennent surtout à l’architecture de chaque tour de conversation, plutôt qu’à la seule longueur de l’échange. Dans l’implémentation de l’auteur, un clic sur un bouton coûtait environ 35 kopecks, et un message texte, 36 kopecks. Un dialogue moyen revenait à 3,8 roubles. Un petit modèle assurait la classification, un modèle plus performant jouait le rôle de narrateur.

Une inversion accidentelle des modèles pendant le pilote a bien illustré le coût d’un mauvais routage. Le modèle plus cher, affecté à la classification, traitait 31% des appels, mais représentait 44% des dépenses. Dans la configuration normale, le classifieur ne représentait qu’environ 1% du coût. La leçon pratique est simple : affecter le modèle peu coûteux aux tâches qui se limitent à une courte liste d’options, et réserver le modèle cher aux situations où la qualité du texte compte réellement.

La fiabilité ne repose pas uniquement sur les prompts. Les transitions et les quiz sont vérifiés hors ligne, sans modèle. Les messages utilisateur difficiles figurent dans une batterie de tests d’évaluation, et l’automate valide à nouveau l’action choisie par le classifieur. Un plafond de dépenses de 40 roubles par session sert de garde-fou : une fois ce seuil atteint, le système passe à des réponses prédéfinies.

Ce qu’a montré le pilote

Sur 88 visiteurs, 86 ont entamé un dialogue, 69 ont rempli le questionnaire et intégré le programme de formation, mais seuls sept sont arrivés au bout de leur parcours personnalisé. Lors d’une session de groupe, l’agent a pris en charge simultanément 71 personnes sans incident. L’offre commerciale a été présentée à 33 participants, et dix ont cliqué sur le bouton « Ça m’intéresse ».

Ces résultats présentent des limites importantes : le pilote est de petite taille, les chiffres proviennent de l’auteur lui-même, il n’y avait pas de groupe témoin et l’article ne fait état d’aucun achat effectif. Il est donc trop tôt pour parler d’une hausse démontrée du chiffre d’affaires. En revanche, l’hypothèse technique est assez clairement confirmée : un automate fini peut maintenir le parcours prévu pendant que le LLM rend les échanges moins mécaniques.

Les développeurs peuvent en tirer une méthode concrète. Conservez l’état et les règles métier dans le code, limitez le classifieur aux transitions autorisées, répartissez les modèles selon la complexité de la tâche et mesurez le coût d’un parcours utilisateur achevé plutôt que celui d’un token. Le principal point de blocage devient alors l’engagement, et non plus le prix du modèle : comment amener une personne de sa première plaisanterie à un résultat utile et à un achat.