Cesser de deviner, commencer à mesurer la qualité des agents IA

Toute équipe qui a mis un agent IA en production finit tôt ou tard par affronter le même cauchemar. Un utilisateur écrit au support : « votre bot raconte n'importe quoi ». Le développeur ouvre les logs, regarde le prompt et la réponse, et ne parvient pas à déterminer ce qui a dysfonctionné. S'agit-il d'une régression due au commit d'hier ? D'un effet de bord d'un changement de modèle ? Ou simplement d'un cas limite malheureux qui a toujours existé ? L'équipe de Bitrix24 est passée par toutes les étapes de ce processus avec son agent IA Marta, et partage aujourd'hui des leçons que devrait retenir quiconque travaille avec de grands modèles de langage en production.

Marta est un assistant IA intégré à l'écosystème Bitrix24, qui interagit avec le CRM, gère des tâches et répond aux questions des utilisateurs. Au début, tout semblait simple : ouvrir le chat, poser une question, juger la réponse à l'œil. C'est le test manuel classique, qui fonctionne tant que l'agent sait faire dix choses. Mais dès que les fonctionnalités de Marta se sont étoffées, cette méthode a commencé à craquer de partout. Un seul ingénieur ne peut physiquement pas rejouer deux cents scénarios après chaque modification de prompt. Or, dans le développement moderne de produits IA, modifier les prompts n'est pas l'exception, mais une routine quotidienne.

Le problème décrit par l'équipe est systémique. Le prompt engineering est instable par nature : le moindre changement dans la formulation d'une instruction peut influer de façon imprévisible sur le comportement du modèle dans des dizaines de contextes différents. Ajoutez les changements périodiques de version des modèles par les fournisseurs, les mises à jour des prompts système, l'élargissement de l'ensemble d'outils accessibles à l'agent, et vous obtenez une explosion combinatoire de points de défaillance potentiels. Sans contrôle qualité automatisé, l'équipe travaille de fait à l'aveugle, réagissant aux problèmes après coup au lieu de les prévenir.

La solution retenue par Bitrix24 consiste à construire un véritable système de benchmarks. Le principe : formaliser les attentes envers l'agent IA sous la forme d'un ensemble de scénarios de test assortis de critères de réussite mesurables. Il ne s'agit pas de tests unitaires au sens classique : les réponses d'un modèle de langage sont non déterministes, et vérifier une correspondance exacte n'a aucun sens. On utilise plutôt des métriques qui évaluent la pertinence, l'exhaustivité, la justesse des appels d'outils et l'adéquation au ton de communication. En somme, l'équipe construit un équivalent automatisé de l'évaluation par des experts, exécutable après chaque modification.

Le chemin de l'idée au système opérationnel a duré environ six mois. C'est un chiffre honnête, qui en dit long sur la maturité des outils dans ce domaine. Il n'existe pratiquement pas de solutions clés en main que l'on puisse brancher sur un agent IA quelconque. Chaque équipe doit définir seule quelles métriques reflètent la qualité de son produit, comment générer et tenir à jour les jeux de données de test, comment interpréter les résultats et intégrer les benchmarks au pipeline CI/CD. Bitrix24 souligne que son approche n'est pas liée à une stack précise, et c'est sans doute l'enseignement le plus précieux de son expérience.

L'histoire de Marta reflète une tendance plus large du secteur. À mesure que les agents IA passent du statut d'expérience à celui d'outil critique pour l'activité, les exigences de fiabilité croissent de façon exponentielle. Des entreprises comme Anthropic, OpenAI et Google investissent dans des systèmes d'évaluation des modèles au niveau des plateformes, mais au niveau de chaque produit, la responsabilité de la qualité incombe toujours aux équipes de développement. Le problème s'aggrave du fait que les utilisateurs perdent vite confiance dans un assistant IA après quelques mauvaises réponses, et qu'il est bien plus difficile de regagner cette confiance que de la perdre.

Le basculement culturel qui sous-tend cette transition mérite une attention particulière. Tester à la main des agents IA n'est pas seulement une pratique inefficace : elle procure un faux sentiment de contrôle. Un ingénieur qui a vérifié vingt scénarios sur deux cents a tendance à croire que le système fonctionne correctement, alors qu'il n'a testé que dix pour cent de la surface. Les benchmarks automatisés n'éliminent pas totalement l'incertitude, mais ils la rendent visible et mesurable. Et ce qui se mesure peut s'améliorer.

L'expérience de Bitrix24 est un signal pour toute l'industrie russophone du développement IA. L'époque où l'on pouvait mettre un agent IA en production avec un « ça a l'air de marcher » touche à sa fin. Place à l'ère des métriques, des benchmarks et du contrôle qualité continu. Et les équipes qui maîtriseront ces pratiques les premières obtiendront un avantage décisif dans la bataille pour la confiance des utilisateurs.