Amazon Bedrock : comment Pushpay a appris à maîtriser les hallucinations de ses agents

L'industrie de l'intelligence artificielle traverse une période étrange. D'un côté, on voit des démos incroyables d'agents autonomes censés pouvoir remplacer des services entiers. De l'autre, tout développeur qui a essayé de mettre un LLM en production réelle connaît le sale secret : ces modèles sont catastrophiquement instables. Un espace en trop dans un prompt ou une mise à jour de version du modèle côté fournisseur peut transformer un produit qui fonctionne en générateur de n'importe quoi. C'est ce problème que Pushpay a tenté de résoudre, en choisissant Amazon Bedrock comme socle. Son parcours n'est pas qu'une histoire de réussite : c'est un manuel de survie pour ceux qui veulent bâtir une entreprise sur l'IA, et non des jouets.

Le problème de la plupart des projets d'IA actuels tient à l'absence d'un système d'évaluation sérieux. Les développeurs se fient souvent au « vibe check » : ils vérifient à la main cinq ou dix réponses du modèle et, si elles paraissent correctes, mettent le code en production. Mais quand le produit traite des milliers de transactions ou interagit avec de vrais clients, cette approche devient un pari dangereux.

Pushpay l'a compris tôt et a décidé qu'il lui fallait une chaîne automatisée vérifiant la qualité de la génération aussi strictement que le code classique est vérifié par des tests unitaires. Amazon Bedrock lui a donné accès à différents modèles via une API unique, mais la vraie magie résidait dans la création d'un framework d'évaluation sur mesure.

L'équipe de Pushpay s'est concentrée sur la mise en place de boucles de rétroaction rapides. Plutôt que d'attendre les retours des utilisateurs, elle a intégré un système de contrôle qualité (QA) continu directement dans le processus de développement. Cela lui a permis d'itérer bien plus vite. Si une nouvelle version de l'agent se mettait à « halluciner » ou à donner des réponses moins précises, le système le détectait immédiatement. Cette approche change le paradigme même du développement : on cesse de traiter l'IA comme une boîte noire magique et on la manie comme un système d'ingénierie dont les paramètres peuvent, et doivent, être mesurés.

Pourquoi est-ce important pour tout le marché en ce moment ? Nous passons des chatbots simples à des systèmes « agentiques » qui prennent des décisions et agissent au nom de l'utilisateur. Dans ce contexte, le coût d'une erreur est multiplié.

L'expérience de Pushpay montre que l'infrastructure AWS et les outils de Bedrock permettent de construire un système de protection qui limite les risques. L'entreprise ne s'est pas contentée d'utiliser un modèle prêt à l'emploi d'Anthropic ou de Meta*, elle a bâti autour une couche de vérification. C'est la partie « ennuyeuse » de la révolution de l'IA, dont on parle rarement sur les réseaux sociaux, mais qui sépare les startups qui survivent de celles qui ferment après leur première grosse panne.

En analysant ce cas, il apparaît que, dans les prochaines années, l'avantage concurrentiel ira non à ceux qui ont le plus gros modèle, mais à ceux qui ont le meilleur système d'évaluation des données. Amazon Bedrock joue ici le rôle d'un couteau suisse pratique, mais la main qui le tient doit savoir exactement ce qu'elle mesure. Pushpay a prouvé que, même dans un domaine aussi volatil que l'IA générative, la prévisibilité est atteignable. Cela demande de la discipline et de renoncer à la foi dans la « magie » des algorithmes au profit de chiffres et de métriques arides.

L'essentiel : l'ère de la confiance aveugle dans l'IA est officiellement terminée. L'avenir appartient aux entreprises qui investissent dans les outils d'évaluation et de contrôle des modèles aussi activement que dans le développement lui-même. Êtes-vous prêt à admettre que votre agent peut se tromper, et à bâtir un système qui l'arrêtera à temps ?

*Meta est reconnue comme organisation extrémiste et interdite en Fédération de Russie.