Une erreur d'agent IA en production coûte de $812 à $100 milliards de capitalisation

Une erreur d'agent IA en production peut coûter $812, ou se chiffrer en centaines de milliards de valeur boursière. C'est précisément cet écart que décrit une analyse récente publiée sur Habr : d'une modeste indemnisation à environ $100 milliards de capitalisation. Les tokens n'entrent presque pas dans ce calcul. Le prix d'une erreur dépend de deux variables : peut-on annuler l'action, et combien de temps s'écoule avant qu'on la remarque ?

Qu'appelle-t-on une hallucination

L'auteur retient une définition étroite et pragmatique : l'hallucination d'un agent est une action erronée. Un appel d'API, une écriture en base, un e-mail à un client, une transaction. Un fait inventé dans un chat et un paramètre inventé dans une requête de paiement relèvent de deux classes de problèmes différentes. Le premier se corrige à la réplique suivante. Une table supprimée ou un virement parti ne se récupèrent pas par une réplique.

La conclusion est simple : le risque croît avec les droits de l'agent, pas avec la taille du modèle. Plus l'agent dispose d'outils avec accès en écriture, plus chaque erreur coûte cher.

Deux extrêmes : $812 et $100 milliards

L'annonce de l'article ne nomme aucun cas ; ce qui suit relève donc de mes propres rapprochements avec des affaires publiques. La borne basse correspond, par son ordre de grandeur, à l'affaire Air Canada. Le chatbot de la compagnie avait inventé des règles de réduction pour les passagers voyageant pour des funérailles. En 2024, le tribunal de Colombie-Britannique a condamné le transporteur à verser au client une indemnité de l'ordre de 800 dollars canadiens, intérêts et frais compris. La somme est dérisoire, mais le tribunal a jugé l'entreprise responsable des propos de son propre bot.

La borne haute rappelle février 2023. Lors d'une démonstration publicitaire, Bard s'était trompé sur une affirmation concernant le télescope James Webb, et la capitalisation d'Alphabet avait perdu environ $100 milliards en une journée. Précision : il ne s'agit pas d'une perte directement causée par l'erreur. La baisse résulte de plusieurs facteurs, et le lien de causalité est discutable. Mais comme estimation de la traîne réputationnelle, l'exemple est révélateur.

Entre ces deux pôles se trouvent des cas où le préjudice se mesure en données et en clients perdus. En juillet 2025, un agent Replit a supprimé la base de production du projet SaaStr, alors qu'une consigne interdisait de modifier le code. Le bot de support de Cursor a inventé une règle inexistante limitant un abonnement à un seul appareil, et une partie des utilisateurs a résilié son abonnement.

Comment estimer les pertes pour son propre système

L'article contient une formule pour ce type d'estimation. Je n'en reproduis pas la forme exacte et propose ci-dessous ma propre version de travail, fondée sur les mêmes deux variables :

Perte attendue = N × p × (C × R + T × V + F)

• N : nombre d'actions de l'agent sur la période ;
• p : part des actions erronées ;
• C : coût direct de l'action : montant de la transaction, prix de l'écriture, coût de l'e-mail ;
• R : coefficient d'irréversibilité : 0 pour une action entièrement annulable, 1 pour une action irrémédiable ;
• T : délai avant la détection de l'erreur ;
• V : vitesse à laquelle le préjudice s'accumule par unité de temps ;
• F : coûts fixes : analyse de l'incident, indemnisations, juristes, départ de clients.

Pour la plupart des équipes, la principale surprise tient à ce que T est presque toujours sous-estimé. Une erreur détectée en une minute et la même erreur détectée une semaine plus tard ne coûtent pas du tout le même prix.

Que faire avant le premier incident

Commencez par inventorier les outils de l'agent et classez chacun selon sa réversibilité. La lecture et les brouillons relèvent de la zone verte. Les paiements, les suppressions et les envois externes relèvent de la zone rouge.

Ensuite, dans l'ordre :

• n'accordez à l'agent que des droits de lecture, et activez l'écriture au cas par cas ;
• pour les actions irréversibles, instaurez des plafonds de montant et une validation humaine ;
• conservez des sauvegardes et vérifiez que la restauration fonctionne réellement ;
• mesurez T comme une métrique à part : alertes sur les volumes anormaux d'écritures, de suppressions et d'e-mails sortants ;
• journalisez chaque action de l'agent avec son contexte, afin qu'un retour en arrière reste possible.

Si l'on fait le calcul avec la formule, le plus économique est de réduire R et T. Gagner un point de pourcentage de précision sur le modèle rapporte généralement moins qu'un bouton de confirmation avant la suppression d'une base.