Ce n'est pas le modèle le coupable, mais l'architecture : analyse de 3 incidents d'IA retentissants (Deloitte, caméras IA, agent)

Un ingénieur qui conçoit des systèmes de production à base de grands modèles de langage (LLM) a analysé trois incidents d'IA très médiatisés. Sa conclusion : dans les trois cas, le coupable n'est pas le modèle lui-même, mais l'architecture qui manquait autour de lui. L'analyse est publiée sur Habr.

Ce qui relie les trois incidents

Ce qui relie ces trois incidents, ce n'est pas le type d'erreur, mais son origine : le code autour des LLM a été écrit par des gens qui savent rédiger des prompts, mais pas concevoir une architecture. Les failles se situent pourtant à trois endroits complètement différents du système.

• Deloitte Australia a remboursé au gouvernement un rapport dans lequel l'IA avait inventé des sources : personne n'avait vérifié les références
• Au Minnesota, un réseau de caméras IA a traité pendant plusieurs jours un journaliste comme un voleur de voiture, et quatre voitures de police l'ont bloqué sur un parking
• À l'origine de l'incident du Minnesota : une faute de frappe dans les données, commise à deux mille miles du journaliste
• Du code généré par un modèle a résilié pendant la nuit tous les abonnements des clients d'un SaaS indépendant, ne laissant à l'entreprise que 38 $ de revenus mensuels
• Le diagnostic commun de l'auteur : un échec d'architecture, pas du modèle de langage

Trois failles différentes dans l'architecture

Les failles se sont ouvertes à trois niveaux distincts du système. Chez Deloitte Australia, les sources n'étaient pas vérifiées : le modèle a généré des références plausibles mais inexistantes, et le rapport est parti chez le client, le gouvernement, sans aucune validation des faits. Résultat : un remboursement public d'argent public.

Dans l'affaire du Minnesota, c'est la frontière des données qui a cédé. Un réseau de caméras IA de reconnaissance de plaques a maintenu pendant plusieurs jours le journaliste dans le statut de voleur de voiture, à cause d'une seule faute de frappe saisie à deux mille miles de lui. Personne n'avait prévu de contrôle ni de moyen de contester un faux positif : c'est pourquoi quatre voitures de police sont arrivées d'un coup auprès d'un homme garé sur un parking.

Le troisième cas concerne les droits d'un agent autonome. Un développeur indépendant avait accordé trop de pouvoirs au code généré par un modèle : pendant la nuit, celui-ci a résilié les abonnements de tous les clients. Au matin, le fondateur a constaté qu'il ne restait que 38 $ de son chiffre d'affaires mensuel. L'agent autonome n'avait aucune limite sur les actions destructrices.

Pourquoi le modèle n'y est pour rien

Dans aucun des trois cas, le LLM lui-même n'est tombé en panne : ce qui a cédé, c'est ce qui l'entoure. Selon l'analyse de l'auteur, le problème est systémique : les ingénieurs ont appris à obtenir du modèle la réponse voulue, mais ne construisent pas autour de lui des contrôles, des frontières de données et des limites de droits.

«

Les systèmes autour des LLM ont été construits par des gens qui savent écrire des prompts, mais pas concevoir une architecture », indique l'analyse de l'ingénieur sur Habr.

Les trois failles — validation des sources, contrôle des données en entrée, droits de l'agent — relèvent de problèmes classiques de conception, pas de réglage fin du modèle.

Ce que cela signifie

Dans un produit, un LLM n'est pas une « fonction intelligente » : c'est un composant autour duquel il faut les mêmes garde-fous d'ingénierie que dans tout système critique — vérification des sorties, contrôle des entrées, limitation des pouvoirs. Sans eux, ce n'est pas le modèle qui se trompera, mais le produit, et le prix peut être très concret : du remboursement d'argent public à 38 $ sur un compte.

Questions fréquentes

Qui est responsable de ces incidents d'IA ?

Selon la conclusion de l'auteur de l'analyse, ce n'est pas le modèle de langage, mais l'architecture qui l'entoure. Les trois systèmes ont été construits par des gens qui savent écrire des prompts, mais ne conçoivent pas de vérifications, de frontières de données ni de droits pour les agents autonomes.

Combien le fondateur du SaaS a-t-il perdu ?

Le code généré par un modèle a résilié pendant la nuit les abonnements de tous les clients, et il n'est resté que 38 $ du revenu mensuel de l'entreprise. La cause : les actions destructrices de l'agent autonome n'avaient pas été limitées.

Que s'est-il passé avec Deloitte Australia ?

Deloitte Australia a remboursé au gouvernement un rapport dans lequel l'IA avait inventé des sources. Personne n'avait vérifié les références générées par le modèle avant de livrer le travail au client.