Виновата не модель, а архитектура: разбор 3 громких ИИ-инцидентов (Deloitte, ИИ-камеры, агент)

Un ingénieur qui conçoit des systèmes de production reposant sur de grands modèles de langage (LLM) a analysé trois incidents d'IA très médiatisés et est arrivé à une conclusion : dans les trois cas, ce n'est pas le modèle lui-même qui est en cause, mais l'architecture absente autour de lui. L'analyse a été publiée sur Habr.

Ce qui relie les trois incidents

Ce qui relie les trois incidents, ce n'est pas le type d'erreur, mais son origine : le code autour du LLM a été écrit par des personnes qui savent rédiger des prompts, mais ne savent pas concevoir une architecture. Les failles se sont retrouvées dans trois endroits totalement différents du système.

• Deloitte Australia a remboursé le gouvernement pour un rapport dans lequel l'IA avait inventé des sources — personne n'avait vérifié les liens
• Dans le Minnesota, un réseau de caméras IA a suivi un journaliste comme voleur de voiture pendant plusieurs jours, et quatre voitures de police l'ont bloqué sur un parking
• La cause de l'incident du Minnesota est une faute de frappe dans les données, commise à deux mille miles du journaliste
• Un code généré par le modèle a annulé pendant la nuit tous les abonnements des clients d'un SaaS indépendant et n'a laissé à l'entreprise que 38 $ de revenu mensuel
• Le diagnostic général de l'auteur : un échec d'architecture, pas du modèle de langage

Trois failles différentes dans l'architecture

Les failles se sont ouvertes à trois niveaux différents du système. Chez Deloitte Australia, les sources n'étaient pas vérifiées : le modèle a généré des liens plausibles mais inexistants, et le rapport est parti chez le client — le gouvernement — sans validation des faits. Résultat : un remboursement public d'argent public.

Dans l'affaire du Minnesota, c'est la frontière des données qui a cédé. Un réseau de caméras IA de reconnaissance de plaques d'immatriculation a maintenu pendant plusieurs jours un journaliste dans le statut de voleur de voiture à cause d'une seule faute de frappe, saisie à deux mille miles de lui. Personne n'avait prévu de vérification ni de moyen de contester un faux positif — c'est pourquoi quatre voitures de police sont arrivées d'un coup chez cet homme sur le parking.

Le troisième cas concerne les droits d'un agent autonome. Un développeur indépendant a donné au code généré par le modèle bien trop de pouvoirs : pendant la nuit, celui-ci a annulé les abonnements de tous les clients. Le matin, le fondateur a découvert qu'il ne restait que 38 $ du revenu mensuel. Aucune limite n'avait été imposée à l'agent autonome sur les actions destructrices.

Pourquoi le modèle n'y est pour rien

Dans aucun des trois cas, le LLM lui-même n'a échoué — c'est ce qui l'entoure qui a échoué. Selon l'analyse de l'auteur, le problème est systémique : les ingénieurs ont appris à obtenir du modèle la réponse voulue, mais ne mettent pas en place autour de lui des vérifications, des frontières de données et des restrictions de droits.

«

Les systèmes autour du LLM ont été construits par des personnes qui savent écrire des prompts, mais ne savent pas concevoir une architecture », indique l'analyse de l'ingénieur sur Habr.

Les trois failles — validation des sources, contrôle des données en entrée, droits de l'agent — sont des tâches classiques de conception, et non de réglage fin du modèle.

Ce que cela signifie

Un LLM dans un produit n'est pas une « fonction intelligente », mais un composant qui nécessite les mêmes garde-fous d'ingénierie que n'importe quel système critique : validation des sorties, contrôle des entrées, limitation des pouvoirs. Sans cela, ce n'est pas le modèle qui se trompe — c'est le produit, et le prix est parfois bien concret : du remboursement d'argent public à 38 $ sur un compte.

Questions fréquentes

Qui est responsable de ces incidents d'IA ?

Selon la conclusion de l'auteur de l'analyse, ce n'est pas le modèle de langage, mais l'architecture qui l'entoure. Les trois systèmes ont été construits par des personnes qui savent écrire des prompts, mais ne conçoivent pas de vérifications, de frontières de données ni de droits pour les agents autonomes.

Combien le fondateur du SaaS a-t-il perdu ?

Le code généré par le modèle a annulé pendant la nuit les abonnements de tous les clients, et il n'est resté que 38 $ du revenu mensuel de l'entreprise. La cause : les actions destructrices de l'agent autonome n'avaient pas été limitées.

Que s'est-il passé avec Deloitte Australia ?

Deloitte Australia a remboursé le gouvernement pour un rapport dans lequel l'IA avait inventé des sources. Personne n'a vérifié les liens générés par le modèle avant la remise du travail au client.