Margaret Atwood a testé Claude et résume le problème de l'IA : « garbage in, garbage out »

Margaret Atwood, autrice de « La Servante écarlate » et du « Tueur aveugle », a utilisé le chatbot Claude une seule fois. Elle en a conclu que l'intelligence artificielle souffre d'un problème fondamental de qualité des données.

Une requête, une réponse fausse

Au festival littéraire Babell de Porto (Portugal), Atwood a raconté avoir interrogé Claude sur la série policière britannique « Father Brown ». Le résultat l'a déçue.

« Claude m'a donné une réponse fausse, ou m'a menti.

Cela dit, il ne savait pas qu'il mentait, parce que ce n'est pas un humain : c'est un grand modèle de langage », a expliqué l'écrivaine.

Selon elle, le modèle s'est contenté de survoler les données disponibles et a produit une information formulée avec assurance, mais factuellement inexacte. C'est là, estime Atwood, la principale faiblesse des modèles de langage actuels : ils ne savent pas ce qu'ils ignorent, et ils n'en avertissent pas l'utilisateur.

Garbage in, garbage out

Le diagnostic d'Atwood tient en une formule : « garbage in, garbage out », un principe connu en programmation depuis les années 1960. Si les données d'entraînement contiennent des erreurs, des informations incomplètes ou des biais, le résultat sera peu fiable, quelle que soit la puissance de calcul mobilisée.

Les hallucinations, ces réponses assurées mais fausses générées par les modèles de langage, restent l'un des grands problèmes non résolus du secteur :

• Tous les grands modèles (GPT, Claude, Gemini) se trompent régulièrement sur des dates, des noms, des faits et des citations
• Les modèles sont entraînés sur des textes issus d'Internet, où les informations inexactes et obsolètes sont bien plus nombreuses qu'on ne le croit
• Plus une réponse paraît assurée, plus il est difficile pour un utilisateur non averti de la vérifier
• En médecine, en droit, dans l'éducation et le journalisme, ces erreurs créent des risques bien réels

Pour y remédier, les entreprises branchent leurs modèles sur des moteurs de recherche externes, développent des systèmes de vérification des faits et entraînent les modèles à reconnaître leur incertitude. Mais personne ne dispose encore d'une solution complète.

La voix de la culture face au techno-optimisme

Atwood n'est pas la première grande autrice à critiquer ouvertement l'IA. En 2023, des milliers d'écrivains ont signé une lettre ouverte exigeant que les entreprises d'IA rémunèrent les auteurs pour l'utilisation de leurs textes à l'entraînement. George R.R. Martin, John Grisham et d'autres ont lancé des actions collectives en justice.

Le monde littéraire reste globalement sceptique : les écrivains voient dans l'IA une menace pour leur travail et s'opposent à l'entraînement des modèles sur leurs livres sans autorisation ni rémunération.

Atwood est allée un cran plus loin : au-delà de sa solidarité avec ses pairs, elle a testé la technologie elle-même. Le résultat est révélateur : même une personne rompue à l'examen critique des sources a reçu une réponse fausse de l'IA, et l'a immédiatement repérée.

Ce que cela signifie

Les entreprises d'IA présentent leurs produits comme des outils de traitement de l'information : recherche, analyse, synthèse. Or c'est précisément dans ce rôle qu'ils restent, pour l'instant, peu fiables.

Une réponse fausse peut passer inaperçue pour un utilisateur lambda. Pour une écrivaine habituée à travailler avec des sources primaires, elle suffit à condamner toute la technologie.