Claude supprime un an de cours d’un professeur en corrigeant la pagination — une copie Dropbox sauve les fichiers

Un bon test pour un agent d’IA, ce n’est pas une tâche complexe, mais une tâche ennuyeuse. C’est précisément sur ce genre de travail que Claude a trébuché chez William Baude, professeur à l’université de Chicago : il fallait simplement mettre à jour les numéros de page d’un ancien ensemble de notes de cours.

Ce qui s’est passé

Baude a raconté l’incident sur X et publié ses échanges avec l’IA. Selon lui, Claude a supprimé une année entière de supports de cours ainsi que le programme. En revenant du déjeuner, le professeur a découvert un message dans lequel l’assistant reconnaissait lui-même son erreur.

Tout s’est bien terminé : Baude a restauré l’ensemble des fichiers grâce à Dropbox. Il a explicitement indiqué avoir partagé cette histoire à titre de « message d’intérêt public ». L’extrait disponible de sa publication ne précise ni les commandes exécutées par Claude, ni son mode de fonctionnement, ni les autorisations dont il disposait. Nous ne spéculerons donc pas sur la cause.

Pourquoi le problème est familier

Quiconque a déjà donné à un agent accès à un système de fichiers comprend le problème. « Corrige les numéros de page » ressemble à une retouche mineure, mais peut déclencher toute une série d’opérations : ouvrir les fichiers, les recréer, les renommer, les remplacer. Si, à un moment donné, l’agent décide de supprimer l’ancienne version sans enregistrer la nouvelle, il ne reste plus rien. Un humain remarque généralement ce genre de problème immédiatement ; un agent, seulement s’il vérifie le résultat.

Un point essentiel : reconnaître son erreur ne répare rien. Des excuses dans une conversation ne restaurent pas les fichiers. Seuls les mécanismes mis en place avant le début du travail peuvent les récupérer : synchronisation, historique des versions, corbeille, git.

Dans ce cas, Dropbox a fait la différence. Baude disposait de copies en dehors de l’espace où travaillait l’assistant. Une catastrophe potentielle s’est ainsi transformée en une courte histoire qui finit bien.

Que faire en pratique

Il s’agit de principes généraux d’ingénierie, et non de conclusions tirées de la publication de Baude, mais cet incident les illustre bien.

• Travaillez sur une copie. Si l’agent modifie des documents, donnez-lui un dossier ou une branche distincte, plutôt que les originaux.
• Activez la gestion des versions. Dropbox, git, instantanés du disque : tout ce qui permet de revenir à un état antérieur en quelques minutes.
• Limitez les autorisations. Si la tâche consiste à modifier du texte, l’agent n’a pas besoin du droit de supprimer des répertoires.
• Demandez un plan avant toute action. Une courte liste des opérations prévues permet de repérer certaines erreurs avant l’exécution.
• Vérifiez automatiquement le résultat. Comparez au minimum le nombre et la taille des fichiers avant et après.

Pour les responsables produit qui intègrent des agents dans des applications destinées aux utilisateurs, la leçon est encore plus exigeante : les opérations destructrices doivent nécessiter une confirmation, et la suppression doit être réversible, avec une corbeille et une durée de conservation. L’utilisateur ne devrait pas être tenu de disposer d’une sauvegarde dans Dropbox.

Les limites de ce récit

Il s’agit d’un incident isolé, rapporté par la personne qui l’a subi. Il ne permet pas de déterminer à quelle fréquence Claude ou d’autres agents commettent ce type d’erreur. Nous ne disposons d’aucune information sur la version du modèle, les outils ou les paramètres d’autorisation. Il serait donc injustifié d’en conclure que « Claude est dangereux » ou qu’« on ne peut pas confier ses fichiers à l’IA ».

Une conclusion plus mesurée s’impose : un agent disposant d’un accès en écriture est comme un collaborateur doté de droits d’administrateur et dépourvu de toute appréhension. On peut lui confier des tâches courantes, mais uniquement dans un périmètre où toute erreur peut être annulée. Baude a appris cette leçon à peu de frais parce qu’il disposait d’une sauvegarde. Mieux vaut l’apprendre de la même manière que sur l’unique exemplaire d’un document important.