Claude удалил годовые лекции профессора при правке номеров страниц — спасла копия в Dropbox

Хороший тест для любого ИИ-агента — не сложная задача, а скучная. Именно на такой споткнулся Claude у профессора Чикагского университета Уильяма Боуда: нужно было всего лишь обновить номера страниц в старом наборе конспектов лекций.

Что случилось

Боуд рассказал об инциденте в X и опубликовал переписку с ИИ. По его словам, Claude удалил лекционные материалы за целый год и учебную программу. Профессор вернулся с обеда и увидел сообщение, в котором ассистент сам признал ошибку.

Закончилось всё благополучно: все файлы Боуд восстановил через Dropbox. Он прямо написал, что решил выложить историю как «полезное публичное объявление». Подробностей — какие именно команды выполнял Claude, в каком режиме и с какими правами он работал — в доступном фрагменте публикации нет, так что гадать о причине не будем.

Почему это знакомая проблема

Любой, кто давал агенту доступ к файловой системе, понимает суть. Просьба «поправь номера страниц» звучит как мелкая правка, но под капотом это может быть цепочка шагов: открыть файлы, пересоздать, переименовать, заменить. Если на каком-то шаге агент решит, что старую версию нужно убрать, а новую не запишет, на выходе будет пустота. Человек обычно замечает такое сразу, агент — только если проверит результат.

Важный момент: признание ошибки от модели ничего не чинит. Извинение в чате не возвращает файлы. Возвращает их только то, что было настроено до начала работы: синхронизация, история версий, корзина, git.

Здесь повезло именно с Dropbox. У Боуда были копии вне того места, где работал ассистент, и поэтому потенциальная катастрофа превратилась в короткий рассказ с хорошим концом.

Что делать на практике

Это общие инженерные правила, а не выводы из поста Боуда, но этот случай хорошо их иллюстрирует.

• Работайте на копии. Если агент правит документы, дайте ему отдельную папку или ветку, а не оригинал.
• Включите версионирование. Dropbox, git, снапшоты диска — всё, что позволяет откатить состояние за минуты.
• Ограничивайте права. Если задача — правка текста, агенту не нужно право удалять каталоги.
• Просите план до действий. Короткий список «что я собираюсь сделать» перед запуском ловит часть ошибок.
• Проверяйте результат автоматически. Хотя бы сравните количество файлов и размеры до и после.

Для продактов, которые встраивают агентов в пользовательские продукты, вывод ещё жёстче: деструктивные операции должны требовать подтверждения, а удаление — быть мягким, с корзиной и сроком хранения. Пользователь не обязан иметь резервную копию в Dropbox.

Ограничения истории

Это один случай, рассказанный самим пострадавшим, и по нему нельзя судить, насколько часто Claude или другие агенты так ошибаются. Нет данных о версии модели, инструментах и настройках разрешений. Поэтому не стоит делать вывод «Claude опасен» или «ИИ нельзя доверять файлы».

Разумнее вывод скромнее: агент с доступом на запись — это сотрудник с правами администратора и без чувства страха. Ему можно доверять рутину, но только внутри периметра, где любую ошибку можно откатить. Боуд получил этот урок дёшево, потому что у него была резервная копия. Лучше усвоить его так же, а не на единственном экземпляре важного документа.