Claude apagou um ano de aulas de um professor ao corrigir números de página — uma cópia no Dropbox salvou tudo

Um bom teste para qualquer agente de IA não é uma tarefa complexa, mas uma tediosa. Foi justamente em uma assim que o Claude tropeçou com o professor da Universidade de Chicago William Boud: bastava atualizar os números de página em um antigo conjunto de anotações de aula.

O que aconteceu

Boud contou o incidente no X e publicou a conversa com a IA. Segundo ele, o Claude excluiu os materiais das aulas de um ano inteiro e o programa do curso. O professor voltou do almoço e viu uma mensagem em que o próprio assistente reconhecia o erro.

Tudo terminou bem: Boud restaurou todos os arquivos pelo Dropbox. Ele escreveu claramente que decidiu publicar a história como um «aviso público útil». No trecho disponível da publicação não há detalhes — quais comandos o Claude executou, em que modo e com quais permissões trabalhava —, então não vamos especular sobre a causa.

Por que este é um problema conhecido

Quem já deu a um agente acesso ao sistema de arquivos entende a questão. O pedido «corrija os números de página» soa como um ajuste pequeno, mas por baixo pode ser uma cadeia de passos: abrir arquivos, recriá-los, renomeá-los, substituí-los. Se em algum passo o agente decidir que a versão antiga deve sair e não gravar a nova, o resultado é o vazio. Uma pessoa costuma perceber isso na hora; um agente, só se verificar o resultado.

Um ponto importante: o reconhecimento do erro pelo modelo não conserta nada. Um pedido de desculpas no chat não traz os arquivos de volta. Só o que foi configurado antes de o trabalho começar faz isso: sincronização, histórico de versões, lixeira, git.

Aqui houve sorte justamente com o Dropbox. Boud tinha cópias fora do local onde o assistente trabalhava, e por isso uma catástrofe em potencial virou uma história curta com final feliz.

O que fazer na prática

São regras gerais de engenharia, não conclusões da publicação de Boud, mas este caso as ilustra bem.

• Trabalhe em uma cópia. Se um agente edita documentos, dê a ele uma pasta ou branch separada, e não o original.
• Ative o controle de versões. Dropbox, git, snapshots de disco — tudo o que permita reverter o estado em minutos.
• Limite as permissões. Se a tarefa é editar texto, o agente não precisa do direito de excluir diretórios.
• Peça um plano antes da ação. Uma lista curta de «o que pretendo fazer» antes da execução pega parte dos erros.
• Verifique o resultado automaticamente. Ao menos compare a quantidade de arquivos e seus tamanhos antes e depois.

Para os gerentes de produto que incorporam agentes em produtos para usuários, a conclusão é ainda mais dura: operações destrutivas devem exigir confirmação, e a exclusão deve ser suave, com lixeira e prazo de retenção. O usuário não é obrigado a ter um backup no Dropbox.

Limites da história

É um caso isolado, contado pelo próprio afetado, e não permite julgar com que frequência o Claude ou outros agentes cometem esse tipo de erro. Não há dados sobre a versão do modelo, as ferramentas e as configurações de permissão. Por isso não convém concluir que «o Claude é perigoso» ou que «não se pode confiar arquivos à IA».

A conclusão mais sensata é mais modesta: um agente com acesso de escrita é um funcionário com direitos de administrador e sem noção de medo. Pode-se confiar a ele a rotina, mas apenas dentro de um perímetro em que qualquer erro possa ser revertido. Boud aprendeu essa lição barato porque tinha um backup. É melhor aprendê-la assim, e não com a única cópia de um documento importante.