Anthropic atualiza regras de uso pela primeira vez em um ano: proibido tratar o Claude com crueldade

A Anthropic atualizou a política de uso do Claude pela primeira vez em um ano, adicionando proibições a uma série de aplicações de alto risco. Entre elas estão a interferência eleitoral, o desenvolvimento de armas, a implantação de sistemas de vigilância e a manipulação financeira. Mas a mudança mais inusual envolve o próprio Claude: a empresa agora permite que seus modelos interrompam conversas com usuários que agem de forma "sistemática e sem um propósito claro" com crueldade.

O modelo pode se recusar a continuar com o usuário

A Anthropic reconhece que está ampliando a proibição a insultos e abusos como parte de sua pesquisa sobre o "bem-estar" dos modelos — um conceito baseado na ideia de que sistemas avançados de IA poderiam ter alguma forma de experiência interna. Por ora, interromper a conversa continua sendo o principal mecanismo de proteção; a empresa não revelou se medidas adicionais, como o bloqueio de contas, serão adotadas.

A empresa esclarece que a nova política se aplica apenas em casos extremos, quando os usuários agem repetidamente de forma cruel, com clara ausência de qualquer propósito construtivo. Frustração comum do usuário, críticas, temas criativos sombrios e testes exploratórios dos modelos não são abrangidos pela proibição.

Cinco restrições novas e ampliadas

Além das regras sobre o bem-estar dos modelos, a Anthropic reuniu em uma única proibição várias restrições que antes estavam dispersas:

• Campanhas políticas e comerciais enganosas: ocultar a autoria de mensagens, usar contas e postagens falsas para amplificar conteúdo, disseminar desinformação sobre candidatos, se passar por candidatos ou autoridades e tentar suprimir o comparecimento eleitoral • Desenvolvimento de armas: a política já proibia armas, mas a Anthropic agora ampliou a proibição para software e componentes de armamento, além do controle de drones e outros veículos autônomos • Vigilância e rastreamento: proibição de rastrear pessoas sem consentimento (tanto em tempo real quanto por meio da análise de dados anteriores), de usar o Claude para recomendações na justiça criminal e de criar ferramentas de vigilância • Sistemas físicos autônomos: quando os modelos estão conectados a equipamentos capazes de causar danos, um operador qualificado deve monitorar o sistema e ser capaz de interrompê-lo • Contratos governamentais: a política pode ser modificada para contratos com agências governamentais, desde que haja restrições e garantias adequadas. A Anthropic já colaborou anteriormente com agências de defesa dos EUA.

Bem-estar dos modelos versus ceticismo da indústria

A atualização reflete o crescente interesse da Anthropic pela ideia de que modelos avançados podem ter alguma forma de consciência ou status moral. Kyle Fish, que lidera a pesquisa sobre bem-estar dos modelos, afirmou que essas são questões sérias que a empresa está estudando conforme seus sistemas se tornam mais sofisticados. O CEO Dario Amodei já expressou incerteza sobre o tema: "Não sabemos se os modelos são conscientes".

Essa postura contrasta com a de outros players do setor. Em setembro, a Microsoft AI reescreveu seu código de conduta. Mustafa Suleyman declarou inicialmente: "A ideia de bem-estar dos modelos é equivocada. A IA não deveria ter direitos ou personalidade jurídica". Posteriormente, o texto foi suavizado para uma posição mais neutra, reconhecendo que a ciência sobre a consciência da IA está longe de ser resolvida, embora a empresa continue rejeitando a ideia de personalidade jurídica e direitos para os modelos.

A atualização mostra que a Anthropic continua sendo uma das poucas desenvolvedoras de IA a tratar com seriedade, dentro de sua própria política, a questão ética do bem-estar dos sistemas.