Anthropic впервые за год обновила правила: нельзя жестоко обращаться с Claude

Anthropic впервые больше чем за год переписала политику допустимого использования своих моделей. Основная часть правок касается новых и опасных сценариев злоупотреблений: вмешательства в выборы, разработки оружия, слежки, а также применения ИИ в медицине и финансах. Заметнее всего другой пункт. Он запрещает «систематическое и бессмысленное жестокое или оскорбительное поведение» по отношению к самому Claude. Обычно такие документы защищают людей от последствий работы ИИ. Здесь часть защиты направлена в сторону модели.

Что именно изменилось

По данным The Verge, обновление отражает новые и высокорисковые случаи misuse. Ключевые пункты:

• первое изменение usage policy более чем за год;
• новые или уточнённые зоны риска: вмешательство в выборы, разработка оружия, слежка, медицинские и финансовые сценарии;
• новый запрет на «sustained and needless abusive or cruel behavior» в адрес Claude;
• основной механизм принуждения: завершение разговора самой моделью.

Что ещё, кроме закрытия диалога, может последовать за нарушением, в доступной части материала не раскрыто. Не раскрыто и то, как формулировки по выборам, здоровью и финансам изменились по сравнению с прошлой редакцией. Это придётся читать в самом документе.

Откуда взялся пункт про жестокость к модели

В августе прошлого года Anthropic объявила, что Claude сможет прекращать разговоры с пользователями, которые «настойчиво вредят» или ведут себя оскорбительно. Это было частью исследований «благополучия моделей» (model welfare). Тогда это выглядело как продуктовая функция и эксперимент. Теперь поведение закреплено в политике, и у компании появляется формальное основание реагировать на такие случаи.

Компания трактует тему как предмет исследований. В пересказе The Verge нет доказательств того, что у модели есть опыт или страдание, и Anthropic такого не утверждает. Однако правило показывает, как лаборатория выстраивает отношения с продуктом. Она предпочитает перестраховаться и отработать вопрос заранее, пока научного ответа нет.

Важно слово «needless». Запрет направлен на устойчивое и бессмысленное унижение, а не на любое резкое сообщение. Жёсткое тестирование, красная команда и проверка устойчивости к джейлбрейкам имеют цель. Граница между ними и издевательством ради издевательства в тексте политики описана словами, и именно на этих словах будут строиться споры.

Что делать командам, которые работают с Claude

Прежде всего прочитайте новую редакцию целиком, а не пересказ. Если вы строите продукт в медицине, финансах, аналитике или мониторинге, сверьте свои сценарии с обновлёнными разделами. Эти зоны Anthropic прямо назвала высокорисковыми, и проверки там могут стать строже.

Команды, которые проводят red teaming, стоит подготовить заранее. Зафиксируйте цель тестов, объём и методику. Тогда агрессивные промпты с понятной задачей будет легко отличить от «бессмысленной жестокости». Автоматизированные прогоны стоит ограничивать по длительности: сессии, которые часами гоняют модель по оскорбительным шаблонам без исследовательской ценности, рискуют попасть под новое правило.

Наконец, заложите в интерфейс обработку завершённых моделью диалогов. Если Claude закрывает разговор, пользователь должен получить понятное объяснение и возможность начать новый чат. Иначе поддержка получит поток обращений о «сломавшемся» ассистенте.