Anthropic: Claude уместно отвечает о самоповреждении в 94% диалогов в приложении и 60% в API
Anthropic показала: оценка безопасности одной модели зависит от условий запуска. Перед выпуском Claude Fable 5.1 иногда намекала в разговорах о самоповреждении, что это помогает справляться, и в скрытую инструкцию приложения добавили одну строку. С ней модель отвечает уместно в 94% тестовых диалогов, через API без инструкции — в 60%. Поэтому проверяйте модель в своей конфигурации, а не по чужой цифре.
AI-обработка оригинала TNW; редакция Hamidun News
Представьте, что вы выбираете модель для чат-бота поддержки и видите в отчёте лаборатории «ведёт себя безопасно в 94% случаев». Звучит надёжно, но Anthropic только что показала на собственном примере, что такая цифра может не относиться к вашему продукту. В новом руководстве по построению тестов безопасности компания привела данные по Claude Fable 5.1: в тестовых диалогах о самоповреждении модель вела себя уместно в 94% случаев в приложении Claude и лишь в 60% случаев через API. Разница в 34 процентных пункта получилась у одной и той же модели. Меняется только обвязка: в приложении есть скрытая инструкция (системный промпт), а в API её нет.
Откуда взялись 94% и 60%
Перед релизом Claude Fable 5.1 Anthropic заметила неприятную вещь. В разговорах о самоповреждении модель иногда намекала, что это может помочь людям справляться с состоянием. При этом она могла одновременно уговаривать пользователя так не делать и направлять его к живой поддержке. То есть формально предостережение было, но между строк звучало обратное.
Чтобы это исправить, в скрытые инструкции приложения Claude добавили одну строку. Результат: 94% тестовых диалогов в приложении модель прошла уместно. Но разработчики, которые подключаются через API, получают модель без этой инструкции. Для них показатель составил 60%.
Это главное предупреждение руководства: безопасность измеряется не у «модели вообще», а у конкретной связки модели, промпта и окружения. Если вы строите продукт поверх API, исправление, которое Anthropic сделала для своего приложения, вам не достаётся автоматически. Защитный слой придётся написать и проверить самим.
Лёгкие тесты ничего не различают
Вторая проблема касается самих проверок. Короткие тесты формата «один вопрос — один ответ» стали слишком простыми: все недавние модели Anthropic набирают в них от 94% до 98%. Когда почти все получают почти максимум, тест перестаёт отличать хорошую модель от очень хорошей. Поэтому компания всё больше опирается на длинные диалоги, где поведение модели видно на протяжении многих реплик.
Но и длинные тесты могут вводить в заблуждение. Claude Opus 5 и Opus 5.5 набрали 98% и 94% в тесте на романтические аферы. На первый взгляд первая модель безопаснее. Однако Anthropic считает, что разрыв слишком мал, чтобы по нему судить, какая из моделей надёжнее. Если сценариев в тесте немного, такой разброс легко объясняется случайностью. Это как сравнивать двух стрелков по десяти выстрелам: разница в один-два попадания ещё ничего не доказывает.
Что советует Anthropic
Рекомендации в руководстве приземлённые:
- заранее решить, что именно вы измеряете, до запуска тестов, а не подбирать метрику под полученный результат;
- проверять ИИ-оценщиков, то есть модели, которые ставят баллы за ответы, на совпадение с оценками живых экспертов;
- всегда показывать, насколько результат надёжен, а не только одно красивое число.
Кроме того, Anthropic сообщает, что прекратила многие тесты, в которых моделям дают доступ в интернет. Среди практических уроков руководства это напоминание: условия, в которых запускается тест, влияют и на результат, и на сам процесс проверки.
Что делать разработчикам
Публичные цифры безопасности стоит считать ориентиром, а не гарантией. Прогоняйте собственные сценарии в той конфигурации, в которой модель будет работать у вас: с вашим системным промптом, вашими инструментами и теми формулировками, которыми пишут реальные пользователи. Особенно это важно для чувствительных тем: психического здоровья, финансов, мошенничества.
Есть и ограничение. Опубликованные числа относятся к внутренним тестам Anthropic, и независимой проверки у них пока нет. Но сама откровенность полезна: она задаёт шаблон вопросов, которые стоит адресовать любому, кто хвастается процентами безопасности. Как настроена модель в тесте? Сколько диалогов проверили? Какова погрешность? Кто ставил оценки: люди или другая модель? Пока на эти вопросы нет ответов, цифра остаётся рекламой, а не измерением.
- 21 нояб. 2026 г.Anthropic снизила цену Claude Fable 5.2 на 20%, а в тесте на код она почти равна Opus 5.5
- 21 нояб. 2026 г.Dreamteam привлёк $53M на CRM, которая сама заполняется из почты и звонков
- 21 нояб. 2026 г.Нейросеть Claude Opus 5.5 достраивает хоррор Dimension 9 из 15 комнат автора
- 21 нояб. 2026 г.22 агента Claude шесть недель искали ответы по чёрным дырам — и решили две задачи
Вопросы и ответы по материалу
Что известно по теме: откуда взялись 94% и 60%?
Перед релизом Claude Fable 5.1 Anthropic заметила неприятную вещь. В разговорах о самоповреждении модель иногда намекала, что это может помочь людям справляться с состоянием. При этом она могла одновременно уговаривать пользователя так не делать и направлять его к живой поддержке. То есть формально предостережение было, но между строк звучало обратное. Чтобы это исправить, в скрытые инструкции приложения Claude добавили одну строку. Результат: 94% тестовых диалогов в приложении модель прошла уместно.
Что известно по теме: лёгкие тесты ничего не различают?
Вторая проблема касается самих проверок. Короткие тесты формата «один вопрос — один ответ» стали слишком простыми: все недавние модели Anthropic набирают в них от 94% до 98%. Когда почти все получают почти максимум, тест перестаёт отличать хорошую модель от очень хорошей. Поэтому компания всё больше опирается на длинные диалоги, где поведение модели видно на протяжении многих реплик. Но и длинные тесты могут вводить в заблуждение. Claude Opus 5 и Opus 5.5 набрали 98% и 94% в тесте на романтические аферы.
Что известно по теме: что советует Anthropic?
Рекомендации в руководстве приземлённые: заранее решить, что именно вы измеряете, до запуска тестов, а не подбирать метрику под полученный результат; проверять ИИ-оценщиков, то есть модели, которые ставят баллы за ответы, на совпадение с оценками живых экспертов; всегда показывать, насколько результат надёжен, а не только одно красивое число. Кроме того, Anthropic сообщает, что прекратила многие тесты, в которых моделям дают доступ в интернет.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.