TechCrunch→ оригинал

Fable от Anthropic слишком строга для кибербезопасности

Киберспециалисты критикуют Fable от Anthropic за избыточные ограничения. По их мнению, guardrails модели настолько жесткие, что невозможно проводить даже легити

Fable от Anthropic слишком строга для кибербезопасности
Источник: TechCrunch. Коллаж: Hamidun News.
◐ Слушать статью

Киберисследователи и специалисты в области информационной безопасности выражают серьёзное недовольство новой моделью Fable от Anthropic, выпущенной в открытый доступ. Проблема не в самой модели — она действительно мощная и способная — а в её охранных механизмах. Guardrails настолько строги, что даже профессионалы не могут использовать Fable для совершенно законных задач защиты и анализа систем.

Слишком много запретов для необходимой работы

Fable — новое поколение мощной языковой модели, созданное на основе передовых исследований Anthropic. Компания сознательно встроила множество ограничений, чтобы предотвратить потенциальное злоупотребление и использование для вредоносных целей. Однако guardrails оказались настолько жесткими и консервативными, что блокируют не только опасные запросы, но и совершенно легитимные исследования.

Киберспециалисты из университетов, крупных компаний информационной безопасности и корпоративных подразделений сообщают, что невозможно попросить модель помочь даже с базовыми задачами: анализом уязвимостей в коде, разработкой стратегий защиты инфраструктуры, обсуждением методов киберзащиты. Практически любой запрос, содержащий ключевые слова вроде "exploit", "vulnerability", "attack", "breach" или "malware", автоматически отклоняется. Список запрещённых операций, необходимых для работы, включает: Исследование уязвимостей в системах и приложениях Тестирование стойкости защиты корпоративных сетей Анализ методов известных кибератак для разработки защиты Создание оборонительных инструментов и скриптов безопасности * Профессиональное консультирование в области информационной безопасности ## Классическая дилемма: защита против полезности Проблема, с которой столкнулась Anthropic, подлинна и сложна.

С одной стороны, компаниям, разрабатывающим языковые модели, критически важно защищать свои системы от людей, использующих их для вредоносных целей — разработки малвари, организации атак на инфраструктуру, подбора паролей и социальной инженерии. С другой стороны, киберпрофессионалы — защитники систем, исследователи безопасности, пентестеры — должны иметь доступ к мощным современным инструментам. Они используют AI для анализа больших объёмов кода, поиска паттернов атак, разработки стратегий защиты.

"Невозможно защищать системы, если у тебя нет доступа к инструментам для анализа реальных современных угроз", — говорят исследователи в обсуждениях на Twitter и специальных форумах киберсообщества.

Anthropric столкнулась с классической дилеммой открытых моделей: как открыть мощную систему для легитимных исследователей, не давая её в руки людям с преступными намерениями? Компания выбрала консервативный подход — заблокировав по умолчанию почти всё, что связано с безопасностью. Это максимально безопасно в теории, но минимально полезно на практике.

Какие решения видят эксперты Некоторые известные специалисты предлагают более гибкие подходы.

Модель могла бы требовать дополнительной верификации для задач в области безопасности — проверку профессиональных учётных данных, документирование принадлежности к аккредитованной организации, проведение review процесса перед использованием. Другие предлагают создать отдельную версию Fable для киберспециалистов с более мягкими guardrails, но с соответствующими условиями использования и постоянным мониторингом.

Что это значит для индустрии

Спор о guardrails Fable отражает более широкую проблему всей AI-индустрии. Компаниям нужно найти баланс между защитой от злоупотребления и полезностью моделей для легитимного использования. Слишком строгие ограничения отталкивают экспертов, которые могли бы помочь находить проблемы и совершенствовать безопасность. Это может привести к тому, что профессионалы просто будут использовать другие инструменты, расфокусируя экосистему безопасности вместо её укрепления.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.

Хотите не читать про ИИ, а внедрить его?

«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.

Что вы думаете?
Загружаем комментарии…