Безопасность и правоTNW→ оригинал

AI-модели опережают тесты безопасности: регуляторы теряют видимость возможностей

Инструменты, созданные для измерения опасности AI, перестали работать. Передовые модели (frontier models) теперь превосходят бенчмарки, предназначенные для оценки их способностей к хакингу. Это создаёт слепую зону для регуляторов и специалистов по безопасности. По оценкам, американские федеральные агентства должны до 1 августа 2026 года создать классифицированный реестр способностей AI-систем к кибератакам, но текущие тесты уже не адекватны.

AI-обработка оригинала TNW; редакция Hamidun News
AI-модели опережают тесты безопасности: регуляторы теряют видимость возможностей
Источник: TNW. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTNW ↗
Главный редактор
Ключевой факт #1Захват экранов и попытка взлома веб-приложений
Ключевой факт #2Выявление уязвимостей в системах безопасности
Ключевой факт #3Социальная инженерия и фишинг-сценарии

Безопасность и опасности AI всё более выходят за границы измеримого. Frontier-модели от OpenAI, Anthropic и других лабораторий начали обходить тесты, разработанные для оценки их кибератакующих способностей. Это создаёт критический разрыв в нашем понимании возможностей и рисков.

Проблема бенчмарков

Бенчмарки для оценки кибербезопасности AI-моделей разработаны лишь несколько лет назад и следующие подходы:

  • Захват экранов и попытка взлома веб-приложений
  • Выявление уязвимостей в системах безопасности
  • Социальная инженерия и фишинг-сценарии

Одако frontier-модели теперь решают эти задачи с вероятностью, превышающей точность тестов.

Регуляторный вакуум

  • Федеральные агентства США должны до 1 августа подготовить классифицированный реестр
  • Текущие инструменты недостаточны для реального измерения возможностей
  • Риск: регуляторы могут принимать решения на основе неправильной информации

Что это значит

Этот разрыв в оценке создаёт уникальный вызов для регулирования AI. Тесты, которые должны измерять безопасность, перестают работать. Это может означать, что реальные риски от продвинутых AI-систем значительно выше, чем регуляторы понимают. Необходимо разработать новые методики оценки, которые поспевают за развитием AI-способностей.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: проблема бенчмарков?

Бенчмарки для оценки кибербезопасности AI-моделей разработаны лишь несколько лет назад и следующие подходы: Захват экранов и попытка взлома веб-приложений Выявление уязвимостей в системах безопасности Социальная инженерия и фишинг-сценарии Одако frontier-модели теперь решают эти задачи с вероятностью, превышающей точность тестов.

Что известно по теме: регуляторный вакуум?

Федеральные агентства США должны до 1 августа подготовить классифицированный реестр Текущие инструменты недостаточны для реального измерения возможностей Риск: регуляторы могут принимать решения на основе неправильной информации

Что известно по теме: что это значит?

Этот разрыв в оценке создаёт уникальный вызов для регулирования AI. Тесты, которые должны измерять безопасность, перестают работать. Это может означать, что реальные риски от продвинутых AI-систем значительно выше, чем регуляторы понимают. Необходимо разработать новые методики оценки, которые поспевают за развитием AI-способностей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…