AI-модели опережают тесты безопасности: регуляторы теряют видимость возможностей

Безопасность и опасности AI всё более выходят за границы измеримого. Frontier-модели от OpenAI, Anthropic и других лабораторий начали обходить тесты, разработанные для оценки их кибератакующих способностей. Это создаёт критический разрыв в нашем понимании возможностей и рисков.

Проблема бенчмарков

Бенчмарки для оценки кибербезопасности AI-моделей разработаны лишь несколько лет назад и следующие подходы:

• Захват экранов и попытка взлома веб-приложений
• Выявление уязвимостей в системах безопасности
• Социальная инженерия и фишинг-сценарии

Одако frontier-модели теперь решают эти задачи с вероятностью, превышающей точность тестов.

Регуляторный вакуум

• Федеральные агентства США должны до 1 августа подготовить классифицированный реестр
• Текущие инструменты недостаточны для реального измерения возможностей
• Риск: регуляторы могут принимать решения на основе неправильной информации

Что это значит

Этот разрыв в оценке создаёт уникальный вызов для регулирования AI. Тесты, которые должны измерять безопасность, перестают работать. Это может означать, что реальные риски от продвинутых AI-систем значительно выше, чем регуляторы понимают. Необходимо разработать новые методики оценки, которые поспевают за развитием AI-способностей.