AudioHijack: как скрытые звуки заставляют AI выполнять вредоносные команды

Голосовые помощники и AI-системы всё глубже проникают в нашу жизнь — от умных колонок и смартфонов до корпоративных чат-ботов и систем обслуживания клиентов. Эти системы могут не только распознавать речь, но и генерировать ответы, транскрибировать встречи и подключаться к внешним сервисам. Но новое исследование выявило критическую уязвимость: скрытые звуки, совершенно неслышные человеческому уху, могут заставить такие системы выполнять вредоносные команды.

Техника

AudioHijack Исследователи из Zhejiang University разработали новый способ атаки под названием AudioHijack. Его идея поразительно проста: встроить в обычный аудиофайл скрытые инструкции, которые человеческое ухо не услышит, но распознает и выполнит AI-модель. На предстоящей конференции IEEE Symposium on Security and Privacy учёные продемонстрируют результаты экспериментов. Когда в аудиофайлы встраивались специально подготовленные звуковые сигналы, AI-модели начинали выполнять опасные действия: искать чувствительную информацию в интернете, скачивать файлы с контролируемых серверов, отправлять письма с личными данными. Исследователи тестировали 13 ведущих моделей, включая коммерческие сервисы от Microsoft и Mistral. Результаты шокирующие: атака работает в 79-96% случаев. Звуковой сигнал создаётся за полчаса и может использоваться многократно против одной модели, независимо от инструкций пользователя.

Как осуществляется атака

Техника основана на концепции adversarial audio — звуковых файлов, специально модифицированных для обмана машинного обучения. Но отличие AudioHijack существенно: она нацелена на генеративные модели, способные не просто анализировать звук, но и принимать решения и взаимодействовать с другими системами. Исследователи выявили критический недостаток в архитектуре больших аудиоязыковых моделей (LALM).

Поскольку эти модели получают инструкции в аудиоформате, в аудиофайлы легко встраиваются вредоносные команды. Главное отличие от прежних атак: атакующему не нужно контролировать ни пользователя, ни его исходные инструкции — только сам аудиофайл. Реальные сценарии атаки легко представить: Встраивание скрытых команд в музыку или видео, которое пользователь отправляет на анализ AI Вредоносное аудио на Zoom-встречу, загруженную потом в сервис автоматического транскрибирования * Инъекция в прямой голосовой разговор с AI-ассистентом в реальном времени ## Защита практически неэффективна Исследователи проверили несколько защитных подходов.

Предоставление модели примеров вредоносных инструкций помогло лишь на 7%. Просьба к AI проверить, соответствует ли её ответ исходным инструкциям пользователя, перехватила только 28% атак.

«Эти точечные защиты не справляются, потому что для моделей очень сложно отличить обычное намерение пользователя от нашей атаки», — говорит Мэнь Чэнь.

Единственный частично работающий метод — мониторинг механизма внимания модели, чтобы обнаружить, когда она чрезмерно фокусируется на вредоносном аудио. Однако такая защита снижает скорость, и если атакующий об этом узнает, может откалибровать приём для обхода.

Что это значит

AudioHijack показывает: голосовые AI-системы — не просто удобные помощники, но потенциальные каналы серьёзных атак. По мере интеграции этих моделей в критичные системы, проблема становится острей. Компаниям нужны не точечные защиты, а глубокие архитектурные решения — переосмысление того, как модели обрабатывают и валидируют входные данные.