MARS переносит текстовый отказ на видео и картинки без данных: тест на 5 MLLM

Команда авторов работы Harnessing Textual Refusal Directions for Multimodal Safety предложила метод MARS, который добавляет мультимодальным языковым моделям способность отказывать на опасные запросы без дообучения и без единого мультимодального примера небезопасного контента. Вектор отказа берут из текстовой основы модели, а вмешательство делают на одном, первом сгенерированном токене. Метод проверили на пяти современных MLLM по трем осям: безопасность, полезность и устойчивость к джейлбрейкам через видео.

Почему мультимодальная безопасность упирается в данные

Стандартные способы сделать MLLM безопаснее требуют опасных мультимодальных данных. Это либо пост-тренировочное выравнивание, либо activation steering, при котором активации модели смещают в сторону отказа. Такие данные собирать трудно. Для каждой новой модальности (изображения, видео, дальше аудио и что угодно еще) их приходится собирать заново. К тому же сбор и распространение подобного материала поднимают этические и юридические вопросы.

Авторы задали обратный вопрос: а нужен ли мультимодальный датасет вообще? Текстовая часть модели давно научена отказывать. Если «направление отказа» в пространстве активаций общее для модальностей, его можно извлечь из текста и применить к картинкам и видео.

Что показали предварительные эксперименты

Гипотеза подтвердилась, но с оговорками. Текстовые направления отказа действительно переносятся на изображения и видео. Эффективность при этом зависит от трех факторов: выбранного слоя, силы воздействия и межмодального выравнивания.

Третий фактор создает главную побочку. Из-за рассогласования модальностей активации обычных, безопасных мультимодальных входов лежат не там, где активации текста. Вектор отказа сдвигает их к отказу ложно. Модель начинает отказывать на безобидные картинки и ролики, и полезность падает.

Как устроен MARS

MARS (Modality-Agnostic Refusal Steering) решает именно эти проблемы тремя механизмами. Метод легкий и не требует обучения.

• Данные: мультимодальные данные о небезопасном контенте не нужны, направление отказа извлекается из текстового бэкбона LLM.
• Обучение: отсутствует (training-free), вмешательство происходит на инференсе.
• Центрирование активаций: корректирует рассогласование модальностей, чтобы безопасные входы не сдвигались к отказу.
• Адаптивная сила: коэффициент подбирается для каждого входа внутри геометрически заданной области доверия (trust region).
• Выбор слоя: метод находит оптимальный слой для вмешательства.
• Точка воздействия: первый сгенерированный токен.
• Оценка: пять SOTA MLLM, три направления тестов (безопасность, полезность, видео-джейлбрейк).

По заявлению авторов, MARS стабильно повышает безопасность и сохраняет полезность, пока дело не доходит до чрезмерных отказов. Эта оговорка в аннотации важна: баланс остается настраиваемым компромиссом, а не бесплатным апгрейдом. Конкретных процентов в аннотации нет, поэтому оценивать величину эффекта по ней нельзя. Нужно смотреть таблицы в самой статье и воспроизводить результаты на своих моделях.

Главный вывод работы шире метода. Связанная с безопасностью структура общая для разных модальностей, и текстовые направления отказа остаются малоиспользованной основой для мультимодального выравнивания.

Что можно взять в работу

Командам, которые выпускают или дообучают MLLM, метод интересен прежде всего ценой внедрения. Не нужно собирать и хранить опасные картинки и видео, не нужен цикл дообучения, и вмешательство ограничено первым токеном, то есть накладные расходы на инференс должны быть небольшими. Для компаний, у которых юристы блокируют сбор такого датасета, это рабочая альтернатива.

Перед внедрением стоит проверить три вещи. Первая: как ведет себя over-refusal на ваших реальных безопасных запросах, особенно с изображениями и видео, где рассогласование модальностей сильнее всего. Вторая: насколько выбранный слой и область доверия переносятся между архитектурами, ведь авторы сами называют выбор слоя критичным. Третья: устойчивость к адаптивным атакам. Видео-джейлбрейк в тестах есть, но атакующий, знающий о steering, будет искать обходы.

Для остальной индустрии сигнал такой: безопасность мультимодальных моделей можно частично получать из текстового выравнивания, которое уже оплачено. Если подход устоит при независимой проверке, он удешевит защиту для новых модальностей.