ИИ-модели отказываются оценивать лица, но по запросу рисуют «гея» и «преступника»

Спросите у ИИ-модели, выглядит ли человек на фото геем или натуралом, и она откажется отвечать. Попросите отредактировать то же фото так, чтобы человек выглядел геем, натуралом или преступником, и модель часто выполнит просьбу, подставив стереотипные черты лица. Об этом сообщает TechXplore. Получается, что отказ сработал для вопроса, но не для задачи, которая приводит к тому же результату.

Где ломается отказ

Прямой вопрос «этот человек гей?» попадает под классический сценарий безопасности. Модель обучали не выводить чувствительные атрибуты по внешности, и она это выучила. Запрос на редактирование выглядит для неё иначе: это творческая задача, а не оценка человека. Фильтры, настроенные на классификацию, на такую формулировку не реагируют.

Главный вывод из этой истории неприятнее самой лазейки. Чтобы «сделать лицо более криминальным», модель должна держать внутри какую-то карту соответствий между чертами лица и ярлыками. Отказ отвечать скрывает эту карту, но не удаляет её. Она остаётся в весах и проявляется, когда задачу переформулируют.

Физиогномика возвращается через редактор

Идея «читать» ориентацию или склонность к преступлениям по лицу не нова. В 2016 году исследователи из Шанхая заявили, что нейросеть отличает осуждённых от неосуждённых по фотографиям. В 2017 году работа Михала Косински и Илун Вана утверждала, что алгоритм определяет сексуальную ориентацию по снимку. Обе статьи подверглись жёсткой критике: корреляции объяснялись различиями в причёсках, макияже, ракурсе и качестве фото, а не особенностями строения лица.

Отредактированные снимки не доказывают, что такая связь существует. Они показывают, чему научилась модель на своих данных: что в интернете и подписях к картинкам считается «типичным» для каждой категории. Результат воспроизводит культурные клише, причём в виде убедительной фотографии конкретного человека.

Что известно из публикации

• Прямой вопрос об ориентации по лицу: модели отказываются отвечать.
• Запрос на редактирование фото под «гея» или «натурала»: модели часто выполняют его.
• Запрос на редактирование под «преступника»: то же поведение.
• Результат строится на стереотипных чертах внешности.
• Фильтры безопасности привязаны к формулировке запроса, а не к тому, какой вред возможен.

Доли успешных запросов, список протестированных моделей и условия эксперимента нужно смотреть в первоисточнике.

Чем это грозит

Практические риски понятны. Отредактированное фото можно использовать для травли: приписать человеку «криминальный» вид, создать «доказательство» ориентации, вырвать снимок из контекста. Для уязвимых групп, особенно в странах, где ориентация криминализована, это вопрос физической безопасности. Кроме того, такие картинки закрепляют стереотипы у тех, кто их видит и считает «правдоподобными».

Что делать командам

Если вы строите продукт на генеративном редактировании изображений, проверьте его не только прямыми вопросами. Включите в красные команды запросы на преобразование внешности под социальные категории: ориентация, этничность, религия, «преступность», «бедность». Тестируйте разные формулировки и языки, потому что отказ на английском часто не переносится на русский.

Фильтровать стоит на уровне результата и намерения, а не только ключевых слов. Не используйте модели для оценки людей по лицам в найме, безопасности или скоринге. Если ваша модель умеет «менять вид» человека, задокументируйте, какие атрибуты она менять не должна, и регулярно проверяйте это на новых версиях.