Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуTG: @ai_machinelearning_big_data (Machinelearning)→ оригинал

Ai2: 15 моделей под нажимом на 9,3 процентного пункта чаще ошибаются в пользу меньшинств

Институт Аллена (Ai2) выпустил тест FairStress: ИИ-модели получают два резюме и фразу вроде «руководство хочет дать шанс меньшинствам». На 15 моделях, включая Claude и GPT, при названной группе они на 9,3 процентного пункта чаще отказывались от сильного кандидата в пользу меньшинства, условно: 29,3% вместо 20%. Без данных о личности перекоса нет. В найме и кредитах стоит проверять устойчивость к нажиму.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Ai2: 15 моделей под нажимом на 9,3 процентного пункта чаще ошибаются в пользу меньшинств
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
13 млн вариантов300 сценариев, 33 пары групп, до 78 фраз нажима
Ключевой факт #2Если явного лидера нет, меньшинство выбирали в 60–65% случаев
Помогла проверкамодель повторяет рассуждение с зеркальной сменой группы

Представьте HR-ассистента на базе языковой модели. Ему дают два резюме: у первого кандидата опыт и навыки явно сильнее. Но перед вопросом в промпте стоит фраза: «руководство хотело бы дать шанс людям из недопредставленных групп». Должна ли модель сменить выбор? Правильный ответ: нет, ведь аргумент не меняет квалификацию. Институт Аллена (Ai2) выпустил набор FairStress, который проверяет именно это. Тест показал, что 15 популярных моделей под таким нажимом уступают слишком легко, причём перекос идёт в пользу уязвимых групп.

Если вы встраиваете LLM в найм, скоринг, медицинский триаж или оценку заявок на обучение, это прямой риск: модель может отвергать лучшего кандидата только потому, что ей мягко намекнули.

Как устроен тест

Обычные проверки справедливости просто спрашивают модель про двух кандидатов и сравнивают ответы при смене расы или пола. FairStress добавляет давление. Перед вопросом вставляют авторитетный или социально окрашенный аргумент: ссылку на мнение руководства, напоминание о дискриминации в прошлом или неформальную рекомендацию. Затем измеряют, насколько охотно система отказывается от объективно более сильного кандидата.

Масштаб большой: 300 сценариев из 29 областей, включая найм, кредитование, медицину и образование. В них участвуют вымышленные кандидаты, 33 пары демографических групп (раса, пол, религия, возраст, инвалидность, ориентация), четыре степени раскрытия личности и до 78 убеждающих фраз. Всего получается больше 13 млн вариантов.

Что нашли на 15 моделях

Авторы прогнали тест на 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT. Везде обнаружилась антистереотипная гиперкоррекция: модель так старается не обидеть уязвимых, что принимает неверное решение. При одинаково сильных аргументах модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем в обратную сторону.

Цифры такие:

  • Если в промпте нет данных о личности, модели беспристрастны.
  • Если группа названа прямо, они на 9,3 процентного пункта чаще отказываются от верного решения, когда отказ выгоден кандидату из меньшинства. Процентный пункт — это разница в долях: условно, было 20% таких уступок, стало 29,3%.
  • В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев.

Есть и качественная находка. Модели по-разному обосновывали решения. Заслуги одних кандидатов объяснялись критериями и фактами, а про других говорилось об абстрактной устойчивости и разнообразии, и это обесценивало их профессиональные достижения. Для продукта это отдельная проблема: объяснение, которое модель показывает пользователю, может оказаться вежливой рационализацией.

По выводу авторов, нынешний элайнмент (дообучение моделей на «правильное» поведение) учит блокировать дискриминационные запросы, но не учит устойчиво взвешивать объективные навыки. Правило «не обижай уязвимых» срабатывает даже тогда, когда ведёт к ошибке.

Что с этим делать

Снизить асимметрию без потери точности помог один приём: контрфактический CoT. CoT (chain of thought) — это пошаговое рассуждение модели перед ответом. В контрфактической версии модель заставляют пересмотреть задачу и зеркально заменить демографические маркеры: что, если бы кандидат принадлежал к другой группе? Если ответ меняется, значит, на решение повлияла группа, а не навыки. Такой шаг можно добавить в собственный пайплайн как дополнительную проверку.

Практические выводы для команд:

  • Тестируйте не только нейтральные промпты, но и промпты с давлением: мнением начальства, историческими аргументами, «рекомендациями».
  • Сравнивайте решения при зеркальной замене групп. Расхождение сигнализирует о перекосе в обе стороны.
  • Не считайте, что модель с сильной защитой от дискриминации автоматически принимает взвешенные решения.
  • Там, где решение влияет на судьбу человека, оставляйте финальную проверку человеку.

Ограничения тоже есть. Сценарии синтетические, кандидаты вымышленные, а реальные системы обычно получают данные в другом формате. Отдельные цифры по каждой модели в исходном сообщении не приведены. Зато набор открыт: лицензия CC-BY-4.0, датасет лежит на Hugging Face, есть статья и код на GitHub. Его можно прогнать на своей модели до выхода в продакшн.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен тест?

Обычные проверки справедливости просто спрашивают модель про двух кандидатов и сравнивают ответы при смене расы или пола. FairStress добавляет давление. Перед вопросом вставляют авторитетный или социально окрашенный аргумент: ссылку на мнение руководства, напоминание о дискриминации в прошлом или неформальную рекомендацию. Затем измеряют, насколько охотно система отказывается от объективно более сильного кандидата. Масштаб большой: 300 сценариев из 29 областей, включая найм, кредитование, медицину и образование.

Что известно по теме: что нашли на 15 моделях?

Авторы прогнали тест на 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT. Везде обнаружилась антистереотипная гиперкоррекция: модель так старается не обидеть уязвимых, что принимает неверное решение. При одинаково сильных аргументах модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем в обратную сторону. Цифры такие: Если в промпте нет данных о личности, модели беспристрастны.

Что известно по теме: что с этим делать?

Снизить асимметрию без потери точности помог один приём: контрфактический CoT. CoT (chain of thought) — это пошаговое рассуждение модели перед ответом. В контрфактической версии модель заставляют пересмотреть задачу и зеркально заменить демографические маркеры: что, если бы кандидат принадлежал к другой группе? Если ответ меняется, значит, на решение повлияла группа, а не навыки. Такой шаг можно добавить в собственный пайплайн как дополнительную проверку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…