Ai2: 15 моделей под нажимом на 9,3 процентного пункта чаще ошибаются в пользу меньшинств
Институт Аллена (Ai2) выпустил тест FairStress: ИИ-модели получают два резюме и фразу вроде «руководство хочет дать шанс меньшинствам». На 15 моделях, включая Claude и GPT, при названной группе они на 9,3 процентного пункта чаще отказывались от сильного кандидата в пользу меньшинства, условно: 29,3% вместо 20%. Без данных о личности перекоса нет. В найме и кредитах стоит проверять устойчивость к нажиму.
AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Представьте HR-ассистента на базе языковой модели. Ему дают два резюме: у первого кандидата опыт и навыки явно сильнее. Но перед вопросом в промпте стоит фраза: «руководство хотело бы дать шанс людям из недопредставленных групп». Должна ли модель сменить выбор? Правильный ответ: нет, ведь аргумент не меняет квалификацию. Институт Аллена (Ai2) выпустил набор FairStress, который проверяет именно это. Тест показал, что 15 популярных моделей под таким нажимом уступают слишком легко, причём перекос идёт в пользу уязвимых групп.
Если вы встраиваете LLM в найм, скоринг, медицинский триаж или оценку заявок на обучение, это прямой риск: модель может отвергать лучшего кандидата только потому, что ей мягко намекнули.
Как устроен тест
Обычные проверки справедливости просто спрашивают модель про двух кандидатов и сравнивают ответы при смене расы или пола. FairStress добавляет давление. Перед вопросом вставляют авторитетный или социально окрашенный аргумент: ссылку на мнение руководства, напоминание о дискриминации в прошлом или неформальную рекомендацию. Затем измеряют, насколько охотно система отказывается от объективно более сильного кандидата.
Масштаб большой: 300 сценариев из 29 областей, включая найм, кредитование, медицину и образование. В них участвуют вымышленные кандидаты, 33 пары демографических групп (раса, пол, религия, возраст, инвалидность, ориентация), четыре степени раскрытия личности и до 78 убеждающих фраз. Всего получается больше 13 млн вариантов.
Что нашли на 15 моделях
Авторы прогнали тест на 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT. Везде обнаружилась антистереотипная гиперкоррекция: модель так старается не обидеть уязвимых, что принимает неверное решение. При одинаково сильных аргументах модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем в обратную сторону.
Цифры такие:
- Если в промпте нет данных о личности, модели беспристрастны.
- Если группа названа прямо, они на 9,3 процентного пункта чаще отказываются от верного решения, когда отказ выгоден кандидату из меньшинства. Процентный пункт — это разница в долях: условно, было 20% таких уступок, стало 29,3%.
- В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев.
Есть и качественная находка. Модели по-разному обосновывали решения. Заслуги одних кандидатов объяснялись критериями и фактами, а про других говорилось об абстрактной устойчивости и разнообразии, и это обесценивало их профессиональные достижения. Для продукта это отдельная проблема: объяснение, которое модель показывает пользователю, может оказаться вежливой рационализацией.
По выводу авторов, нынешний элайнмент (дообучение моделей на «правильное» поведение) учит блокировать дискриминационные запросы, но не учит устойчиво взвешивать объективные навыки. Правило «не обижай уязвимых» срабатывает даже тогда, когда ведёт к ошибке.
Что с этим делать
Снизить асимметрию без потери точности помог один приём: контрфактический CoT. CoT (chain of thought) — это пошаговое рассуждение модели перед ответом. В контрфактической версии модель заставляют пересмотреть задачу и зеркально заменить демографические маркеры: что, если бы кандидат принадлежал к другой группе? Если ответ меняется, значит, на решение повлияла группа, а не навыки. Такой шаг можно добавить в собственный пайплайн как дополнительную проверку.
Практические выводы для команд:
- Тестируйте не только нейтральные промпты, но и промпты с давлением: мнением начальства, историческими аргументами, «рекомендациями».
- Сравнивайте решения при зеркальной замене групп. Расхождение сигнализирует о перекосе в обе стороны.
- Не считайте, что модель с сильной защитой от дискриминации автоматически принимает взвешенные решения.
- Там, где решение влияет на судьбу человека, оставляйте финальную проверку человеку.
Ограничения тоже есть. Сценарии синтетические, кандидаты вымышленные, а реальные системы обычно получают данные в другом формате. Отдельные цифры по каждой модели в исходном сообщении не приведены. Зато набор открыт: лицензия CC-BY-4.0, датасет лежит на Hugging Face, есть статья и код на GitHub. Его можно прогнать на своей модели до выхода в продакшн.
- 21 нояб. 2026 г.Anthropic закрыла первую неделю на бирже с оценкой $1,6 трлн, но за день упала на 8,5%
- 21 нояб. 2026 г.Thinking Machines выпустила Inkling 2 Mini: 26 млрд параметров и 20,1 балла в AA Index
- 21 нояб. 2026 г.15 субагентов Claude Code написали систему для цеха, а релиз принимает агент без права правки
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
Вопросы и ответы по материалу
Что известно по теме: как устроен тест?
Обычные проверки справедливости просто спрашивают модель про двух кандидатов и сравнивают ответы при смене расы или пола. FairStress добавляет давление. Перед вопросом вставляют авторитетный или социально окрашенный аргумент: ссылку на мнение руководства, напоминание о дискриминации в прошлом или неформальную рекомендацию. Затем измеряют, насколько охотно система отказывается от объективно более сильного кандидата. Масштаб большой: 300 сценариев из 29 областей, включая найм, кредитование, медицину и образование.
Что известно по теме: что нашли на 15 моделях?
Авторы прогнали тест на 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT. Везде обнаружилась антистереотипная гиперкоррекция: модель так старается не обидеть уязвимых, что принимает неверное решение. При одинаково сильных аргументах модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем в обратную сторону. Цифры такие: Если в промпте нет данных о личности, модели беспристрастны.
Что известно по теме: что с этим делать?
Снизить асимметрию без потери точности помог один приём: контрфактический CoT. CoT (chain of thought) — это пошаговое рассуждение модели перед ответом. В контрфактической версии модель заставляют пересмотреть задачу и зеркально заменить демографические маркеры: что, если бы кандидат принадлежал к другой группе? Если ответ меняется, значит, на решение повлияла группа, а не навыки. Такой шаг можно добавить в собственный пайплайн как дополнительную проверку.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.