Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуAi2 (Allen Institute)→ оригинал

Ai2 выпустил FairStress: при явной метке группы LLM сдают верный ответ на 9,3 п.п. чаще

Ai2 выпустил FairStress — тест, который проверяет, насколько легко переубедить LLM в решениях о людях. Пример: кандидат А явно сильнее, но фраза «руководитель рекомендует Б» действует по-разному. В среднем по 15 моделям разрыв между группами в отказе от верного ответа составил 6,9 процентного пункта при намёке на группу и 9,3 при явной метке. Для найма и кредитов нужно проверять устойчивость решения, а не только совпадение ответов.

AI-обработка оригинала Ai2 (Allen Institute); редакция Hamidun News
Ai2 выпустил FairStress: при явной метке группы LLM сдают верный ответ на 9,3 п.п. чаще
Источник: Ai2 (Allen Institute). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAi2 (Allen Institute) ↗
Главный редактор
Ключевой факт #1300 сценариев в 29 сферах дают более 13 млн тестов; облегчённый Core — 50 тыс.
Ключевой факт #2Claude Opus 5 и GPT-5.5 выбирали кандидата из меньшинства в 60–65% спорных случаев
Ключевой факт #3Тест BBQ по вероятностям вариантов пропускает перекос, видный в сгенерированных ответах

Представьте, что вы встроили LLM в отбор резюме. Вы проверили её привычным способом: взяли два одинаковых резюме, поменяли расу кандидата, и модель оба раза выбрала того же человека. Звучит как честная работа. Но институт Ai2 показал, что такая проверка скрывает важную деталь: модель может выбирать правильно в обеих версиях, а вот переубедить её в одной из них гораздо легче. Для измерения этой асимметрии Ai2 выпустил бенчмарк FairStress. Его можно скачать, и он встраивается в открытый инструмент Ai2 для запуска и сравнения оценок моделей.

Здесь и дальше «п.п.» означает процентный пункт, то есть разницу между двумя долями. Если бы одна группа кандидатов вытесняла верный ответ в 20% случаев, а другая в 10,7%, разрыв составил бы 9,3 п.п. Именно так Ai2 измеряет перекос.

Как устроен тест: выбор, а потом давление

Сценарий простой. Кандидат A явно сильнее кандидата B, модель выбирает A независимо от того, чёрный он или белый. Затем к промпту добавляют убедительную фразу, например: «Руководитель лично изучил файлы и рекомендовал кандидата B». У каждой такой фразы есть зеркальная версия в пользу другого кандидата. Это позволяет проверить, одинаково ли один и тот же аргумент действует в зависимости от того, чья группа выигрывает.

В бенчмарке 300 реалистичных сценариев выбора из двух вариантов в 29 сферах: найм, кредиты, медицина, образование, жильё, уголовное правосудие. Например, кому из двух пациентов отдать последнюю дозу дефицитного лекарства. В одних сценариях один кандидат явно сильнее. В других оба хороши по-разному, и объективного лидера нет.

Идентичность подаётся на четырёх уровнях: без неё, через имя, через косвенный намёк и через явную метку. С учётом префиксов получается более 13 миллионов тестов. Для быстрых прогонов есть FairStress-Core на 50 тысяч примеров, отобранных методом теории ответов на задания (item response theory).

Что нашли

Без демографических данных модели ведут себя почти одинаково: сильного кандидата выбирают с одинаковой частотой, а в спорных случаях делят выбор примерно поровну. Чем явнее указана группа, тем сильнее перекос. Если сильнее кандидат из «условно привилегированной» группы (белый, мужчина, гетеросексуал), а префикс просит выбрать слабого кандидата из меньшинства, модель чаще отступает от верного ответа. В зеркальной ситуации она держится твёрже. Ai2 называет это антистереотипной гиперкоррекцией.

По 15 моделям средний разрыв составил 6,9 п.п. при косвенном намёке на идентичность и 9,3 п.п. при явной метке. Флагманы не исключение. В неоднозначных случаях Claude Opus 5 и GPT-5.5 выбирали кандидата из меньшинства примерно в 60–65% случаев. Под зеркальными префиксами переключение в сторону меньшинства было чаще на 8,8–42,4 п.п. (по 12 запускам «модель + режим»).

Различаются и объяснения. У 11 открытых моделей обоснования выбора кандидатов из меньшинств чаще содержали слова «стойкость», «разнообразие», «барьеры», а обоснования выбора кандидатов из большинства чаще опирались на «доказательства» и «критерии». Получается, что модель может выбирать такого кандидата охотнее, но признавать его квалификацию меньше.

Есть и взгляд внутрь моделей. В Gemma-3-12B-it и Qwen2.5-7B-Instruct по внутренним активациям угадывали выбранную сторону с точностью около 73%, а по текстовым описаниям этих активаций — 57–59% при случайном уровне 50%. Если убрать имена кандидатов, точность по активациям падала примерно на 18 п.п. Авторы сами называют эту часть узкой: моделей две, контрастов мало.

Почему BBQ показывает другое

Ai2 сравнил FairStress с популярным бенчмарком BBQ, где модели обычно склоняются к стереотипным ответам. Причина расхождения оказалась в методике. Проверенная версия BBQ оценивает вероятности фиксированных вариантов ответа, а FairStress просит модель самой сгенерировать выбор, как в обычном чате.

Те же вопросы BBQ прогнали на четырёх моделях в пяти конфигурациях: с чат-шаблоном, формулировкой «да/нет» и генерацией ответа. Qwen2.5-7B-Instruct, Gemma-3-27B-it и Llama-3.1-70B-Instruct перешли от стереотипных ответов к уклону в пользу меньшинств. Llama-3.1-8B-Instruct стала примерно нейтральной. Значит, направление измеренного перекоса отчасти зависит от того, как задан вопрос и как оценён ответ.

Что делать на практике

Если вы строите скоринг резюме, кредитные или медицинские сценарии на LLM, проверки «поменяли имя, ответ совпал» недостаточно. Добавьте проверку устойчивости: насколько легко модель отказывается от обоснованного решения под давлением аргумента и одинаково ли это происходит для разных групп. Оценивайте и сгенерированные ответы, и вероятности вариантов, иначе гиперкоррекцию можно не заметить.

У работы есть рамки. FairStress понимает справедливость как равенство: при прочих равных шансы одинаковы, а обоснованное решение одинаково устойчиво для любой группы. Подход, основанный на equity, мог бы учитывать историческую дискриминацию и считать предпочтение кандидата из меньшинства допустимым. Ai2 прямо говорит, что бенчмарк не охватывает все представления о справедливости.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен тест: выбор, а потом давление?

Сценарий простой. Кандидат A явно сильнее кандидата B, модель выбирает A независимо от того, чёрный он или белый. Затем к промпту добавляют убедительную фразу, например: «Руководитель лично изучил файлы и рекомендовал кандидата B». У каждой такой фразы есть зеркальная версия в пользу другого кандидата. Это позволяет проверить, одинаково ли один и тот же аргумент действует в зависимости от того, чья группа выигрывает.

Что известно по теме: что нашли?

Без демографических данных модели ведут себя почти одинаково: сильного кандидата выбирают с одинаковой частотой, а в спорных случаях делят выбор примерно поровну. Чем явнее указана группа, тем сильнее перекос. Если сильнее кандидат из «условно привилегированной» группы (белый, мужчина, гетеросексуал), а префикс просит выбрать слабого кандидата из меньшинства, модель чаще отступает от верного ответа. В зеркальной ситуации она держится твёрже. Ai2 называет это антистереотипной гиперкоррекцией.

Что известно по теме: почему BBQ показывает другое?

Ai2 сравнил FairStress с популярным бенчмарком BBQ, где модели обычно склоняются к стереотипным ответам. Причина расхождения оказалась в методике. Проверенная версия BBQ оценивает вероятности фиксированных вариантов ответа, а FairStress просит модель самой сгенерировать выбор, как в обычном чате. Те же вопросы BBQ прогнали на четырёх моделях в пяти конфигурациях: с чат-шаблоном, формулировкой «да/нет» и генерацией ответа.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…