Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarAi2 (Allen Institute)→ original

Ai2 lança FairStress: com rótulo explícito de grupo, LLMs abandonam a resposta correta 9,3 p.p. mais vezes

A Ai2 lançou o FairStress, um teste que verifica quão fácil é fazer um LLM mudar de ideia em decisões sobre pessoas. Exemplo: o candidato A é claramente mais forte, mas a frase "o gerente recomenda B" produz efeitos diferentes conforme o grupo. Na média de 15 modelos, a diferença entre grupos no abandono da resposta correta foi de 6,9 pontos percentuais com pista indireta de grupo e de 9,3 com rótulo explícito. Para contratação e crédito, é preciso testar a estabilidade da decisão, e não apenas a coincidência das respostas.

Processado por IA de Ai2 (Allen Institute); editado por Hamidun News
Ai2 lança FairStress: com rótulo explícito de grupo, LLMs abandonam a resposta correta 9,3 p.p. mais vezes
Fonte: Ai2 (Allen Institute). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAi2 (Allen Institute) ↗
Editor-chefe
Dado-chave #1300 cenários em 29 áreas geram mais de 13 milhões de testes; a versão reduzida Core tem 50 mil.
Dado-chave #2Claude Opus 5 e GPT-5.5 escolheram o candidato minoritário em 60–65% dos casos disputados.
Dado-chave #3O teste BBQ, baseado em probabilidades das opções, não detecta o viés que aparece nas respostas geradas.

Imagine que você integrou um LLM à triagem de currículos. Você o testou da forma habitual: pegou dois currículos idênticos, trocou a raça do candidato, e o modelo escolheu a mesma pessoa nas duas vezes. Parece um trabalho honesto. Mas o instituto Ai2 mostrou que esse teste esconde um detalhe importante: o modelo pode escolher corretamente nas duas versões, e ainda assim é muito mais fácil fazê-lo mudar de ideia em uma delas. Para medir essa assimetria, a Ai2 lançou o benchmark FairStress. Ele pode ser baixado e se integra à ferramenta aberta da Ai2 para executar e comparar avaliações de modelos.

Aqui e adiante, "p.p." significa ponto percentual, ou seja, a diferença entre duas proporções. Se um grupo de candidatos fizesse a resposta correta ser descartada em 20% dos casos e outro em 10,7%, a diferença seria de 9,3 p.p. É assim que a Ai2 mede o viés.

Como o teste funciona: a escolha e depois a pressão

O cenário é simples. O candidato A é claramente mais forte que o candidato B, e o modelo escolhe A independentemente de ele ser negro ou branco. Em seguida, acrescenta-se ao prompt uma frase convincente, por exemplo: "O gerente analisou pessoalmente os arquivos e recomendou o candidato B". Cada uma dessas frases tem uma versão espelhada a favor do outro candidato. Assim é possível verificar se o mesmo argumento tem o mesmo efeito, dependendo do grupo que sai beneficiado.

O benchmark reúne 300 cenários realistas de escolha entre duas opções em 29 áreas: contratação, crédito, medicina, educação, moradia, justiça criminal. Por exemplo, a quem de dois pacientes dar a última dose de um medicamento escasso. Em alguns cenários, um dos candidatos é claramente mais forte. Em outros, ambos são bons de formas diferentes, e não há um líder objetivo.

A identidade é apresentada em quatro níveis: ausente, pelo nome, por uma pista indireta e por um rótulo explícito. Com os prefixos, chega-se a mais de 13 milhões de testes. Para execuções rápidas, existe o FairStress-Core, com 50 mil exemplos selecionados pelo método de teoria de resposta ao item (item response theory).

O que os pesquisadores encontraram

Sem dados demográficos, os modelos se comportam de forma quase idêntica: escolhem o candidato forte com a mesma frequência e, nos casos disputados, dividem as escolhas de maneira aproximadamente igual. Quanto mais explícito o grupo, maior o viés. Se o candidato mais forte pertence a um grupo "condicionalmente privilegiado" (branco, homem, heterossexual) e o prefixo pede a escolha do candidato fraco de uma minoria, o modelo abandona a resposta correta com mais frequência. Na situação espelhada, ele se mantém mais firme. A Ai2 chama isso de hipercorreção antiestereotipada.

Nos 15 modelos, a diferença média foi de 6,9 p.p. com pista indireta de identidade e de 9,3 p.p. com rótulo explícito. Os modelos de ponta não fogem à regra. Em casos ambíguos, Claude Opus 5 e GPT-5.5 escolheram o candidato minoritário em cerca de 60–65% das vezes. Sob prefixos espelhados, a mudança para o lado minoritário ocorreu com mais frequência, entre 8,8 e 42,4 p.p. a mais (considerando 12 execuções "modelo + modo").

As justificativas também diferem. Em 11 modelos abertos, as explicações para escolher candidatos de minorias citavam com mais frequência termos como "resiliência", "diversidade" e "barreiras", enquanto as explicações para escolher candidatos da maioria se apoiavam mais em "evidências" e "critérios". Isso sugere que o modelo pode escolher esses candidatos com mais disposição, mas reconhece menos a qualificação deles.

Há também uma análise do funcionamento interno. Em Gemma-3-12B-it e Qwen2.5-7B-Instruct, as ativações internas permitiram prever o lado escolhido com cerca de 73% de acerto, enquanto as descrições textuais dessas ativações acertaram 57–59%, contra um nível aleatório de 50%. Ao remover os nomes dos candidatos, a precisão baseada em ativações caiu cerca de 18 p.p. Os próprios autores consideram essa parte limitada: são apenas dois modelos e poucos contrastes.

Por que o BBQ mostra outra coisa

A Ai2 comparou o FairStress com o popular benchmark BBQ, no qual os modelos costumam se inclinar para respostas estereotipadas. A divergência está no método. A versão verificada do BBQ avalia as probabilidades de opções de resposta fixas, enquanto o FairStress pede que o modelo gere sua própria escolha, como em um chat comum.

As mesmas questões do BBQ foram aplicadas a quatro modelos em cinco configurações: com template de chat, com formulação "sim/não" e com geração de resposta. Qwen2.5-7B-Instruct, Gemma-3-27B-it e Llama-3.1-70B-Instruct passaram de respostas estereotipadas para uma inclinação em favor das minorias. O Llama-3.1-8B-Instruct ficou aproximadamente neutro. Ou seja, a direção do viés medido depende, em parte, de como a pergunta é feita e de como a resposta é avaliada.

O que fazer na prática

Se você desenvolve triagem de currículos, cenários de crédito ou medicina com LLMs, não basta verificar "trocou o nome, a resposta se manteve". Acrescente um teste de estabilidade: quão fácil é para o modelo abandonar uma decisão fundamentada sob pressão de um argumento, e se isso acontece da mesma forma para diferentes grupos. Avalie tanto as respostas geradas quanto as probabilidades das opções; do contrário, a hipercorreção pode passar despercebida.

O trabalho tem limites. O FairStress entende a justiça como igualdade: em igualdade de condições, as chances são as mesmas, e uma decisão fundamentada tem a mesma estabilidade para qualquer grupo. Uma abordagem baseada em equidade poderia levar em conta a discriminação histórica e considerar aceitável a preferência por um candidato de minoria. A Ai2 afirma explicitamente que o benchmark não cobre todas as concepções de justiça.

História

Perguntas frequentes sobre a notícia

Como o teste funciona: a escolha e depois a pressão?

O cenário é simples. O candidato A é claramente mais forte que o candidato B, e o modelo escolhe A independentemente de ele ser negro ou branco. Em seguida, acrescenta-se ao prompt uma frase convincente, por exemplo: "O gerente analisou pessoalmente os arquivos e recomendou o candidato B". Cada uma dessas frases tem uma versão espelhada a favor do outro candidato. Assim é possível verificar se o mesmo argumento tem o mesmo efeito, dependendo do grupo que sai beneficiado.

O que os pesquisadores encontraram?

Sem dados demográficos, os modelos se comportam de forma quase idêntica: escolhem o candidato forte com a mesma frequência e, nos casos disputados, dividem as escolhas de maneira aproximadamente igual. Quanto mais explícito o grupo, maior o viés. Se o candidato mais forte pertence a um grupo "condicionalmente privilegiado" (branco, homem, heterossexual) e o prefixo pede a escolha do candidato fraco de uma minoria, o modelo abandona a resposta correta com mais frequência.

Por que o BBQ mostra outra coisa?

A Ai2 comparou o FairStress com o popular benchmark BBQ, no qual os modelos costumam se inclinar para respostas estereotipadas. A divergência está no método. A versão verificada do BBQ avalia as probabilidades de opções de resposta fixas, enquanto o FairStress pede que o modelo gere sua própria escolha, como em um chat comum. As mesmas questões do BBQ foram aplicadas a quatro modelos em cinco configurações: com template de chat, com formulação "sim/não" e com geração de resposta.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…