LLMs reescrevem em silêncio o inglês afro-americano como inglês padrão, aponta novo estudo

Um novo estudo no arXiv revelou um problema de grande escala: seis LLMs atuais (de 14B a 70B parâmetros) reescrevem sistematicamente o inglês afro-americano (AAE) como inglês americano padrão (SAE), mesmo quando o contexto exige a manutenção do dialeto.

Que viés foi encontrado?

O inglês afro-americano não é um erro, e sim um dialeto completo, falado por mais de 30 milhões de pessoas nos EUA. Mesmo assim, os LLMs atuais o tratam como um texto "incorreto", que precisa ser corrigido para a variante padrão.

Os autores testaram seis LLMs ajustados por instruções. Em todos os casos, os modelos preferiram a continuação em SAE, mesmo quando o contexto pedia claramente AAE. Na prática, os LLMs reescrevem a fala dos usuários e trocam o dialeto por inglês padrão de forma automática e imperceptível.

• 6 modelos ajustados por instruções (14B–70B parâmetros)
• Mais de 30 milhões de falantes de AAE
• A concordância negativa ("ain't nobody") é um gatilho universal de viés em todos os modelos
• Construções sintáticas disparam a reescrita de forma consistente

Como o viés foi detectado e medido

Os autores desenvolveram um método sistemático de auditoria: a métrica conditional Dialect Group Invariance (cDGI), que separa o viés genuíno do modelo de artefatos externos. Uma análise em nível de características identificou quais marcadores específicos do AAE provocam mais viés.

Para validar o método, os pesquisadores criaram o REAL-AAE, um conjunto de dados com 17,479 trios de exemplos AAE/SAE/AAE_back extraídos de tuítes naturais. Ele é de 2 a 6 vezes maior que todos os recursos anteriores de AAE. O conjunto foi validado automaticamente (BERTScore F1 = 0.95) e manualmente por três falantes de AAE (83% de concordância semântica). Essa validação dupla garante que o conjunto reflita as sutilezas reais do dialeto.

Activation steering: correção sem retreinamento

Os pesquisadores propuseram o activation steering, a primeira aplicação desse método ao viés dialetal. Ele dispensa treinamento, atua apenas na fase de teste e não altera os pesos do modelo.

Funciona assim: o causal tracing extrai as direções do dialeto das ativações do modelo, e essas direções são então inseridas nas camadas responsáveis pela geração. O resultado: o modelo mantém o AAE nos contextos em que ele é apropriado.

Os resultados são expressivos: o activation steering reduz o viés dialetal 5–20 vezes mais do que as abordagens com prompting e preserva a fluência em inglês padrão quando ele é realmente necessário. Isso mostra que há solução sem retreinar o modelo por completo.

Por que isso importa

O viés dialetal é uma forma de assimilação cultural oculta. LLMs integrados a sistemas de educação, plataformas jurídicas, RH e assistentes de voz podem corrigir silenciosamente a fala dos usuários. O usuário escreve em seu dialeto, e o sistema devolve o texto no padrão, apagando a identidade linguística. O estudo mostra que isso pode ser detectado e corrigido por um método que não exige retreinamento.

Perguntas frequentes

Por que os LLMs reescrevem o AAE?

Porque são treinados principalmente com textos em inglês padrão. Os modelos interpretam o AAE como um erro gramatical a ser corrigido de acordo com o padrão dominante nos dados de treinamento.

Isso é um problema só do inglês?

Este estudo foca em AAE/SAE, mas o viés é típico de qualquer par dialeto–língua padrão. É provável que viés semelhante exista em outras línguas em que os dialetos são minoria nos dados de treinamento.

Quando os modelos comerciais terão activation steering?

Por enquanto, é um método dos pesquisadores. A integração aos LLMs depende dos provedores. Mas o estudo mostra que a solução é tecnicamente possível sem um retreinamento profundo.