Los LLM reescriben en silencio el inglés afroamericano como inglés estándar, según un nuevo estudio

Un nuevo estudio en arXiv ha revelado un problema de gran escala: seis LLM actuales (de entre 14B y 70B parámetros) reescriben de forma sistemática el inglés afroamericano (AAE) como inglés estadounidense estándar (SAE), incluso cuando el contexto exige conservar el dialecto.

¿Qué sesgo se detectó?

El inglés afroamericano no es un error, sino un dialecto de pleno derecho que hablan más de 30 millones de personas en Estados Unidos. Sin embargo, los LLM actuales lo tratan como un texto "incorrecto" que hay que corregir a la variante estándar.

Los autores probaron seis LLM ajustados con instrucciones. En todos los casos, los modelos prefirieron la continuación en SAE, incluso cuando el contexto pedía claramente AAE. En la práctica, los LLM reescriben el habla de los usuarios y sustituyen el dialecto por inglés estándar de forma automática e inadvertida.

• 6 modelos ajustados con instrucciones (14B–70B parámetros)
• Más de 30 millones de hablantes de AAE
• La concordancia negativa ("ain't nobody") es un desencadenante universal del sesgo en todos los modelos
• Las construcciones sintácticas desencadenan la reescritura de forma constante

Cómo se detectó y se midió

Los autores desarrollaron un método sistemático de auditoría: la métrica conditional Dialect Group Invariance (cDGI), que separa el sesgo genuino del modelo de los artefactos externos. Un análisis a nivel de rasgos identificó qué marcadores concretos del AAE provocan más sesgo.

Para validar el método, los investigadores crearon REAL-AAE, un conjunto de datos de 17,479 tripletas de ejemplos AAE/SAE/AAE_back extraídas de tuits naturales. Es entre 2 y 6 veces más grande que todos los recursos previos de AAE. El conjunto se validó de forma automática (BERTScore F1 = 0.95) y de forma manual por tres hablantes de AAE (83% de acuerdo semántico). Esta doble validación garantiza que el conjunto refleja los matices reales del dialecto.

Activation steering: una corrección sin reentrenamiento

Los investigadores propusieron activation steering, la primera aplicación de este método al sesgo dialectal. Es un método que no requiere entrenamiento, actúa solo en la fase de prueba y no modifica en absoluto los pesos del modelo.

Funciona así: el causal tracing extrae las direcciones del dialecto a partir de las activaciones del modelo y luego se inyectan en las capas responsables de la generación. El resultado: el modelo conserva el AAE en los contextos donde corresponde.

Los resultados son notables: el activation steering reduce el sesgo dialectal 5–20 veces mejor que los enfoques basados en prompting y mantiene la fluidez en inglés estándar cuando realmente se necesita. Esto demuestra que es posible una solución sin reentrenar por completo el modelo.

Por qué es importante

El sesgo dialectal es una forma de asimilación cultural oculta. Los LLM integrados en sistemas educativos, plataformas jurídicas, recursos humanos y asistentes de voz pueden corregir en silencio el habla de los usuarios. El usuario escribe en su dialecto y el sistema se lo devuelve en el estándar, borrando su identidad lingüística. El estudio muestra que esto puede detectarse y corregirse con un método que no requiere reentrenamiento.

Preguntas frecuentes

¿Por qué los LLM reescriben el AAE?

Porque se entrenan sobre todo con textos en inglés estándar. Los modelos interpretan el AAE como un error gramatical que hay que corregir según el patrón dominante en los datos de entrenamiento.

¿Es un problema solo del inglés?

Este estudio se centra en AAE/SAE, pero el sesgo es típico de cualquier par dialecto–lengua estándar. Probablemente exista un sesgo similar en otras lenguas en las que los dialectos son minoritarios en los datos de entrenamiento.

¿Cuándo tendrán los modelos comerciales activation steering?

Por ahora es un método de los investigadores. Su integración en los LLM depende de los proveedores. Pero el estudio demuestra que la solución es técnicamente posible sin un reentrenamiento profundo.