Los LLM Reescriben Encubiertamente el Discurso Afroamericano en Inglés Estándar: Nueva Investigación

Un nuevo estudio en arXiv ha revelado un problema a gran escala: seis LLM modernos (de 14B a 70B parámetros) reescriben sistemáticamente el inglés afroamericano (AAE) en inglés americano estándar (SAE), incluso cuando el contexto requiere preservar el dialecto.

Qué sesgo fue descubierto

El inglés afroamericano no es un error, sino un dialecto completo hablado por más de 30 millones de personas en los Estados Unidos. Sin embargo, los LLM modernos lo tratan como texto "incorrecto" que necesita ser corregido a la variante estándar.

Los autores probaron seis LLM con ajuste de instrucciones. En todos los casos, los modelos prefirieron continuación SAE incluso cuando el contexto claramente requería AAE. Efectivamente, los LLM reescriben el habla de los usuarios, reemplazando automática e invisiblemente el dialecto con inglés estándar.

• 6 modelos con ajuste de instrucciones (14B–70B parámetros)
• 30+ millones de hablantes de AAE
• Negative concord ("ain't nobody") — disparador de sesgo universal en todos los modelos
• Las construcciones sintácticas desencadenan reescrituras consistentemente

Cómo fue descubierto y medido

Los autores desarrollaron un método de auditoría sistemático: el indicador de Invarianza de Grupo de Dialecto Condicional (cDGI), que separa el sesgo verdadero del modelo de artefactos externos. El análisis a nivel de características reveló qué marcadores AAE específicos causan sesgo más frecuentemente.

Para validación, los investigadores crearon REAL-AAE — un conjunto de datos de 17,479 pares AAE/SAE/AAE_back de tweets naturales. Esto es 2–6 veces más grande que todos los recursos AAE anteriores. El conjunto de datos fue validado automáticamente (BERTScore F1 = 0.95) y manualmente por tres hablantes de AAE (83% de acuerdo semántico). Tal doble validación garantiza que el conjunto de datos refleja verdaderas sutilezas del dialecto.

Activation steering: corregir sin reentrenamiento

Los investigadores propusieron activation steering — la primera aplicación de este método al sesgo dialecto. Este es un método sin entrenamiento que funciona solo en tiempo de prueba, sin cambios de peso del modelo.

Cómo funciona: el rastreo causal extrae direcciones de dialecto de las activaciones del modelo, luego estas direcciones se inyectan en capas responsables de la generación. Resultado: el modelo preserva AAE en contextos donde es apropiado.

Los resultados son impresionantes: activation steering reduce el sesgo dialecto 5–20 veces mejor que los enfoques de prompting, mientras mantiene inglés estándar fluido cuando es realmente necesario. Esto prueba que una solución es posible sin reentrenamiento completo del modelo.

Por qué esto es crítico

El sesgo dialecto es una forma de asimilación cultural oculta. Los LLM incrustados en sistemas educativos, plataformas legales, HR y asistentes de voz pueden corregir silenciosamente el habla de los usuarios. Un usuario ingresa texto en su dialecto, el sistema lo genera en inglés estándar, borrando la identidad lingüística. El estudio muestra que esto puede ser detectado y corregido con un método que no requiere reentrenamiento.

Preguntas frecuentes

¿Por qué los LLM reescriben AAE?

Porque son entrenados principalmente en textos de inglés estándar. Los modelos interpretan AAE como un error gramatical que necesita ser corregido de acuerdo con el patrón dominante en los datos de entrenamiento.

¿Es este un problema solo para inglés?

Este estudio se enfoca en AAE/SAE, pero el sesgo es típico para cualquier par dialecto-lengua estándar. Sesgo similar probablemente existe para otros idiomas donde dialectos minoritarios están subrepresentados en datos de entrenamiento.

¿Cuándo obtendrán los modelos comerciales activation steering?

Actualmente es un método de investigación. La integración en LLM depende de los proveedores. Sin embargo, el estudio prueba que una solución es técnicamente posible sin reentrenamiento profundo.