Investigadores enseñan a los LLM a adaptarse al dialecto: el método CAP y 10 familias de modelos

Los modelos de chat responden casi siempre en inglés estándar, sea cual sea el dialecto en que se les hable. Los investigadores quisieron comprobar qué ocurre realmente dentro del posentrenamiento. Tomaron 10 familias de modelos abiertos y analizaron cada etapa: supervised fine-tuning, DPO y aprendizaje por refuerzo. La conclusión: respuestas aparentemente idénticas esconden un trato desigual a los distintos dialectos. En la actualización de DPO, la ortografía británica y australiana recibe preferencia frente al AAE (African American English) y al singlish en las 10 familias. Para corregirlo, los autores proponen CAP (calibrated accommodation pairs), un conjunto de datos de preferencias.

Lo que se ve en la actualización, no en la respuesta

La auditoría habitual examina la salida del modelo. El usuario escribe en un dialecto, el modelo responde en inglés estándar y el panorama parece uniforme: todos reciben la misma estandarización. Los autores muestran que eso no basta. El posentrenamiento, en conjunto, estandariza las respuestas ante cualquier señal informal, pero eso es solo la superficie.

Para ir más a fondo, leyeron qué prefiere exactamente cada actualización. Tomaron dos réplicas con el mismo contenido: una coincide con el dialecto del usuario y la otra no. Después compararon hacia dónde se desplaza el modelo, con un ajuste según lo probable que era cada réplica antes del entrenamiento. Sin esa calibración es fácil confundir «el modelo ya escribe así con frecuencia» con «el entrenamiento lo empuja a escribir así».

Tras el ajuste, el panorama contradice lo que se ve a simple vista. La actualización de DPO prefiere coincidir con la ortografía británica y australiana, pero no tiende a coincidir con el AAE ni con el singlish. Esto se reprodujo en las 10 familias. Además, los propios modelos son capaces de producir rasgos del AAE si se les pide. Es decir, la capacidad existe, pero el entrenamiento por preferencias no la favorece por defecto.

CAP: pares que recompensan la densidad de dialecto

CAP se construye como datos de preferencias con dos condiciones. El modelo recibe una recompensa por coincidir con la densidad de dialecto del usuario. A los usuarios de inglés estándar, por su parte, se les sigue respondiendo en inglés estándar. La segunda parte es importante: sin ella, el método se convierte en un modo «dialectal» universal que nadie ha pedido.

La prueba en un modelo totalmente abierto arrojó estos resultados:

• la convergencia aumenta en rasgos dialectales con los que CAP no se entrenó;
• no se detectó un aumento apreciable de dialecto en los usuarios de inglés estándar;
• el seguimiento de instrucciones no se resiente;
• los pares unilaterales logran una mejora comparable, pero solo a costa de un exceso: el modelo se pasa del estilo del usuario e impone el dialecto.

Por qué los pares unilaterales funcionan peor

La forma más sencilla de lograr que un modelo responda en dialecto es reunir pares en los que la respuesta dialectal siempre gane. La métrica de convergencia mejorará. Pero el modelo empieza a hablar «más dialectal» que el propio usuario y lo aplica donde no corresponde. Los autores lo llaman overshooting. Por tanto, una cifra de convergencia sin control de la densidad induce a error. Los pares calibrados eliminan ese sesgo: la recompensa depende de cuánto dialecto usó el usuario, y no de la mera presencia de rasgos dialectales.

Qué cambiar en el pipeline de evaluación

La principal conclusión práctica afecta a las auditorías. Si un equipo revisa solo las respuestas del modelo, puede no advertir que la etapa de DPO ya ha fijado preferencias a favor de unas variantes del inglés. Hay que examinar la propia actualización: comparar pares con el mismo contenido y tener en cuenta la probabilidad inicial de cada réplica.

Para quienes construyen datos de preferencias, la lección es esta: conviene comprobar no solo si el modelo se adapta, sino cuánto. Es imprescindible una prueba con usuarios de inglés estándar; de lo contrario, la mejora para un grupo se convertirá en un empeoramiento para otro. Una prueba con rasgos ausentes del entrenamiento muestra si el modelo aprendió una adaptación general o memorizó un conjunto de construcciones concretas.

El código está publicado en GitHub, en el repositorio kouzhizhuo/cap-accommodation. Por ahora el método se ha probado en un solo modelo totalmente abierto, pero la auditoría de 10 familias ofrece un protocolo listo que se puede aplicar a cualquier otro.