Pesquisadores ensinam LLMs a se adaptar ao dialeto do usuário: método CAP e 10 famílias de modelos

Modelos de chat respondem quase sempre em inglês padrão, qualquer que seja o dialeto usado pelo interlocutor. Pesquisadores investigaram o que de fato acontece dentro do pós-treinamento. Eles pegaram 10 famílias abertas de modelos e analisaram cada etapa: supervised fine-tuning, DPO e aprendizado por reforço. A conclusão: respostas aparentemente idênticas escondem um tratamento desigual entre dialetos. Na atualização do DPO, a ortografia britânica e a australiana recebem preferência sobre o AAE (African American English) e o singlish, nas 10 famílias. Para corrigir isso, os autores propõem o CAP, calibrated accommodation pairs, um conjunto de dados de preferências.

O que aparece na atualização, e não na resposta

A auditoria convencional olha para a saída do modelo. O usuário escreve em um dialeto, o modelo responde em inglês padrão, e o quadro parece uniforme: todos são padronizados do mesmo jeito. Os autores mostram que isso não basta. O pós-treinamento, em geral, padroniza as respostas diante de qualquer sinal informal, mas isso é só a superfície.

Para ir mais fundo, eles analisaram o que cada atualização realmente prefere. Para isso, usaram duas respostas com o mesmo conteúdo: uma que corresponde ao dialeto do usuário e outra que não. Depois, compararam para que lado o modelo se desloca, com ajuste pela probabilidade de cada resposta antes do treinamento. Sem essa calibração, é fácil confundir "o modelo já costuma escrever assim" com "o treinamento empurra o modelo a escrever assim".

Depois do ajuste, o quadro diverge do que se vê na saída. A atualização do DPO prefere a correspondência com a escrita britânica e a australiana, mas não tende a corresponder ao AAE e ao singlish. O resultado se repetiu nas 10 famílias. Ao mesmo tempo, os próprios modelos são capazes de produzir marcas do AAE quando solicitados. Ou seja, a capacidade existe, mas o treinamento por preferências não a incentiva por padrão.

CAP: pares que recompensam a densidade de dialeto

O CAP é construído como dados de preferência com duas condições. O modelo é recompensado por acompanhar a densidade de dialeto do usuário. Para quem escreve em inglês padrão, a resposta continua em inglês padrão. A segunda parte é importante: sem ela, o método viraria um modo "dialetal" universal que ninguém pediu.

O teste em um modelo totalmente aberto trouxe estes resultados:

• a convergência aumenta em marcas dialetais com as quais o CAP não foi treinado;
• nos usuários de inglês padrão, não houve aumento perceptível de dialeto;
• o seguimento de instruções não é prejudicado;
• pares unilaterais dão um ganho comparável, mas apenas por exagero: o modelo vai além do estilo do usuário e impõe o dialeto.

Por que os pares unilaterais são piores

O jeito mais simples de fazer um modelo responder em dialeto é montar pares em que a resposta dialetal sempre vence. A métrica de convergência melhora. Mas o modelo passa a falar de forma "mais dialetal" que o próprio usuário e aplica isso onde não deveria. Os autores chamam esse efeito de overshooting. Assim, um número de convergência sem controle da densidade engana. Os pares calibrados eliminam o viés: a recompensa está ligada à quantidade de dialeto que o usuário usou, e não à simples presença de marcas dialetais.

O que mudar no pipeline de avaliação

A principal conclusão prática diz respeito às auditorias. Se a equipe verifica apenas as respostas do modelo, pode deixar passar que a etapa de DPO já consolidou preferências a favor de certas variantes do inglês. É preciso olhar para a própria atualização: comparar pares com o mesmo conteúdo e levar em conta a probabilidade original de cada resposta.

Para quem monta dados de preferência, a recomendação é verificar não só se o modelo se adapta, mas também em que medida. O teste com usuários de inglês padrão é indispensável; do contrário, a melhora para um grupo pode virar piora para outro. O teste com marcas ausentes do treinamento mostra se o modelo aprendeu uma adaptação geral ou apenas decorou um conjunto de construções específicas.

O código foi publicado no GitHub, no repositório kouzhizhuo/cap-accommodation. Por enquanto, o método foi validado em um único modelo totalmente aberto, mas a auditoria das 10 famílias oferece um protocolo pronto que pode ser executado em qualquer outro.