Oito LLMs perdem 35–46% da calibragem de estratégia de resposta na geração livre

Pesquisadores da Meta Superintelligence Labs e da University of Southern California testaram oito modelos de linguagem, fechados e abertos, em uma habilidade de que todo chatbot com memória precisa. Um assistente pode lembrar corretamente que o usuário gosta de comida salgada e continuar mencionando isso, embora ele já tenha contado que passou a preferir doces. Os autores chamam a habilidade necessária de personalização adaptativa sob incerteza epistêmica: a estratégia de resposta deve mudar junto com a confiabilidade da preferência armazenada.

Para medir isso, eles usam a calibragem de estratégia, ou seja, a proporção de respostas em que o modelo escolhe ou gera uma tática admissível para o estado atual da preferência. Quando os modelos escolhem entre opções prontas, eles se saem bem. Na geração livre, a calibragem de estratégia cai 35–46%.

Os autores chamam isso de lacuna entre reconhecimento e geração.

Três estados da preferência e cinco estratégias

Os autores identificam três estados possíveis para o conhecimento sobre o usuário. A preferência pode estar estabelecida (declarada de forma explícita e não contestada), incerta (contexto incompleto ou ambíguo) ou revisada (novas informações anularam as antigas). Cada estado pede um comportamento: agir diretamente, perguntar sobre o que falta ou corrigir o rumo.

O conjunto tem cinco estratégias: agir conforme a preferência conhecida, pedir a informação que falta, verificar se a preferência ainda vale, oferecer opções sem impor uma escolha e atualizar o comportamento após uma contestação.

Antes de montar o teste, a equipe fez uma pesquisa em inglês, espanhol, português, hindi e indonésio. Três anotadores avaliaram cada um dos 500 diálogos, o que resultou em cerca de 1500 avaliações. Em cada estado, a grande maioria das pessoas escolheu um pequeno conjunto de estratégias. Para verificar isso, os autores testaram todas as 15 formas de dividir as cinco estratégias em dois grupos e compararam cada divisão com a escolha dos humanos por meio de um teste de aderência. Em cada estado, uma divisão se ajustou melhor que as demais. Ela passou a ser a lista de estratégias admissíveis.

Como o benchmark foi construído

O teste foi montado por um pipeline de três papéis, executado por várias LLMs. A base são 250 personas do PersonaHub, escolhidas pelo método farthest-point sampling (seleção dos pontos mais distantes entre si). Cada persona recebeu preferências de 20 áreas da vida. Em seguida, foram planejados diálogos de 10 a 14 sessões, com transições programadas da preferência entre os três estados. Um modelo-filtro separado verificou a coerência do diálogo e a correção dos rótulos.

O resultado foi um conjunto de 25 006 falas em 2 939 diálogos de várias sessões, em cinco idiomas. Cada fala vem com quatro candidatos de resposta: dois com estratégias admissíveis e duas «armadilhas». As armadilhas se distribuem em sete tipos de erro: personalização excessiva, excesso de autoridade epistêmica, desatualização, descompasso com a necessidade, perguntas em excesso, descompasso de estilo e ausência de perguntas necessárias.

O benchmark também foi validado por humanos. Os anotadores avaliaram 500 diálogos em cinco critérios: coerência, clareza do estado epistêmico, correção do rótulo de estratégia, tipo de armadilha e aceitabilidade da resposta. A concordância dos anotadores com o júri de LLMs foi substancial. A precisão dos humanos ao escolher a resposta admissível entre as opções foi de 92%.

Por que os modelos erram e o que ajuda

O erro é sistemático. Por padrão, os modelos seguem o princípio de «usar primeiro o que já se sabe»: confiam demais nas preferências anteriores, independentemente da confiabilidade delas. Ao mesmo tempo, no teste de múltipla escolha, eles em geral identificam corretamente a estratégia necessária.

Os autores verificaram se dicas nos prompts poderiam corrigir o problema. Passar o contexto das preferências no prompt não fechou a lacuna. A sondagem das ativações internas mostrou que os modelos codificam o estado epistêmico nas representações ocultas. Porém, esse conhecimento não orienta a escolha da estratégia durante a geração.

Então os pesquisadores treinaram os modelos com uma função de recompensa que aproxima a estratégia de resposta prevista da escolha dos humanos para aquele estado de preferência. Esse treinamento reduziu em um terço a lacuna de aceitabilidade para novas personas e estilos de diálogo desconhecidos. O resultado é em comparação com o fine-tuning padrão.

A conclusão prática para quem desenvolve assistentes com memória longa: uma boa busca no histórico não basta. É preciso verificar separadamente se o sistema sabe perguntar de novo, reconfirmar ou mudar de tática quando os dados sobre o usuário ficam desatualizados. O código do projeto está publicado no GitHub.