Agentes de LLM não aprendem as normas de uma comunidade apenas pela interação, mostra estudo

Pesquisadores publicaram no arXiv o preprint 2610.10906 sobre o que chamam de competência normativa de modelos de linguagem: a capacidade de determinar, apenas pela interação, quais normas uma comunidade de fato sustenta, sem recorrer ao que o modelo memorizou no treinamento. O resultado para os sistemas atuais é desanimador. Em um ambiente de teste, os agentes de LLM básicos não aprenderam as regras, mesmo quando isso aumentava diretamente a sua precisão. Os autores afirmam que este é o primeiro trabalho a formalizar e medir essa competência em LLMs. O resumo não traz métricas numéricas, então o que segue se limita a conclusões qualitativas.

Como o experimento foi montado

As normas das comunidades humanas são numerosas, mudam rápido e muitas vezes são arbitrárias. Exemplos citados no artigo: código de vestimenta e convenções de linguagem. O cumprimento dessas normas é garantido por sanções aplicadas pela própria comunidade. Não dá para aprender esse tipo de coisa com antecedência: as regras precisam ser lidas no próprio contexto.

Para separar essa capacidade do conhecimento adquirido no pré-treinamento, os autores construíram um ambiente de debates multiagente. O acesso à discussão é regulado por normas sintéticas, inventadas especialmente para o teste. O modelo não poderia ter encontrado essas normas no corpus de treinamento, e não havia nada que lhe soprasse a resposta. O agente vê quem é admitido nos debates e quem não é, e precisa inferir a regra por conta própria.

O que os resultados mostraram

• Os agentes de LLM básicos não aprenderam as normas, embora conhecer a regra melhorasse sua precisão nos debates.
• Os autores testaram "módulos normativos", isto é, componentes arquiteturais para inferir normas. O cumprimento das regras dependeu fortemente do estilo da norma e do modelo em que o módulo roda. Isso indica baixa capacidade de generalização da abordagem.
• Quando, ao lado da norma verdadeira, surgiam traços de comportamento aleatórios e não normativos, os agentes copiavam tudo indiscriminadamente. Os autores chamam isso de unselective attribution failure: o modelo não distingue uma regra obrigatória de um hábito alheio.
• O efeito persistiu mesmo quando a imitação excessiva era explicitamente penalizada.

A principal conclusão dos autores: os modelos atuais imitam bem o comportamento, mas distinguem mal o que, entre o que observam, é sustentado por coerção social e o que simplesmente coincidiu.

Por que isso importa para quem desenvolve agentes

A maioria dos métodos de alinhamento fixa um retrato dos valores e das regras no momento do treinamento ou do ajuste. Um agente autônomo que atua em um chat corporativo, em uma comunidade de desenvolvedores ou em um fórum se depara com normas locais: formato das mensagens, tom aceitável, proibições tácitas. Essas normas mudam mais rápido do que saem novas versões dos modelos.

O problema da cópia de ruído é particularmente incômodo. Se um moderador costuma encerrar as mensagens sempre com a mesma frase, o agente pode adotá-la como obrigatória e, ao mesmo tempo, deixar passar uma proibição real. As penalizações pela imitação excessiva não ajudaram no teste, por isso a engenharia de prompts não parece uma solução confiável nesse caso.

As limitações também importam. Trata-se de um preprint sem revisão por pares, o ambiente é sintético, e o resumo não informa nem os modelos específicos nem a magnitude dos efeitos. Ainda é cedo para transpor as conclusões para comunidades reais sem verificação.

O que fazer na prática

Equipes que constroem agentes para atuar entre pessoas ganham alguns pontos de referência:

• Não esperar que o agente infira sozinho as regras locais a partir da reação das pessoas ao redor. Vale escrever as normas críticas de forma explícita e atualizá-las manualmente.
• Testar o agente com normas sintéticas que não estão nos dados de treinamento. Assim fica claro o que ele aprendeu no momento e o que apenas lembrou.
• Verificar o quanto o resultado depende do modelo em que roda o componente de inferência de normas. Se a qualidade oscila muito ao trocar de modelo, a solução é frágil.
• Medir separadamente a fatia de imitação "excessiva": quais traços de comportamento o agente copia sem necessidade.

Enquanto a competência normativa não se tornar uma propriedade mensurável dos modelos, o comportamento dos agentes em comunidades reais continua sendo uma zona de risco. O trabalho oferece, ao menos, um método de medição para ela.