Experimento com LLM mostra como a «personalidade» de um modelo surge no espaço latente

Em um novo relatório sobre um experimento com arquitetura modular de LLM, o autor mostrou que um vetor latente separado pode armazenar não só o estilo, mas também características estáveis da forma de se expressar. Essa camada é tratada como o embrião do que se poderia chamar de «embedding de personalidade» do modelo.

O problema da resposta média

Em um modelo autorregressivo clássico, o próximo passo da geração é uma distribuição de probabilidade sobre o vocabulário. Por isso, uma mesma frase pode ter muitas continuações válidas, e a temperatura apenas muda a forma de escolher dentro de uma distribuição já aprendida.

No esquema modular descrito pelo autor, a situação é outra: o núcleo deve produzir um único próximo vetor latente, que depois é decodificado em texto. Por isso, é preciso comprimir várias variantes possíveis de resposta em uma única representação compacta.

Na prática, isso leva a uma média. O modelo deixa de escolher uma opção marcante e concreta e passa a optar pela continuação «média», em que entonação, caráter e jeito de explicar ficam suavizados. É aí que surge a ideia de separar o conteúdo da forma de apresentá-lo. Se a semântica define o que o modelo diz, um latente de estilo separado deve definir como isso é dito: de modo seco ou vivo, com confiança ou cautela, passo a passo ou em fluxo livre.

Como o experimento foi montado

Para testar a hipótese, o autor treinou o modelo com textos de usuários reais para que ele extraia um vetor compacto que descreve não o significado, mas uma maneira de falar estável. Esse vetor pode então ser passado ao modelo principal via cross-attention. No treinamento, o estilo é tirado da resposta-alvo, enquanto na inferência ele pode ser definido separadamente. Na prática, em vez de um único botão, a temperatura, surge um conjunto de reguladores mais precisos do comportamento do modelo.

O pesquisador destaca que a tarefa não era reconhecer um autor específico. O objetivo era outro: obter um espaço de características contínuo, em que textos de pessoas com maneira de falar parecida fiquem próximos, mesmo escrevendo sobre assuntos diferentes. Nesse espaço, começaram a aparecer alguns eixos controláveis:

• formalidade versus coloquialidade
• confiança versus cautela
• estruturado versus espontâneo
• abordagem «de engenharia» versus mais humanista
• tom neutro versus tom emocionalmente carregado

O que as métricas mostraram

Segundo o autor, em um benchmark sintético o modelo já distingue com boa segurança contrastes de estilo individuais. Formalidade versus coloquialidade é detectada com balanced accuracy de 0.93, confiança versus insegurança com 0.94, apresentação empática versus fria com 0.93, e exposição livre versus passo a passo com 0.92. No modo misto, com muitos fatores ao mesmo tempo, os resultados são naturalmente menores, mas ainda significativos: a maneira lexical e o semantic bias ficam em 0.85 e 0.84, as características de idade em 0.72, a empatia em 0.73 e a estrutura em 0.70.

Outro ponto interessante é que o espaço de características não desmorona ao combinar vários deslocamentos de estilo. A concordância média entre a composição prevista e a real desses deslocamentos chegou, segundo o autor, a cos = 0.97. Isso significa que o modelo pode se mover ao mesmo tempo, por exemplo, em direção a uma resposta mais formal, mais confiante e mais técnica.

O trabalho, porém, não está concluído: o latente ainda tem um viés notável quanto ao comprimento do texto, e sinais sociais como idade, gênero ou profissão ainda parecem mais um perfil probabilístico do que um reconhecimento confiável.

«O estilo realmente vive no latente».

O que isso significa

Para as equipes de produto, isso parece uma passagem do ajuste grosseiro da temperatura para um controle mais preciso do jeito de responder: formal, suave, técnico, explicativo. Se a abordagem escalar, os LLMs poderão não apenas gerar texto, mas manter de forma estável um caráter de comunicação definido, sem copiar o conteúdo de um autor específico. É isso que torna a ideia de «embedding de personalidade» uma hipótese de engenharia viável, e não uma metáfora.