Artificial Analysis lança o AA-PersonalityBench: 36 modelos, 30 traços, 900 perguntas

A Artificial Analysis lançou o AA-PersonalityBench, um benchmark que compara modelos pela maneira de se comunicar, e não pela precisão. Cada um dos 36 modelos responde a 900 perguntas: 30 traços de personalidade, com 30 perguntas por traço. Um painel de LLMs-juízes avalia as respostas em pares, e os resultados são agregados em 8 índices: Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination e Slop. Em paralelo, o teste mede por código 21 características de formatação: tamanho, estrutura, pontuação e destaques.

Como funciona o teste

A ideia é simples. Dois modelos podem dar respostas igualmente corretas, mas a experiência de usá-los será diferente. Os autores medem como o modelo escreve por padrão: cada pergunta é enviada em uma única mensagem de usuário, sem prompt de sistema.

Os traços são agrupados por índice. Por exemplo, Expressiveness inclui Lexically Varied, Eloquent, Literate, Natural Sounding e Metaphorical. Warmth inclui Friendly, Humorous, Sincere e Emotionally Intelligent. Conviction inclui Direct, Confident, Opinionated e Constructive Pushback. O índice Slop é formado por um único traço, também chamado Slop. Em Transparency entra o traço Sycophantic, com escala invertida: quanto mais bajulador o modelo, menor o índice.

O juiz recebe o traço, sua definição, a pergunta e duas respostas anônimas. A ordem é aleatória, para eliminar o viés de posição. O veredito pode ser A, B ou empate. Cada comparação é avaliada por um único juiz do painel, e a carga entre os modelos é balanceada. A partir dos vereditos, calcula-se o Elo com um modelo-âncora fixado em 1000, e os intervalos de confiança de 95% saem de reamostragem. Se os intervalos se sobrepõem, não é possível considerar a diferença comprovada. O índice é a média dos z-scores dos traços, convertida em percentil de 1 a 100.

O conjunto completo de perguntas é fechado, para proteger o teste contra contaminação. Apenas dois exemplos por traço são públicos.

O que mostram os primeiros números

Os autores ressaltam que um traço pode ser positivo, negativo ou neutro conforme o gosto de cada um. Por isso, o benchmark mede a intensidade da manifestação, e não a qualidade.

No traço Friendly, o líder é o Claude Opus 5.5, com Elo 1077 (intervalo de 1049 a 1107, percentil 69). Na sequência vêm Gemini 4 Argon (1059), Claude Fable 5.1 (1047), Claude Sonnet 5.5 (1041) e GPT-6 Astra (1001). Os intervalos de Opus e Gemini se sobrepõem, então não há uma distância segura entre eles.

No índice Warmth, o primeiro lugar é do Claude Fable 5.1 (94), seguido por Opus 5.5 (80), Gemini 4 Argon (71), GPT-6 Astra (68) e Sonnet 5.5 (65). Os perfis diferem: o Gemini tem Humorous alto (z +1.8), mas Sincere abaixo de zero (−0.6). No Fable, o ponto mais forte é Sincere (+1.8).

As divergências mais visíveis aparecem nas métricas de formatação. Médias por resposta nas 900 perguntas:

• Tamanho em palavras: Gemini 4 Argon 790, Claude Fable 5.1 576, Opus 5.5 571, Sonnet 5.5 450, GPT-6 Astra 352. • Listas: Gemini 3.9, Opus 2.9, Sonnet 2.8, Fable 1.7, Astra 1.5. • Dois-pontos: Gemini 14.5, Opus 7.4, Fable 7.1, Sonnet 5.4, Astra 5.2. • Texto em negrito: Gemini 17.2, Opus 11.8, Sonnet 10.0, Astra 8.8, Fable 8.7.

O Gemini 4 Argon escreve respostas com o dobro do tamanho das do GPT-6 Astra e é o que mais marca o texto com formatação. O GPT-6 Astra é o mais conciso.

Famílias por temperamento

Uma seção à parte agrupa os modelos por clusterização hierárquica, com base na correlação dos z-scores de Elo dos 30 traços. O resultado são dois grandes clusters. No primeiro estão GPT-6 Luna, GPT-6.1 Sol e GPT-6 Astra com o Grok 4.7, e ao lado deles Claude, GLM-5.3 e Kimi K3. No segundo estão Muse Spark Open, Muse Wonder, Gemini 3.8 Flash, Gemini 4 Argon, Mistral Large 4 Preview, a família Qwen3.8, MiMo-V2.6-Pro e outros.

Os pares mais próximos são previsíveis: Opus 5.5 e Sonnet 5.5, GPT-6.1 Sol e GPT-6 Astra, GLM-5.3 e Kimi K3. Mais curioso é que o Grok 4.7 se aproxima, em temperamento, da linha GPT-6 mais do que de qualquer outro modelo. Já o Claude Fable 5.1 ficou no mesmo ramo que GLM e Kimi.

Como usar os resultados

O benchmark é útil na hora de escolher um modelo para um produto específico. Para atendimento ao cliente ou coaching, vale olhar Warmth e Sycophantic; para relatórios analíticos, Informativeness e Transparency. Se você precisa de uma resposta curta e sem marcação, as métricas de tamanho e de listas dizem mais do que qualquer ranking de inteligência.

É preciso considerar as limitações. Os avaliadores são, eles próprios, LLMs, então suas preferências podem influenciar o resultado. Parte dos intervalos se sobrepõe, e o conjunto fechado de perguntas não pode ser reverificado. O teste é feito sem prompt de sistema, portanto, em um produto com tom configurado, o quadro será outro. A Artificial Analysis publica as tabelas atualizadas na página do benchmark.