Artificial Analysis lance AA-PersonalityBench : 36 modèles, 30 traits, 900 questions

Artificial Analysis a publié AA-PersonalityBench, un benchmark qui compare les modèles sur leur manière de communiquer, et non sur leur exactitude. Chacun des 36 modèles répond à 900 questions : 30 traits de personnalité, avec 30 questions par trait. Un panel de LLM-juges évalue les réponses deux à deux, puis les résultats sont regroupés en 8 indices : Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination et Slop. En parallèle, 21 caractéristiques de mise en forme sont mesurées automatiquement : longueur, structure, ponctuation et mises en évidence.

Comment fonctionne le test

L'idée est simple. Deux modèles peuvent donner une réponse tout aussi juste, mais s'utiliseront très différemment. Les auteurs mesurent la façon dont un modèle écrit par défaut : chaque question est envoyée dans un seul message utilisateur, sans prompt système.

Les traits sont regroupés par indice. Expressiveness, par exemple, comprend Lexically Varied, Eloquent, Literate, Natural Sounding et Metaphorical. Warmth comprend Friendly, Humorous, Sincere et Emotionally Intelligent. Conviction comprend Direct, Confident, Opinionated et Constructive Pushback. L'indice Slop, lui, ne repose que sur un seul trait, Slop. Transparency inclut Sycophantic, mais inversé : plus un modèle est flatteur, plus cet indice baisse.

Le juge voit le trait, sa définition, la question et deux réponses anonymes. L'ordre est aléatoire, afin d'écarter le biais de position. Le verdict est A, B ou égalité. Chaque comparaison est évaluée par un seul juge du panel, et la charge est équilibrée entre les modèles. Un score Elo est calculé à partir des verdicts, avec un modèle d'ancrage fixé à 1000, et les intervalles de confiance à 95% sont obtenus par rééchantillonnage. Lorsque les intervalles se chevauchent, la différence ne peut pas être considérée comme établie. Un indice est la moyenne des z-scores des traits, convertie en percentile de 1 à 100.

Le jeu complet de questions est fermé, pour se protéger de la contamination. Seuls deux exemples par trait sont publics.

Ce que montrent les premiers chiffres

Les auteurs le soulignent : selon les goûts, un trait peut être un atout, un défaut ou neutre. Le benchmark mesure donc l'intensité avec laquelle il s'exprime, pas la qualité.

Sur le trait Friendly, Claude Opus 5.5 domine avec un Elo de 1077 (intervalle 1049–1107, percentile 69). Il est suivi de Gemini 4 Argon (1059), Claude Fable 5.1 (1047), Claude Sonnet 5.5 (1041) et GPT-6 Astra (1001). Les intervalles d'Opus et de Gemini se chevauchent : l'écart entre eux n'est donc pas établi avec certitude.

Sur l'indice Warmth, Claude Fable 5.1 arrive en tête (94), devant Opus 5.5 (80), Gemini 4 Argon (71), GPT-6 Astra (68) et Sonnet 5.5 (65). Les profils diffèrent : Gemini obtient un score élevé sur Humorous (z +1.8), mais négatif sur Sincere (−0.6). Chez Fable, Sincere est le point le plus fort (+1.8).

Les écarts les plus marqués concernent les métriques de mise en forme. Valeurs moyennes par réponse sur l'ensemble des 900 questions :

• Longueur en mots : Gemini 4 Argon 790, Claude Fable 5.1 576, Opus 5.5 571, Sonnet 5.5 450, GPT-6 Astra 352. • Listes : Gemini 3.9, Opus 2.9, Sonnet 2.8, Fable 1.7, Astra 1.5. • Deux-points : Gemini 14.5, Opus 7.4, Fable 7.1, Sonnet 5.4, Astra 5.2. • Texte en gras : Gemini 17.2, Opus 11.8, Sonnet 10.0, Astra 8.8, Fable 8.7.

Gemini 4 Argon écrit deux fois plus long que GPT-6 Astra et balise son texte plus que tous les autres. GPT-6 Astra est la plus concise.

Des familles par tempérament

Une section distincte regroupe les modèles par clustering hiérarchique, à partir de la corrélation entre les 30 z-scores d'Elo par trait. Deux grands clusters se dégagent. Le premier réunit GPT-6 Luna, GPT-6.1 Sol et GPT-6 Astra avec Grok 4.7, et, à proximité, Claude, GLM-5.3 et Kimi K3. Le second comprend Muse Spark Open, Muse Wonder, Gemini 3.8 Flash, Gemini 4 Argon, Mistral Large 4 Preview, la famille Qwen3.8, MiMo-V2.6-Pro et d'autres.

Les paires les plus proches sont prévisibles : Opus 5.5 et Sonnet 5.5, GPT-6.1 Sol et GPT-6 Astra, GLM-5.3 et Kimi K3. Plus surprenant, Grok 4.7 est, par son caractère, plus proche de la gamme GPT-6 que de tout autre modèle. Claude Fable 5.1 se retrouve sur la même branche que GLM et Kimi.

Comment exploiter les résultats

Le benchmark est utile pour choisir un modèle adapté à un produit précis. Pour un support client ou un coach, regardez Warmth et Sycophantic ; pour des rapports analytiques, Informativeness et Transparency. Si vous voulez une réponse courte sans balisage, les métriques de longueur et de listes en diront plus que n'importe quel classement d'intelligence.

Tenez compte des limites. Les évaluateurs sont eux-mêmes des LLM, et leurs préférences peuvent donc influencer le résultat. Une partie des intervalles se chevauche, et le jeu de questions étant fermé, il est impossible de le revérifier. Le test est mené sans prompt système : dans un produit au ton configuré, le tableau sera différent. Artificial Analysis publie les tableaux à jour sur la page du benchmark.