Artificial Analysis lanza AA-PersonalityBench: 36 modelos, 30 rasgos, 900 preguntas

Artificial Analysis ha lanzado AA-PersonalityBench, un benchmark que compara los modelos por su forma de comunicarse, no por su precisión. Cada uno de los 36 modelos responde a 900 preguntas: 30 rasgos de personalidad, con 30 preguntas por rasgo. Un panel de jueces LLM evalúa las respuestas por pares y los resultados se agrupan en 8 índices: Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination y Slop. En paralelo, se miden por programa 21 características de formato: longitud, estructura, puntuación y énfasis.

Cómo funciona la prueba

La idea es sencilla. Dos modelos pueden dar una respuesta igual de correcta, pero usarlos será distinto. Los autores miden cómo escribe un modelo por defecto: cada pregunta se envía como un único mensaje de usuario, sin prompt de sistema.

Los rasgos se agrupan por índices. Por ejemplo, Expressiveness incluye Lexically Varied, Eloquent, Literate, Natural Sounding y Metaphorical. Warmth incluye Friendly, Humorous, Sincere y Emotionally Intelligent. Conviction incluye Direct, Confident, Opinionated y Constructive Pushback. El índice Slop consta de un solo rasgo, Slop. En Transparency entra Sycophantic, con la escala invertida: cuanto más adulador es el modelo, más bajo es este índice.

El juez ve el rasgo, su definición, la pregunta y dos respuestas anónimas. El orden es aleatorio, para eliminar el sesgo de posición. El veredicto puede ser A, B o empate. Cada comparación la evalúa un solo juez del panel, y la carga entre modelos se equilibra. Con los veredictos se calcula un Elo con un modelo ancla fijado en 1000, y los intervalos de confianza del 95% se obtienen por remuestreo. Si los intervalos se solapan, la diferencia no puede considerarse demostrada. Cada índice es la media de las puntuaciones z de los rasgos, convertida a un percentil de 1 a 100.

El conjunto completo de preguntas es privado, como protección contra la contaminación. Solo hay dos ejemplos públicos por rasgo.

Qué muestran las primeras cifras

Los autores subrayan que un rasgo puede ser positivo, negativo o neutro según el gusto de cada uno, por lo que el benchmark mide la intensidad con que se manifiesta, no la calidad.

En el rasgo Friendly lidera Claude Opus 5.5 con un Elo de 1077 (intervalo 1049–1107, percentil 69). Le siguen Gemini 4 Argon (1059), Claude Fable 5.1 (1047), Claude Sonnet 5.5 (1041) y GPT-6 Astra (1001). Los intervalos de Opus y Gemini se solapan, así que no hay una brecha segura entre ellos.

En el índice Warmth va primero Claude Fable 5.1 (94), seguido de Opus 5.5 (80), Gemini 4 Argon (71), GPT-6 Astra (68) y Sonnet 5.5 (65). Los perfiles difieren: Gemini tiene un Humorous alto (z +1.8), pero un Sincere por debajo de cero (−0.6). En Fable, el rasgo más fuerte es Sincere (+1.8).

Las diferencias más llamativas aparecen en las métricas de formato. Valores medios por respuesta en las 900 preguntas:

• Longitud en palabras: Gemini 4 Argon 790, Claude Fable 5.1 576, Opus 5.5 571, Sonnet 5.5 450, GPT-6 Astra 352. • Listas: Gemini 3.9, Opus 2.9, Sonnet 2.8, Fable 1.7, Astra 1.5. • Dos puntos: Gemini 14.5, Opus 7.4, Fable 7.1, Sonnet 5.4, Astra 5.2. • Negrita: Gemini 17.2, Opus 11.8, Sonnet 10.0, Astra 8.8, Fable 8.7.

Gemini 4 Argon escribe respuestas el doble de largas que GPT-6 Astra y es el que más marca el texto. GPT-6 Astra es la más concisa.

Familias por carácter

Una sección aparte agrupa los modelos mediante clustering jerárquico según la correlación de sus 30 puntuaciones z de Elo por rasgo. Resultan dos grandes clusters. En el primero están GPT-6 Luna, GPT-6.1 Sol y GPT-6 Astra junto con Grok 4.7, y cerca de ellos Claude, GLM-5.3 y Kimi K3. En el segundo, Muse Spark Open, Muse Wonder, Gemini 3.8 Flash, Gemini 4 Argon, Mistral Large 4 Preview, la familia Qwen3.8, MiMo-V2.6-Pro y otros.

Las parejas más cercanas son previsibles: Opus 5.5 y Sonnet 5.5, GPT-6.1 Sol y GPT-6 Astra, GLM-5.3 y Kimi K3. Más curioso es que Grok 4.7 se parece más, por carácter, a la línea GPT-6 que a cualquier otro modelo. Claude Fable 5.1 quedó en la misma rama que GLM y Kimi.

Cómo usar los resultados

El benchmark resulta útil para elegir un modelo para un producto concreto. Para atención al cliente o un coach, conviene fijarse en Warmth y Sycophantic; para informes analíticos, en Informativeness y Transparency. Si se necesita una respuesta corta y sin formato, las métricas de longitud y listas dirán más que cualquier ranking de inteligencia.

Hay que tener en cuenta las limitaciones. Los evaluadores son a su vez LLM, por lo que sus preferencias pueden influir en el resultado. Parte de los intervalos se solapan, y el conjunto cerrado de preguntas no puede verificarse de forma independiente. La prueba se realiza sin prompt de sistema, así que en un producto con un tono configurado el panorama será distinto. Artificial Analysis publica las tablas actualizadas en la página del benchmark.