Artificial Analysis запустила AA-PersonalityBench: 36 моделей, 30 черт, 900 вопросов

Artificial Analysis выпустила AA-PersonalityBench, бенчмарк, который сравнивает модели по манере общения, а не по точности. Каждая из 36 моделей отвечает на 900 вопросов: 30 личностных черт по 30 вопросов на каждую. Ответы попарно оценивает панель LLM-судей, а результаты сворачиваются в 8 индексов: Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination и Slop. Параллельно программно измеряются 21 характеристика оформления: длина, структура, пунктуация и выделения.

Как устроен тест

Идея простая. Две модели могут дать одинаково верный ответ, но пользоваться ими будет по-разному. Авторы измеряют, как модель пишет по умолчанию: каждый вопрос уходит одним пользовательским сообщением, без системного промпта.

Черты сгруппированы по индексам. Например, Expressiveness включает Lexically Varied, Eloquent, Literate, Natural Sounding и Metaphorical. Warmth включает Friendly, Humorous, Sincere и Emotionally Intelligent. Conviction включает Direct, Confident, Opinionated и Constructive Pushback. Отдельный индекс Slop состоит из одной черты, Slop. В Transparency входит Sycophantic, причём с инверсией: чем льстивее модель, тем ниже этот индекс.

Судья видит черту, её определение, вопрос и два анонимных ответа. Порядок случайный, чтобы исключить позиционное смещение. Вердикт: A, B или ничья. Каждое сравнение оценивает один судья из панели, нагрузка на модели балансируется. По вердиктам считается Elo с якорной моделью на 1000, а доверительные интервалы 95% получают пересэмплированием. Если интервалы пересекаются, различие нельзя считать доказанным. Индекс — это среднее z-оценок черт, переведённое в перцентиль от 1 до 100.

Полный набор вопросов закрыт ради защиты от контаминации. Публично доступны по два примера на черту.

Что показали первые цифры

Авторы подчёркивают: черта может быть плюсом, минусом или нейтральной в зависимости от вкуса, поэтому бенчмарк измеряет силу проявления, а не качество.

По черте Friendly лидирует Claude Opus 5.5 с Elo 1077 (интервал 1049–1107, перцентиль 69). За ним идут Gemini 4 Argon (1059), Claude Fable 5.1 (1047), Claude Sonnet 5.5 (1041) и GPT-6 Astra (1001). У Opus и Gemini интервалы пересекаются, так что уверенного разрыва между ними нет.

По индексу Warmth первым идёт Claude Fable 5.1 (94), затем Opus 5.5 (80), Gemini 4 Argon (71), GPT-6 Astra (68) и Sonnet 5.5 (65). Профили различаются: у Gemini высокая Humorous (z +1.8), но Sincere ниже нуля (−0.6). У Fable сильнее всего Sincere (+1.8).

Самые заметные расхождения видны в метриках оформления. Средние значения на ответ по всем 900 вопросам:

• Длина в словах: Gemini 4 Argon 790, Claude Fable 5.1 576, Opus 5.5 571, Sonnet 5.5 450, GPT-6 Astra 352. • Списки: Gemini 3.9, Opus 2.9, Sonnet 2.8, Fable 1.7, Astra 1.5. • Двоеточия: Gemini 14.5, Opus 7.4, Fable 7.1, Sonnet 5.4, Astra 5.2. • Жирный текст: Gemini 17.2, Opus 11.8, Sonnet 10.0, Astra 8.8, Fable 8.7.

Gemini 4 Argon пишет вдвое длиннее GPT-6 Astra и плотнее всех размечает текст. GPT-6 Astra наиболее лаконична.

Семейства по характеру

Отдельный раздел группирует модели иерархической кластеризацией по корреляции 30 trait-Elo z-оценок. Получаются два крупных кластера. В первом GPT-6 Luna, GPT-6.1 Sol и GPT-6 Astra с Grok 4.7, а рядом Claude, GLM-5.3 и Kimi K3. Во втором Muse Spark Open, Muse Wonder, Gemini 3.8 Flash, Gemini 4 Argon, Mistral Large 4 Preview, семейство Qwen3.8, MiMo-V2.6-Pro и другие.

Ближайшие пары предсказуемы: Opus 5.5 и Sonnet 5.5, GPT-6.1 Sol и GPT-6 Astra, GLM-5.3 и Kimi K3. Любопытнее, что Grok 4.7 по характеру ближе к линейке GPT-6, чем к кому-либо ещё. Claude Fable 5.1 оказался в одной ветке с GLM и Kimi.

Как использовать результаты

Бенчмарк полезен при выборе модели под конкретный продукт. Для клиентской поддержки или коуча смотрите на Warmth и Sycophantic, для аналитических отчётов на Informativeness и Transparency. Если нужен короткий ответ без разметки, метрики длины и списков скажут больше любого рейтинга интеллекта.

Учтите ограничения. Оценщики сами LLM, поэтому их предпочтения могут влиять на итог. Часть интервалов перекрывается, а закрытый набор вопросов нельзя перепроверить. Тест проводится без системного промпта, так что в продукте с настроенным тоном картина будет другой. Актуальные таблицы Artificial Analysis публикует на странице бенчмарка.