Artificial Analysis выпустила AA-Omniscience v1.1: Net Score в среднем снизился на 2 пункта

Artificial Analysis выпустила AA-Omniscience v1.1 — обновлённую версию бенчмарка, который проверяет фактические знания языковых моделей и их склонность к галлюцинациям. Итоговая метрика называется Net Score: по методике бенчмарка ошибочные ответы штрафуются, поэтому модель, которая уверенно врёт, выглядит хуже той, что честно отказывается отвечать. На обновлённом наборе вопросов Net Score у моделей в среднем ниже примерно на 2 пункта, медианное снижение составляет 0,6 пункта, а ранговая корреляция Спирмена с первой версией равна 0,98. Эти цифры команда опубликовала в посте в X.

Что изменилось в цифрах

Главный вывод авторов: рейтинг почти не пострадал. Ранговая корреляция Спирмена показывает, насколько совпадает порядок моделей в двух списках; между v1 и v1.1 она равна 0,98. Значение близко к единице, а значит, модель, которая лидировала в первой версии, в большинстве случаев остаётся в верхней части таблицы и во второй. То же верно для середины и нижней части.

При этом абсолютные баллы сдвинулись. На обновлённом наборе модели в среднем получают примерно на 2 пункта меньше по Net Score. Медианное снижение заметно скромнее — 0,6 пункта. Разрыв между средним и медианой говорит о том, что типичная модель теряет немного, а среднее тянут вниз отдельные участники с более сильным падением. Пост в X обрывается на фразе о том, что у некоторых моделей изменения гораздо больше, поэтому подробности по конкретным моделям нужно искать в полной публикации Artificial Analysis.

Зачем обновлять бенчмарк знаний

Бенчмарки на фиксированных вопросах стареют. Вопросы попадают в обучающие выборки, разработчики начинают оптимизировать модели под известный набор, а в самих заданиях всплывают неточности и устаревшие ответы. Обновление набора — стандартный способ вернуть тесту разрешающую способность. Небольшое общее снижение баллов вписывается в эту логику: на свежих или исправленных вопросах результаты обычно оказываются чуть скромнее. Впрочем, в доступном тексте поста Artificial Analysis причины снижения не называет, так что это лишь правдоподобное объяснение, а не подтверждённый факт.

Для такого бенчмарка стабильность порядка моделей важнее абсолютных значений. Net Score нужен, чтобы сравнивать модели между собой: какая реже выдумывает факты и лучше знает, когда стоит промолчать. Если бы корреляция упала до 0,7–0,8, это означало бы, что v1.1 измеряет что-то другое и старые выводы пришлось бы пересматривать. При 0,98 прежние сравнения в целом сохраняют силу.

Как читать результаты на практике

Первое правило: не смешивать версии. Если в таблице моделей числа взяты частично из v1, частично из v1.1, сравнение будет смещено примерно на 2 пункта в среднем, а у отдельных моделей — сильнее. Для внутренней оценки нужно брать значения из одной версии и помечать, какой именно.

Второе: небольшие различия в Net Score не стоит считать доказательством превосходства. Медианный сдвиг в 0,6 пункта сопоставим с разницей между соседними моделями в плотной части рейтинга. Две модели с близкими баллами при смене версии вполне могут поменяться местами, и высокая корреляция Спирмена этого не исключает: она описывает общую картину, а не каждую пару.

Третье: если ваша задача чувствительна к галлюцинациям — справочные ассистенты, поддержка, работа с документами, — стоит присмотреться к моделям, у которых результат изменился заметно сильнее среднего. Именно они могли выигрывать от старого набора вопросов. Когда Artificial Analysis раскроет подробности, список стоит сверить с моделями, которые вы используете в продакшене.

Ограничения очевидны: в исходном посте нет перечня моделей, нет данных о размере и составе обновлённого набора вопросов и нет объяснения, какие именно вопросы заменили. Известно лишь, что v1.1 сохраняет порядок v1 с корреляцией 0,98, средний Net Score ниже примерно на 2 пункта, а медианный — на 0,6. Для большинства команд вывод простой: рейтинг можно продолжать использовать, но цифры старой и новой версий нельзя ставить в одну колонку.