Публичный набор AA-Omniscience v1.1 совпал с закрытым по Net Score с корреляцией 0,99

Artificial Analysis опубликовала на Hugging Face новый публичный набор для бенчмарка AA-Omniscience v1.1. По заявлению компании, его специально откалибровали так, чтобы сложность совпадала с закрытым набором. На момент релиза корреляция между публичными и закрытыми результатами по метрике AA-Omniscience Net Score составляет 0,99, а медианная разница — 0,0 пункта. Точность и долю галлюцинаций авторы тоже сравнивали на двух наборах, но полный текст поста в нашем источнике оборван, поэтому конкретных цифр по этим метрикам у нас нет.

Зачем бенчмарку два набора

AA-Omniscience проверяет, насколько точно языковые модели отвечают на фактические вопросы и как часто они выдумывают ответ вместо того, чтобы признать незнание. Net Score объединяет эти стороны в одну оценку: верный ответ повышает её, а уверенная ошибка понижает. Модель, которая отвечает реже, но почти без выдумок, может обойти ту, что отвечает на всё подряд и часто ошибается.

У такой схемы есть привычная проблема. Если все вопросы лежат в открытом доступе, они рано или поздно попадают в обучающие данные, и цифры перестают отражать реальные знания. Поэтому основную оценку держат на закрытом наборе, который знает только организатор. Но независимые команды хотят прогонять модели сами: проверять собственные дообучения, сравнивать квантизации, отлаживать промпты и пайплайны. Для этого им нужен открытый набор. Он полезен лишь тогда, когда его результаты предсказывают результаты закрытого.

Что значат 0,99 и 0,0

Корреляция 0,99 означает, что порядок моделей на публичном и закрытом наборах почти не расходится. Если модель A обходит модель B на открытых данных, она с высокой вероятностью обойдёт её и на закрытых. Медианная разница 0,0 пункта говорит о другом: оценки совпадают не только по ранжированию, но и по абсолютным значениям. Типичная модель получает на открытом наборе тот же Net Score, что и на закрытом.

Эти два показателя дополняют друг друга. Корреляция могла бы быть высокой и при систематическом сдвиге: например, все модели набирали бы на открытом наборе на 10 пунктов больше. Медиана разницы, близкая к нулю, как раз исключает такой сдвиг. Для практиков это означает, что открытый набор можно использовать не только для сравнения, но и для приблизительной оценки уровня модели.

Ограничения, которые стоит держать в голове

Во-первых, авторы говорят о совпадении «на момент релиза». Публичные вопросы остаются публичными: их могут включить в обучающие корпуса, и тогда на открытом наборе результаты начнут расти быстрее, чем на закрытом. Корреляцию придётся перепроверять со временем.

Во-вторых, показатели относятся к тем моделям, которые Artificial Analysis уже прогнала на обоих наборах. Для новых архитектур или необычных стратегий отказа от ответа совпадение не гарантировано. Метрики с наказанием за ошибку особенно чувствительны к тому, как модель решает, отвечать ей или воздержаться.

В-третьих, мы видели только короткий пост. Размер набора, перечень тем и методику калибровки сложности лучше смотреть в карточке датасета на Hugging Face и в документации Artificial Analysis.

Практический вывод простой. Если вы выбираете модель для задач, где цена выдуманного факта высока, например для поддержки, юридических или медицинских справок, теперь можно проверить её на открытом наборе AA-Omniscience самостоятельно и ожидать результат, близкий к официальному. Для финального сравнения моделей разных вендоров по-прежнему разумнее смотреть на закрытый набор, который обновляет и контролирует сама Artificial Analysis.