Artificial Analysis запустил HealthBench: GPT-6 Astra лидирует с 66,0%

Artificial Analysis добавил в свои рейтинги два медицинских бенчмарка OpenAI: HealthBench и HealthBench Professional. Оба проверяют, как модели отвечают в реалистичных health-диалогах, а оценивают ответы по рубрикам, которые составили врачи. На профессиональном наборе лидирует GPT-6 Astra (max) с 66,0% по скорректированной на длину оценке. На массовом HealthBench впереди Claude Sonnet 5.5 (max with fallback) с 62,1%. Разница между сырыми и скорректированными баллами при этом сильно перетасовывает таблицу.

Как устроены тесты

HealthBench включает 5000 диалогов с обычными пользователями и медработниками. Они разбиты на семь тем, от экстренных направлений до глобального здравоохранения. Каждый критерий рубрики относится к одной из пяти осей: точность, полнота, качество коммуникации, учёт контекста и следование инструкциям. Ответы оценивает GPT-4.1.

HealthBench Professional меньше: 525 диалогов, и все они с клиницистами. Там есть консультации, письменные задачи и исследовательская работа, а также намеренно сложные и состязательные кейсы. Судит ответы GPT-5.4 (low).

Artificial Analysis публикует два показателя: сырую долю набранных баллов и скорректированную на длину оценку по методике OpenAI. Она снижает балл ответам длиннее 2000 символов и повышает его более коротким.

HealthBench Professional: OpenAI впереди, длина наказывает

На профессиональном наборе первые места занимают модели OpenAI. Вся граница Парето «балл против стоимости задачи» тоже состоит из них.

• GPT-6 Astra (max): 66,0%, $0,27 за задачу
• GPT-6.1 Sol (max): 65,1%, $0,047
• GPT-6 Sol (max): 62,3%, $0,036
• GPT-6 Luna (max): 61,9%, $0,004
• Claude Sonnet 5.5 (max with fallback): 63,0%

GPT-6 Luna уступает Astra 4 пункта при стоимости менее 2% от неё.

Длина ответа меняет картину. Claude Opus 5.5 и Claude Fable 5.1 пишут в среднем около 5900 символов, почти втрое больше порога, и теряют после корректировки больше 11 пунктов. У Opus 5.5 (max with fallback) самый высокий сырой балл, 71.4%, но в скорректированном рейтинге он опускается на шестое место с 59,9%. GPT-6 Sol (max) единственный укладывается в порог (около 1600 символов), и только его оценка при корректировке растёт.

HealthBench: дешёвые модели почти догоняют дорогие

На массовом наборе первое место у Claude Sonnet 5.5 (62,1%). За ним DeepSeek V4.1 Flash (max, 60,9%) и GPT-6.1 Sol (max, 58,5%). Граница Парето здесь образована тремя моделями: GPT-6 Luna (54,6% при $0,002 за задачу), DeepSeek V4.1 Flash (60,9% при $0,005) и Claude Sonnet 5.5. Последний обходится в среднем в $0,08 за задачу. Это примерно в 16 раз дороже DeepSeek V4.1 Flash ради прироста около 1 пункта.

Разбивка по осям показывает цену краткости. GPT-6 Sol (max) пишет самые короткие ответы, около 1000 символов, и получает лучший сырой балл по качеству коммуникации (81%). Зато по полноте у него худший результат, 34%. По полноте лидирует Claude Sonnet 5.5 с 63%.

Как читать эти цифры при выборе модели

Первое: смотрите на оба показателя. Сырой балл говорит, сколько клинически значимой информации модель выдала. Скорректированный отражает, насколько ответ пригоден для реального диалога, где длинная простыня вредит. Если вы строите ассистента для врачей, которым нужна полнота и справочная глубина, штраф за длину можно воспринимать как мягкий. Для пациентского чата он важнее.

Второе: для массовых сценариев с большим потоком запросов экономика решает. При $0,002–0,005 за задачу GPT-6 Luna и DeepSeek V4.1 Flash дают результат, близкий к дорогим моделям. Дорогой Astra оправдан там, где важен каждый пункт на сложных клинических кейсах.

Третье: бенчмарк создан OpenAI, и судьями в обоих тестах выступают модели OpenAI. Это не отменяет результатов, но перед внедрением стоит прогнать кандидатов на собственных данных и с участием врачей. Рейтинг помогает сузить выбор, а не заменяет клиническую валидацию.