Claude Opus 5.5 набирает 68% на HLE-Diamond, но задача обходится в 35 раз дороже

Команда Artificial Analysis, независимая лаборатория, которая сравнивает ИИ-модели по качеству и цене, показала, сколько стоит лишний балл точности. На HLE-Diamond, наборе очень трудных экспертных вопросов из теста Humanity's Last Exam («Последний экзамен человечества»), Claude Opus 5.5 от Anthropic на низком уровне усилия решает 42% задач, а на максимальном 68%. Прирост составляет 26 процентных пунктов, но каждая задача обходится примерно в 35 раз дороже. У GPT-6 Astra от OpenAI результат вырос с 45% до 64%, то есть на 19 пунктов, при росте цены задачи в 11 раз.

Что здесь называют «усилием»

Современные рассуждающие модели не отвечают сразу. Сначала они пишут длинный черновик рассуждений: перебирают варианты, проверяют себя, возвращаются назад. Настройка усилия (effort) определяет, сколько такого «думания» разрешено. На низком уровне модель отвечает быстро и коротко. На максимальном она может тратить на одну задачу в разы больше токенов.

Эти токены оплачивает тот, кто вызывает модель. Поэтому качество и цена растут вместе. Повышая усилие, вы получаете больше правильных ответов, но платите за каждую попытку заметно больше.

Цифры двух моделей рядом

В посте Artificial Analysis приведены такие данные:

• Claude Opus 5.5: низкое усилие 42%, максимальное 68%, прирост 26 пунктов, цена задачи выросла примерно в 35 раз.
• GPT-6 Astra: низкое усилие 45%, максимальное 64%, прирост 19 пунктов, цена задачи выросла в 11 раз.

Из этих чисел можно вывести ещё несколько. На минимальном усилии GPT-6 Astra опережает Opus на 3 пункта (45% против 42%). На максимальном ситуация обратная: Opus впереди на 4 пункта (68% против 64%). Доля ошибок у Opus снизилась с 58% до 32%, у GPT с 55% до 36%.

Определить, какая модель дешевле, по этим данным нельзя. Артиллерия цифр показывает только, во сколько раз цена задачи растёт внутри каждой модели. В абсолютных долларах Opus на максимуме может стоить как больше, так и меньше GPT-6 Astra на максимуме. Это зависит от исходной цены на низком уровне и тарифов на токены у каждого вендора.

Сколько стоит каждый следующий пункт

Можно прикинуть, как цена соотносится с качеством. Рост цены в 35 раз равен примерно пяти удвоениям (2⁵ = 32). За них Opus набрал 26 пунктов, то есть около 5 пунктов на каждое удвоение. Рост в 11 раз равен примерно 3,5 удвоения, и 19 пунктов дают около 5,5 пункта на удвоение у GPT-6 Astra.

Это грубая арифметика. Реальная кривая почти наверняка не идеально прямая, и на высоких уровнях рост должен замедляться. Но картина полезная: GPT-6 Astra чуть эффективнее превращает дополнительные деньги в точность, а Opus 5.5 уходит дальше по потолку качества. Чтобы получить последние 10–15 пунктов, придётся платить непропорционально много.

Что с этим делать инженерам и бизнесу

Главный практический вывод: «какая модель лучше» без указания режима работы почти ничего не говорит. Одна и та же модель на разных настройках отличается на 19–26 пунктов, и это больше, чем разрыв между лидерами на одном уровне усилия. Сравнивать нужно по паре «модель плюс настройка» и по цене за решённую задачу.

Практические шаги:

• Для массовых задач вроде классификации, извлечения данных и типовых ответов поддержки ставьте низкое усилие. Там точность редко упирается в глубину рассуждений, а 35-кратная наценка не окупится.
• Максимальное усилие держите для редких дорогих случаев: сложный анализ, научные вопросы, трудные баги. Ошибка там стоит больше, чем лишние токены.
• Постройте маршрутизацию. Сначала дешёвый прогон, а на максимальный режим отправляйте только то, где модель не уверена или результат не прошёл проверку.
• Замеряйте цену за правильный ответ на своих данных, а не только процент из бенчмарка. Тест вроде HLE-Diamond показывает потолок на экзаменационных вопросах, и ваши рабочие задачи могут вести себя иначе.

Пост Artificial Analysis хорошо напоминает: у рассуждающих моделей точность стала регулируемым параметром, а не фиксированной характеристикой. Вместе с ней регулируется и счёт.