Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @ArtificialAnlys→ оригинал

GPT-6 Astra на среднем усилии теряет 5 баллов, но решает задачу втрое быстрее

Большинство лабораторий ставят в API уровень reasoning effort ниже максимального, и это сильно режет время на задачу. По данным Artificial Analysis, GPT-6 Astra на среднем усилии набирает 52 балла в Intelligence Index против 57 на максимуме, но справляется с задачей за ~5,8 минуты вместо ~18. У GPT-6.1 Sol при снижении усилия индекс падает с 55 до 46.

AI-обработка оригинала X: @ArtificialAnlys; редакция Hamidun News
GPT-6 Astra на среднем усилии теряет 5 баллов, но решает задачу втрое быстрее
Источник: X: @ArtificialAnlys. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @ArtificialAnlys ↗
Главный редактор
Ключевой факт #1Дефолт в API часто не равен максимуму — проверьте свой
Astra52 против 57 баллов, но 5,8 против ~18 минут
У GPT-6.1 Sol просадка жёстчес 55 до 46 баллов

Знакомая ситуация: вы подключили топовую модель, прогнали пару тестов, а агент думает минуты напролёт. Пользователь успевает закрыть вкладку. Виноват не обязательно сервер. Чаще дело в настройке, которую многие не трогают: уровень reasoning effort, то есть сколько «времени на размышления» модель тратит перед ответом.

Аналитики Artificial Analysis напомнили в X, что большинство ведущих лабораторий ставят в API дефолт ниже максимального усилия. Это резко сокращает Time per Task, то есть время, которое модель тратит на одну задачу целиком. Ниже разберём, что именно показали их цифры и что с ними делать.

Что показали цифры

Первый пример: GPT-6 Astra. На среднем усилии модель набирает 52 балла в Intelligence Index, на максимальном 57. Разница пять пунктов, то есть примерно 9% от лучшего результата. Зато задача на среднем уровне занимает около 5,8 минуты, на максимальном около 18. Время сокращается примерно втрое, а качество просело меньше чем на десятую часть.

Второй пример: GPT-6.1 Sol. Здесь картина жёстче: индекс падает с 55 до 46, то есть на 9 пунктов, или около 16%. Пост обрывается на цифре 3,9, поэтому единицы измерения и точный уровень усилия в этом фрагменте не видны. Выводы по Sol стоит делать после просмотра полной таблицы по ссылке в оригинале.

Почему это важно на практике

Представьте агента для код-ревью. Он получает pull request, читает диффы, прогоняет проверки и пишет комментарии. Если каждый запуск занимает 18 минут, разработчик уже переключился на другое, и комментарий приходит в никуда. Если 6 минут, это ещё терпимо. Для такого сценария пять потерянных баллов в общем индексе часто не имеют значения, а вот втрое меньшая задержка заметна сразу.

Обратная ситуация: ночной пакетный разбор сложных инцидентов или генерация миграции на большой кодовой базе. Там никто не ждёт у экрана, а каждая ошибка стоит дорого. Максимальное усилие здесь оправдано, потому что время почти ничего не стоит, а цена ошибки высока.

Отсюда простое правило: уровень усилия — это ручка продукта, а не техническая мелочь. Его нужно выбирать под сценарий, а не оставлять как пришло из коробки.

Что с этим делать

Первое: выясните, какой именно дефолт стоит у вашего провайдера. У разных лабораторий он разный, и нередко разработчики годами сидят на значении, которое никто осознанно не выбирал.

Второе: замерьте не только качество, но и время на задачу на вашем собственном наборе задач. Общий индекс — это усреднение по бенчмаркам, а ваш трафик может вести себя иначе. Прогоните одни и те же 50–100 реальных запросов на нескольких уровнях усилия и сравните долю успешных ответов и медианное время.

Третье: рассмотрите маршрутизацию. Простые запросы отправляйте на низкое или среднее усилие, сложные или спорные эскалируйте на максимум. Так вы получаете скорость в большинстве случаев и качество там, где оно действительно нужно.

Ограничения

Это короткий пост в X, а не полный отчёт. Мы видим всего две модели, а часть данных по Sol обрезана. Intelligence Index — агрегированная метрика, и на узких задачах разрыв между уровнями усилия может быть заметно больше или меньше. Кроме того, время зависит от нагрузки на инфраструктуру провайдера, и ваши цифры будут отличаться.

Итог: не воспринимайте максимальное усилие как «правильный» режим по умолчанию. Для Astra обмен пяти баллов на трёхкратное ускорение выглядит выгодно для интерактивных сценариев. Для Sol цена выше, и там проверка на своих данных особенно важна.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что показали цифры?

Первый пример: GPT-6 Astra. На среднем усилии модель набирает 52 балла в Intelligence Index, на максимальном 57. Разница пять пунктов, то есть примерно 9% от лучшего результата. Зато задача на среднем уровне занимает около 5,8 минуты, на максимальном около 18. Время сокращается примерно втрое, а качество просело меньше чем на десятую часть. Второй пример: GPT-6.1 Sol. Здесь картина жёстче: индекс падает с 55 до 46, то есть на 9 пунктов, или около 16%.

Что известно по теме: почему это важно на практике?

Представьте агента для код-ревью. Он получает pull request, читает диффы, прогоняет проверки и пишет комментарии. Если каждый запуск занимает 18 минут, разработчик уже переключился на другое, и комментарий приходит в никуда. Если 6 минут, это ещё терпимо. Для такого сценария пять потерянных баллов в общем индексе часто не имеют значения, а вот втрое меньшая задержка заметна сразу. Обратная ситуация: ночной пакетный разбор сложных инцидентов или генерация миграции на большой кодовой базе.

Что известно по теме: что с этим делать?

Первое: выясните, какой именно дефолт стоит у вашего провайдера. У разных лабораторий он разный, и нередко разработчики годами сидят на значении, которое никто осознанно не выбирал. Второе: замерьте не только качество, но и время на задачу на вашем собственном наборе задач. Общий индекс — это усреднение по бенчмаркам, а ваш трафик может вести себя иначе. Прогоните одни и те же 50–100 реальных запросов на нескольких уровнях усилия и сравните долю успешных ответов и медианное время.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…