SubQ Snap 1.2 выросла с 68 до 73 баллов в Decision Index: чаще говорит «не знаю»
Рейтинг Decision Index проверяет, годится ли модель для решений: не выдумывает ли ответ и не меняет ли выбор из-за переформулировки. SubQ Snap 1.2 набрала 73 балла против 68 у версии 1.1 и сравнялась с Drex Max v1.1 и GLiDE v1.2. Точность не выросла (21% и 9%): модель чаще отказывается отвечать наугад, поэтому доля ответов без выдумок выросла с 85% до 89%. Для агентов, где ошибка дорога, это плюс.
AI-обработка оригинала X: @ArtificialAnlys; редакция Hamidun News
Представьте агента, который сам выбирает, какое действие выполнить: одобрить платёж, ответить клиенту, закрыть тикет. Средняя точность модели здесь говорит мало. Важнее, чтобы она не выдумывала ответ, когда не знает, и не меняла решение, если те же варианты просто переписали другими словами. Именно такие свойства оценивает независимая лаборатория Artificial Analysis в рейтинге Decision Index. В версии v2.1 модель SubQ Snap 1.2 компании Subquadratic набрала 73 балла против 68 у предыдущей SubQ Snap 1.1, то есть прибавила 5 баллов, и сравнялась с лидерами рейтинга решений. Но прирост получился не там, где его обычно ждут.
Что показал рейтинг
У двух конкурентов, Drex Max v1.1 и GLiDE v1.2, тоже по 73 балла, и разница с SubQ Snap 1.2 укладывается в 0,1 балла. Фактически на первое место претендуют три модели, и выбирать между ними только по одной цифре рейтинга не получится.
Цена осталась прежней: $0,04 за миллион входных токенов. Контекстное окно составляет 384 тысячи токенов. Улучшение пришло без удорожания, и это важно, если вы считаете стоимость обработки больших объёмов текста.
Сильнее всего выросли два подтеста, AA-Paperclip и AA-Symmetry, по 8 баллов в каждом.
Откуда взялся рост
AA-Paperclip проверяет работу с документами. Считается доля документов, на которые модель ответила полностью правильно, без единой ошибки. У SubQ Snap 1.2 она выросла с 46% до 62%. У Drex Max v1.1 этот показатель 63%, у GLiDE v1.2 — 62%, так что здесь все три модели почти равны.
AA-Symmetry проверяет устойчивость: сохраняет ли модель то же решение и ту же уверенность, если вопрос изменился так, как не должен влиять на ответ. Пример: вы дали агенту выбрать один из трёх вариантов действий, а затем пересказали эти варианты иными словами. Надёжная модель выберет то же самое. В Decision Index v2.1 этот тест обновили до версии 1.1: варианты ответа теперь лежат внутри описания ситуации и переписаны с тем же смыслом. Задача стала сложнее, а SubQ Snap 1.2 всё равно улучшила результат на 8 баллов.
Осторожность вместо точности
Интереснее всего два других теста, AA-Omniscience-Decision и HLE-MultiChoice. Правильных ответов там не прибавилось: точность осталась на уровне 21% и 9%. Зато выросла доля ответов без выдумок, то есть случаев, когда модель не дала уверенно неверный ответ: с 85% до 89% в первом тесте и с 46% до 55% во втором.
Причина в отказах. В AA-Omniscience-Decision модель теперь берётся ответить на 29% вопросов, раньше было 33%. Она чаще признаёт, что не знает, и реже даёт неверную догадку. В рейтинге это засчитывается как улучшение, потому что выдуманный ответ наказывается сильнее честного отказа.
Что с этим делать практику
Во-первых, смотрите, из чего собран прирост. Пять баллов не означают, что модель стала умнее: заметная часть улучшения связана с осторожностью. Для сценариев, где ошибка дорога (финансы, медицина, юридические документы, автоматические действия агента), это хорошо. Если же вам нужен хоть какой-то ответ на каждый запрос, лишняя осторожность будет мешать.
Во-вторых, проверьте на своих данных долю отказов. Если модель отвечает на 29% вопросов вместо 33%, поведение продукта изменится. Интерфейс должен уметь обрабатывать «не знаю»: передавать вопрос человеку или другой модели.
В-третьих, при равных баллах сравнивайте цену, скорость и длину контекста. При $0,04 за миллион входных токенов и окне в 384 тысячи токенов SubQ Snap 1.2 выглядит разумным выбором для массовой обработки длинных документов.
Ограничения: это бенчмарки одного независимого аналитика, и тест на устойчивость недавно обновили, поэтому напрямую сравнивать числа с прошлыми версиями индекса нельзя. На реальной задаче результаты могут отличаться. Перед переходом на новую версию прогоните собственный набор примеров.
- 21 нояб. 2026 г.Модель d1.2-ultra от Liquid AI заняла 1-е место в тесте на решения AA-Paperclip: 76 баллов
- 24 окт. 2026 г.Artificial Analysis запустила Decision Index: Jev 1.13 лидирует с 58 баллами
- 21 нояб. 2026 г.Perplexity выпустила Decider v1.3: 70 баллов в рейтинге решений и $68 за миллион задач
- 12 нояб. 2026 г.Google выпустила Gemini Decision 1: ответ за 150–250 мс и $0.10 за 1M токенов
Вопросы и ответы по материалу
Что известно по теме: что показал рейтинг?
У двух конкурентов, Drex Max v1.1 и GLiDE v1.2, тоже по 73 балла, и разница с SubQ Snap 1.2 укладывается в 0,1 балла. Фактически на первое место претендуют три модели, и выбирать между ними только по одной цифре рейтинга не получится. Цена осталась прежней: $0,04 за миллион входных токенов. Контекстное окно составляет 384 тысячи токенов. Улучшение пришло без удорожания, и это важно, если вы считаете стоимость обработки больших объёмов текста.
Что известно по теме: откуда взялся рост?
AA-Paperclip проверяет работу с документами. Считается доля документов, на которые модель ответила полностью правильно, без единой ошибки. У SubQ Snap 1.2 она выросла с 46% до 62%. У Drex Max v1.1 этот показатель 63%, у GLiDE v1.2 — 62%, так что здесь все три модели почти равны. AA-Symmetry проверяет устойчивость: сохраняет ли модель то же решение и ту же уверенность, если вопрос изменился так, как не должен влиять на ответ.
Что известно по теме: осторожность вместо точности?
Интереснее всего два других теста, AA-Omniscience-Decision и HLE-MultiChoice. Правильных ответов там не прибавилось: точность осталась на уровне 21% и 9%. Зато выросла доля ответов без выдумок, то есть случаев, когда модель не дала уверенно неверный ответ: с 85% до 89% в первом тесте и с 46% до 55% во втором. Причина в отказах. В AA-Omniscience-Decision модель теперь берётся ответить на 29% вопросов, раньше было 33%. Она чаще признаёт, что не знает, и реже даёт неверную догадку.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.