Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарX: @ArtificialAnlys→ оригинал

SubQ Snap 1.2 выросла с 68 до 73 баллов в Decision Index: чаще говорит «не знаю»

Рейтинг Decision Index проверяет, годится ли модель для решений: не выдумывает ли ответ и не меняет ли выбор из-за переформулировки. SubQ Snap 1.2 набрала 73 балла против 68 у версии 1.1 и сравнялась с Drex Max v1.1 и GLiDE v1.2. Точность не выросла (21% и 9%): модель чаще отказывается отвечать наугад, поэтому доля ответов без выдумок выросла с 85% до 89%. Для агентов, где ошибка дорога, это плюс.

AI-обработка оригинала X: @ArtificialAnlys; редакция Hamidun News
SubQ Snap 1.2 выросла с 68 до 73 баллов в Decision Index: чаще говорит «не знаю»
Источник: X: @ArtificialAnlys. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @ArtificialAnlys ↗
Главный редактор
Ключевой факт #1Доля полностью верных документов в AA-Paperclip: с 46% до 62%
Ключевой факт #2На вопросы AA-Omniscience-Decision модель отвечает в 29% случаев вместо 33%
Ключевой факт #3Цена $0,04 за 1 млн входных токенов, контекст 384 тыс. токенов

Представьте агента, который сам выбирает, какое действие выполнить: одобрить платёж, ответить клиенту, закрыть тикет. Средняя точность модели здесь говорит мало. Важнее, чтобы она не выдумывала ответ, когда не знает, и не меняла решение, если те же варианты просто переписали другими словами. Именно такие свойства оценивает независимая лаборатория Artificial Analysis в рейтинге Decision Index. В версии v2.1 модель SubQ Snap 1.2 компании Subquadratic набрала 73 балла против 68 у предыдущей SubQ Snap 1.1, то есть прибавила 5 баллов, и сравнялась с лидерами рейтинга решений. Но прирост получился не там, где его обычно ждут.

Что показал рейтинг

У двух конкурентов, Drex Max v1.1 и GLiDE v1.2, тоже по 73 балла, и разница с SubQ Snap 1.2 укладывается в 0,1 балла. Фактически на первое место претендуют три модели, и выбирать между ними только по одной цифре рейтинга не получится.

Цена осталась прежней: $0,04 за миллион входных токенов. Контекстное окно составляет 384 тысячи токенов. Улучшение пришло без удорожания, и это важно, если вы считаете стоимость обработки больших объёмов текста.

Сильнее всего выросли два подтеста, AA-Paperclip и AA-Symmetry, по 8 баллов в каждом.

Откуда взялся рост

AA-Paperclip проверяет работу с документами. Считается доля документов, на которые модель ответила полностью правильно, без единой ошибки. У SubQ Snap 1.2 она выросла с 46% до 62%. У Drex Max v1.1 этот показатель 63%, у GLiDE v1.2 — 62%, так что здесь все три модели почти равны.

AA-Symmetry проверяет устойчивость: сохраняет ли модель то же решение и ту же уверенность, если вопрос изменился так, как не должен влиять на ответ. Пример: вы дали агенту выбрать один из трёх вариантов действий, а затем пересказали эти варианты иными словами. Надёжная модель выберет то же самое. В Decision Index v2.1 этот тест обновили до версии 1.1: варианты ответа теперь лежат внутри описания ситуации и переписаны с тем же смыслом. Задача стала сложнее, а SubQ Snap 1.2 всё равно улучшила результат на 8 баллов.

Осторожность вместо точности

Интереснее всего два других теста, AA-Omniscience-Decision и HLE-MultiChoice. Правильных ответов там не прибавилось: точность осталась на уровне 21% и 9%. Зато выросла доля ответов без выдумок, то есть случаев, когда модель не дала уверенно неверный ответ: с 85% до 89% в первом тесте и с 46% до 55% во втором.

Причина в отказах. В AA-Omniscience-Decision модель теперь берётся ответить на 29% вопросов, раньше было 33%. Она чаще признаёт, что не знает, и реже даёт неверную догадку. В рейтинге это засчитывается как улучшение, потому что выдуманный ответ наказывается сильнее честного отказа.

Что с этим делать практику

Во-первых, смотрите, из чего собран прирост. Пять баллов не означают, что модель стала умнее: заметная часть улучшения связана с осторожностью. Для сценариев, где ошибка дорога (финансы, медицина, юридические документы, автоматические действия агента), это хорошо. Если же вам нужен хоть какой-то ответ на каждый запрос, лишняя осторожность будет мешать.

Во-вторых, проверьте на своих данных долю отказов. Если модель отвечает на 29% вопросов вместо 33%, поведение продукта изменится. Интерфейс должен уметь обрабатывать «не знаю»: передавать вопрос человеку или другой модели.

В-третьих, при равных баллах сравнивайте цену, скорость и длину контекста. При $0,04 за миллион входных токенов и окне в 384 тысячи токенов SubQ Snap 1.2 выглядит разумным выбором для массовой обработки длинных документов.

Ограничения: это бенчмарки одного независимого аналитика, и тест на устойчивость недавно обновили, поэтому напрямую сравнивать числа с прошлыми версиями индекса нельзя. На реальной задаче результаты могут отличаться. Перед переходом на новую версию прогоните собственный набор примеров.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что показал рейтинг?

У двух конкурентов, Drex Max v1.1 и GLiDE v1.2, тоже по 73 балла, и разница с SubQ Snap 1.2 укладывается в 0,1 балла. Фактически на первое место претендуют три модели, и выбирать между ними только по одной цифре рейтинга не получится. Цена осталась прежней: $0,04 за миллион входных токенов. Контекстное окно составляет 384 тысячи токенов. Улучшение пришло без удорожания, и это важно, если вы считаете стоимость обработки больших объёмов текста.

Что известно по теме: откуда взялся рост?

AA-Paperclip проверяет работу с документами. Считается доля документов, на которые модель ответила полностью правильно, без единой ошибки. У SubQ Snap 1.2 она выросла с 46% до 62%. У Drex Max v1.1 этот показатель 63%, у GLiDE v1.2 — 62%, так что здесь все три модели почти равны. AA-Symmetry проверяет устойчивость: сохраняет ли модель то же решение и ту же уверенность, если вопрос изменился так, как не должен влиять на ответ.

Что известно по теме: осторожность вместо точности?

Интереснее всего два других теста, AA-Omniscience-Decision и HLE-MultiChoice. Правильных ответов там не прибавилось: точность осталась на уровне 21% и 9%. Зато выросла доля ответов без выдумок, то есть случаев, когда модель не дала уверенно неверный ответ: с 85% до 89% в первом тесте и с 46% до 55% во втором. Причина в отказах. В AA-Omniscience-Decision модель теперь берётся ответить на 29% вопросов, раньше было 33%. Она чаще признаёт, что не знает, и реже даёт неверную догадку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…