Artificial Analysis усложнила тест ИИ: теперь документ надо разобрать без 15 ошибок

ИИ правильно прочитал сумму в счёте, нашёл реквизиты поставщика, но неверно определил, нужна ли дополнительная проверка платежа. Для бизнеса это один неудачно обработанный документ. Высокая точность отдельных ответов здесь мало утешает: сотруднику всё равно придётся вмешаться.

Artificial Analysis представила вторую версию Decision Index — рейтинга моделей для принятия решений. В обновлении есть полезный ориентир для тех, кто автоматизирует обработку документов: считать успешной всю задачу, учитывать уверенность модели и сравнивать расходы на законченный результат. По данным авторов, 45% веса индекса теперь приходится на закрытые наборы данных против 25% в первой версии. Это должно затруднить подгонку моделей под известные задания.

97% правильных ответов ещё не означают готовый документ

Новый закрытый тест AA-Paperclip содержит 1500 документов: резюме, чеки, счета и научные статьи. По каждому документу модель должна принять пять решений и извлечь десять фактов. Документ засчитывают только тогда, когда верны все 15 ответов. Вес этого теста в индексе составляет 30%.

Представим обработку входящего счёта. Система извлекает сумму, валюту, дату и другие поля, затем решает, куда направить документ. Если одно важное поле или решение ошибочно, автоматический маршрут может сломаться. Оценка по отдельным вопросам размоет эту проблему среди десятков правильных ответов. Проверка документа целиком покажет её сразу.

В результатах Artificial Analysis модель Drex Max v1.1 правильно отвечает на 97% отдельных вопросов AA-Paperclip, но полностью проходит лишь 63% документов. У Claude Haiku 5.5 (Max) соответствующие показатели — 99% и 92%. Разница в два процентных пункта на уровне ответов превращается в 29 пунктов на уровне документов.

Для продукта это повод изменить собственные проверки. Помимо точности полей стоит измерять долю документов, которые проходят весь сценарий без исправлений. При этом требование «всё правильно» нужно соотносить с задачей: ошибка в необязательном поле и неверная сумма платежа имеют разные последствия.

Уверенная ошибка снижает оценку

Новая основная метрика Decision Score учитывает правильность ответа и заявленную вероятность его правильности. Уверенная ошибка получает более низкую оценку, чем ошибка с признанной неопределённостью. Итоговый балл нельзя читать как процент верных ответов.

Практический смысл понятен: если модель сомневается, приложение может передать документ сотруднику или более сильной модели. Но такой маршрут работает, только когда уверенность действительно связана с качеством. Самого заявления «уверен на 90%» недостаточно — эту связь придётся проверить на собственных данных.

Ещё один новый тест, AA-Symmetry, проверяет устойчивость ответов к переформулировкам. Авторы меняют порядок вариантов, обозначения и форму вопроса. Для разработчика это знакомый риск: небольшая правка шаблона внезапно меняет поведение системы.

Здесь есть оговорка. По наблюдению Artificial Analysis, высокую устойчивость некоторых моделей обеспечивает частый отказ отвечать. Стабильный отказ полезен как сигнал осторожности, но сам по себе не означает, что система решает больше задач.

Считайте расходы на весь проход

Рейтинг также показывает, почему сравнивать модели только по цене миллиона токенов опасно. Одни сервисы учитывают входной документ один раз для всех вопросов, другие заново обрабатывают его для каждого вопроса.

По расчётам Artificial Analysis, миллион задач у Drex Max v1.1 стоит $102, у GLiDE v1.2 — $780. При этом заявленная цена токенов у GLiDE выше лишь на 33%. Значительную разницу создаёт повторная обработка входных данных. Эти суммы относятся к методике рейтинга; бюджет конкретного приложения будет зависеть от документов и числа запросов.

Перед выбором модели стоит прогнать одинаковую выборку через полный рабочий сценарий. Измерить долю завершённых документов, задержку, расходы и количество передач человеку. Затем отдельно проверить, что происходит после переформулировки вопросов и насколько можно доверять оценкам уверенности. Обновлённый индекс даёт для этого полезный образец проверки, а победителя для вашего процесса определят собственные документы.