Тест для ИИ-аналитиков: лидер набрал 68 из 100, а в прогнозах только 52,5

Investor's Last Exam — новый бенчмарк, то есть набор заданий для сравнения моделей. Его сделали исследователи Antai College of Economics and Management при Шанхайском университете Цзяотун вместе с опытными инвесторами и управляющими фондов. Задача простая: дать ИИ-агенту работу аналитика, который изучает компанию и решает, во что вкладывать деньги, и проверить, сумеет ли он справиться, не заглядывая в будущее. Лучшая система, GPT-6 Astra, набрала 68,1 из 100. Но в прогнозах она получила всего 52,5. То есть читать отчёты и оформлять выводы модели научились заметно лучше, чем предсказывать цифры.

Как запереть агента в прошлом

Главная проблема финансовых тестов — утечка из будущего. Обычно данные ограничивают фильтром по дате публикации страницы. Авторы показывают, что он не спасает. Дата на странице может остаться старой, хотя содержимое обновили позже. В задании по Tesla (номер O74) агент GPT-6 Astra отправил запрос с датой до конца квартала и всё равно получил источник от 2 июля с фактическими поставками машин за второй квартал.

Поэтому авторы собрали корпус, где хранится каждая версия документа, и ничего не перезаписывается. На 15 октября 2026 года в нём 3 430 336 версий и 1,52 ТБ материалов. Источники делятся на девять категорий:

• финансовые отчёты; • структурированные отчётные таблицы; • звонки с инвесторами по итогам квартала; • материалы для инвесторов; • события эмитентов; • прогнозы аналитиков; • исследовательские отчёты; • позиции институциональных инвесторов; • новости.

Кроме того, есть рыночные данные по ценам, доходности и волатильности. Покрыты рынки США, материкового Китая и Гонконга.

У каждой версии есть время появления, часовой пояс и подтверждение. Если надёжно установить дату нельзя, документ в задания не попадает. Для сомнительных записей даты сначала оценивали и перепроверяли современные модели. Ограничение действует на всю цепочку: поиск, чтение, скачивание и кэш проверяют доступность одинаково. Табличные данные после запроса замораживаются, поздние правки их не меняют. Расчёты агент ведёт в песочнице без доступа к сети.

Что именно проверяют и кто ставит оценки

Задания построены вокруг реальных результатов работы аналитика: пять категорий, двадцать подтипов, а также комплексные отчёты и торговые задачи на прогноз цены, доходности или волатильности. Всего в тесте 86 заданий. Каждое оценивается по трём линиям: качество исследования, точность прогноза и условный результат инвестирования.

Каждое требование в критериях оценки привязано к источнику, расчёту или допущению через граф финансовых зависимостей. Эксперты формулируют вопрос и суждения, агенты собирают доказательства, несколько моделей проверяют черновики, а окончательные критерии утверждают люди. Эталонные ответы и критерии закрыты от агентов. Оценщиком в статье выступает GPT-6 Astra.

Примеры показывают, на чём ломаются модели. В задаче по Microsoft (O58) выручку облака нельзя прибавлять как четвёртый сегмент: она уже входит в три других. В задаче по AEP (N27) рост операционного денежного потока не означает, что компании нужно меньше внешних денег, если учесть инвестиции и корректировки. Похожая ловушка в рефинансировании: сумма денег, потока и неиспользованной кредитной линии выглядит достаточной, пока не прочитаешь ковенанты по займу.

Где модели ошибаются

Испытали 11 систем. За GPT-6 Astra с 68,1 идёт Claude Opus 5.5 с 66,9. Разбивка по навыкам у Astra:

• поиск и работа с доказательствами — 78,9; • оценка и инвестиционное решение — 77,6; • прогнозы и построение моделей — 52,5.

Порядок меняется, когда смотришь не на анализ, а на исход. DeepSeek V4.1 Flash лучше других попал в реальные результаты прогнозов. Kimi K3 при меньшем баллу за исследование принесла больше условной доходности, чем Opus. Общий балл не говорит, какая модель лучше угадает рынок.

По ошибкам авторы пишут, что модели сводят баланс денежных потоков, но плохо отделяют реальное улучшение операционной деятельности от временных движений денег. Они выдают связные объяснения и рекомендации, но не гарантируют, что допущения, бухгалтерские состояния и итоговые цифры складываются в проверяемую модель. Проблемы бывают и с отправкой ответа и восстановлением после ошибок. Часть расхождений вызвана нечёткими формулировками критериев, а не слабостью моделей.

Главный вывод: слабое место сместилось с доступа к информации и арифметики на калибровку допущений и согласованность модели. Для команд, которые строят финансовых агентов, это значит, что стоит оценивать не только итоговый отчёт, но и цепочку «источник — допущение — расчёт — решение». А ограничивать будущее придётся на уровне системы, а не фильтром по дате в запросе.