Шесть ИИ-агентов прогнозировали прибыль на акцию: три сравнялись с аналитиками

Что будет, если дать языковой модели пачку отчётов компании, стенограмму звонка с инвесторами и новости, а потом попросить предсказать прибыль на акцию? Исследователи из Georgia Institute of Technology сделали для этого бенчмарк EPSBench. EPS (earnings per share) — это чистая прибыль, поделённая на число акций.

Берут «разводнённый» вариант по GAAP, то есть по стандартным правилам американского бухучёта, без «скорректированных» цифр, которые компании любят показывать отдельно. Тест охватывает 149 квартальных отчётов 86 крупных компаний США из восьми секторов. Объявления выходили со 2 декабря 2025 года по 24 июня 2026 года.

Шесть моделей от четырёх разработчиков сравнили с консенсусом аналитиков на ту же дату. Итог: трое не отличаются от профессионалов по точности точечного прогноза, трое ошибаются заметнее. При этом все шестеро слишком уверены в себе.

Прогноз по строчкам отчёта, а не одной цифрой

Главная идея в том, как устроена задача. Прежние тесты вроде FutureX и FinDeepForecast просто просят назвать EPS, а путь к нему остаётся внутри текста рассуждений модели. Аналитик действует иначе: сначала выручка, потом расходы, потом всё, что ниже. EPSBench заставляет агента работать так же.

Для каждой пары «компания — квартал» авторы заранее собирают схему из трёх частей:

• база: значения статей отчёта за тот же квартал годом раньше;
• драйверы: темп роста выручки, изменение доли себестоимости, рост операционных расходов, налог, число акций;
• граф бухгалтерских тождеств, который собирает эти статьи в итоговый EPS.

Для Microsoft за третий квартал 2026 финансового года драйверы такие: рост выручки от продуктов и от услуг, сдвиг доли себестоимости, рост операционных расходов, прочие расходы, налог и число акций. Схемы строили несколько моделей по очереди. Проверка простая: на данных годичной давности граф воспроизводит реальный EPS у 146 из 149 схем с точностью до цента, у остальных трёх — до четырёх центов.

Агент оценивает каждый драйвер, пишет, на какой документ опирается, и отправляет значения в общий калькулятор. Тот возвращает отчёт о прибылях и убытках и итоговый EPS. Ещё агент называет границы p10 и p90, то есть заявляет интервал, в который, по его мнению, реальный результат попадёт с вероятностью 80%. Арифметику считает калькулятор, поэтому любую ошибку можно проследить до конкретной статьи и конкретной ссылки.

Закрытая песочница и защита от подглядывания

Агент живёт в фиксированной среде. Ему доступны три типа источников, которые он получает через шесть инструментов на MCP-сервере:

• отчёты 10-K и 10-Q с сайта SEC EDGAR;
• стенограммы звонков с Seeking Alpha, где обычно звучит прогноз менеджмента;
• новости из CC-News.

Всё обрезано днём до публикации результатов. Сервер блокирует отчёт и звонок за целевой квартал. Новости с поздней или неизвестной датой отбрасываются. Shell, файлы и интернет в агентской обвязке выключены. Каждую конфигурацию запускали по три раза на задачу, так что на модель приходится 447 запусков.

Точность меряют ценовым отклонением: модуль разницы между прогнозом и фактом, делённый на цену акции. Так нет проблем с процентными ошибками, когда EPS близок к нулю. Интервалы оценивают по доле попаданий, ширине и интервальной метрике, которую нельзя улучшить, если честно не называть границы. Эталонов три: EPS годичной давности, EPS прошлого квартала и консенсус аналитиков из базы IBES.

Где модели ошибаются и что с этим делать

Результаты таковы:

• три модели статистически не отличаются от консенсуса по ошибке точечного прогноза, три проигрывают;
• номинальные 80%-е интервалы накрывали реальный EPS только в 37–70% запусков, где интервал вообще вернулся;
• большинство промахов лежит выше верхней границы: прогнозы получаются заниженными. Консенсус аналитиков, кстати, тоже грешит этим;
• разрыв между сильной и слабой тройками раскрывается в кварталах, где прибыль сильно уходит от уровня годичной давности. Лидеры чаще двигают оценку достаточно далеко и в нужную сторону;
• почти вся разница сидит в операционных статьях, то есть в оценке операционной прибыли.

Отдельная деталь касается GLM 4.5 Air с окном в 128 тысяч токенов. В 49 из его 447 запусков обвязка сжимала контекст, чтобы всё поместилось. Эти запуски оценивали как есть, и именно из них состоят все его пропущенные интервалы.

Сопутствующие выводы тоже полезны. Новости и отчёты несут отчасти разную информацию. Смена обвязки и глубины рассуждений сильнее двигает охват интервала, чем точность самой цифры.

Практический вывод для тех, кто строит финансовых агентов: забирать из модели нужно структуру допущений, а не одно число. Тогда видно, на каком шаге ошибка вошла в прогноз. Доверять заявленным интервалам без калибровки нельзя. Если агент говорит «80%», реальная цифра может быть вдвое ниже. Авторы публикуют схемы, инструменты, промпты, записи прогнозов, оценки и траектории агентов, так что сравнения можно воспроизвести.