Quant-Arena: ни одна из 9 LLM не обыграла рынок A-share в 2024 году

Девять frontier-моделей попытались поработать квантовыми исследователями на реальных данных китайского рынка акций A-share. Ни одна из них в 2024 году не обыграла простой равновзвешенный портфель по рынку. Лучший результат в таблице у GPT-6 Astra, но и он не превратился в избыточную доходность на отложенных данных. Это следует из Quant-Arena, нового бенчмарка и публичного лидерборда для сквозного квантового исследования, который описан в статье на Hugging Face Daily Papers.

Весь цикл вместо отдельных кусочков

Квантовая работа выглядит как петля. Исследователь формулирует рыночную гипотезу, превращает её в исполняемый сигнал, прогоняет по истории и решает, что оставить, а что выбросить. Существующие бенчмарки проверяют отдельные звенья: корректность формулы, качество кода или одиночное торговое решение. Остаётся вопрос, может ли LLM пройти всю петлю целиком и выдать стратегию, которая работает за пределами периода, на котором её придумали.

Quant-Arena задаёт именно этот вопрос. Модель сама строит признаки и пишет код скоринга акций. Обратную связь она получает только по 2022–2023 годам. После этого она замораживает одну стратегию, и та идёт на проверку на запечатанном 2024 годе, которого модель не видела.

Кассовый счёт, комиссии и стакан заявок

Самое важное в конструкции бенчмарка — оценщик. Он работает как cash-account: применяет торговые ограничения и издержки, а рыночное влияние оценивает по симулированному стакану заявок. Это закрывает типичную дыру многих бэктестов, где красивая кривая доходности получается из предположения, что любой объём можно купить по текущей цене без последствий.

Итоговый балл складывается из трёх частей:

• реализованная избыточная доходность — главная компонента, на неё приходится основной вес;
• качество сигнала;
• разнообразие признаков, которые использует стратегия.

Третий пункт защищает от вырожденных решений. Модель, которая нашла один рабочий фактор и растиражировала его в десяти вариациях, получит меньше, чем та, что собрала действительно разные источники сигнала.

Лучший результат — и всё равно ниже рынка

Авторы протестировали девять frontier-моделей. По итоговому баллу первое место занял GPT-6 Astra. Но балл включает сигнал и разнообразие, а решающий тест — деньги на закрытом году. Здесь картина жёсткая: ни одна модель не превзошла равновзвешенный рынок в 2024 году.

Отсюда можно сделать осторожный вывод. LLM-агенты умеют писать код, генерировать признаки и улучшать метрики на доступном им периоде. Устойчивую доходность вне выборки это пока не гарантирует. Одно из возможных объяснений — переобучение под 2022–2023: агент получает обратную связь только по этим двум годам и оптимизируется под них. Возможно, играет роль и сдвиг рыночного режима. Но эти механизмы остаются гипотезами, а подтверждённый факт один: идея, выглядевшая хорошо на истории, не пережила запечатанный год.

Равновзвешенный рынок как планка выбран неслучайно. Это скучный, дешёвый и трудно превосходимый ориентир, и именно с ним сравнивается любой активный управляющий. Если агент не может его обойти после учёта издержек и влияния на цену, пока рано говорить об автоматизации альфа-исследований.

Как использовать Quant-Arena

Бенчмарк открыт для заявок от любой модели или агентной обвязки. Это ключевая деталь: на лидерборде можно сравнивать не только базовые LLM, но и целые системы с памятью, инструментами, циклами самопроверки и дисциплиной отбора гипотез.

Для команд, строящих агентов для финансов, польза практическая. Во-первых, это готовый стенд с жёстким разделением периодов, на котором легко поймать подгонку под историю. Во-вторых, метрика разнообразия признаков показывает, исследует ли агент пространство гипотез или топчется на месте. В-третьих, учёт рыночного влияния даёт более честную оценку масштабируемости стратегии, чем бэктест без издержек.

Для инвесторов и управляющих вывод проще: громкие заявления об автономных AI-трейдерах стоит проверять по данным вне выборки. Пока лучшая модель в Quant-Arena остаётся ниже пассивного портфеля, роль LLM в квантовых командах выглядит как ассистент для кода и идей, а не как замена исследователя.