EinsiaAI запустила Quant Arena: половина из 9 LLM проиграла рынок A-акций

EinsiaAI опубликовала Quant Arena, бенчмарк, который проверяет, умеют ли большие модели работать квантовым исследователем на китайском рынке акций. В тест попали 9 моделей от 6 вендоров. Каждая писала стратегию, запускала бэктест, дорабатывала код и в конце сдавала один финальный вариант. Его прогнали по заранее запечатанным рыночным данным. Прибыль принесли только модели линейки GPT и Opus 5.5, остальные ушли в минус. Лучший результат у GPT-6 Astra: около 10% годовых.

Экзамен, на котором нельзя подогнать ответ

Большинство бенчмарков для кодинга и агентов оценивают, запускается ли программа и проходят ли тесты. В квантовом исследовании этого мало. Код может работать идеально и при этом описывать стратегию, которая красиво выглядит на истории и разваливается на новых данных. Классическая ловушка здесь — переобучение под бэктест: чем дольше модель крутит параметры на известном периоде, тем лучше кривая доходности и тем меньше она стоит.

Quant Arena обходит эту ловушку устройством самого теста. Модель видит историю, может сколько угодно итераций менять логику, но итоговый вариант проверяется на данных, которые она не видела. Так оценивают не умение написать стратегию, а умение не обмануть самого себя.

Условия теста по известным данным:

• 9 моделей от 6 вендоров на одной площадке;
• рынок: китайские A-акции;
• цикл: написание стратегии, бэктест, правка кода, сдача финальной версии;
• финальная проверка: заранее запечатанные котировки;
• в плюсе: линейка GPT и Opus 5.5, остальные убыточны;
• лидер: GPT-6 Astra, около 10% годовых.

Почему A-акции — неудобный экзаменатор

Рынок для такого теста выбран непростой. A-share известен высокой долей розничных инвесторов, дневными ограничениями на изменение цены и правилом T+1: купленную бумагу в тот же день не продать. Стратегия, перенесённая с американского рынка по памяти из обучающих данных, здесь легко ломается о микроструктуру. Модели приходится не пересказывать учебник по моментуму и mean reversion, а учитывать, как именно торгуется этот рынок, и делать это в коде.

То, что половина участников не заработала, выглядит закономерно. Языковая модель хорошо пишет правдоподобный код и правдоподобное обоснование. Рынок же платит только за стратегии, у которых есть статистическое преимущество, а оно рождается не из беглости текста. Показательно и то, что в плюс вышли лишь две линейки. Способность честно оценить собственный бэктест, похоже, зависит от конкретной модели сильнее, чем общий уровень в кодинге.

Стоит смотреть и на масштаб успеха. Около 10% годовых у лучшей модели — результат уровня скромного фонда, а не печатный станок. Пока что бенчмарк показывает разрыв между моделями, а не готовность отдавать им капитал.

Что забрать себе тем, кто строит финансовых агентов

Первое: оценивать агента по финальному результату на закрытых данных, а не по красоте бэктеста, который он сам же и оптимизировал. Если вы строите внутреннего quant-помощника, держите отложенную выборку вне досягаемости модели и не показывайте её даже косвенно.

Второе: выбор модели для финансовых задач нельзя делать по общим рейтингам кодинга. Quant Arena даёт отдельную ось сравнения: насколько модель устойчива к самообману в цикле «написал, проверил, поправил».

Третье: для команд, работающих с китайскими рынками, нужны проверки на местную специфику. Лимиты цены и T+1 стоит закладывать в симулятор сразу, иначе даже сильная модель оптимизирует стратегию под правила, которых на реальной бирже нет.

И последнее. Бенчмарки такого типа быстро устаревают, когда их данные попадают в обучение. Поэтому запечатанная выборка здесь важнее самих рейтингов: именно она делает сравнение моделей осмысленным.