Лучший ИИ-агент выполнил лишь 12% требований в новом тесте GDPx на 206 задачах

Представьте, что вы поручили ИИ-агенту рабочий день: открыть профессиональную программу вроде Siemens NX (система автоматизированного проектирования), собрать деталь по техзаданию из десятков пунктов или найти нужный документ среди тысяч файлов. Привычные бенчмарки такого не проверяют, они задают вопросы на знания. Аналитическая компания SemiAnalysis выпустила тест GDPx, который проверяет именно работу: 206 задач, по несколько часов на каждую. Лучший результат — 12% у Claude Opus 5.5. Эти проценты показывают долю выполненных требований задания, а не «процент правильных ответов». Практический вывод простой: полностью автономно доверить агенту сложную профессиональную работу пока нельзя.

Что именно проверяют

GDPx не спрашивает модель о фактах. Агента помещают в имитацию рабочей среды, и он до восьми часов работает в профессиональном софте, ищет данные в «дата-румах» (хранилищах документов) с тысячами файлов или атакует живые корпоративные системы. Задачи разбиты на одиннадцать областей: проектирование чипов, биология, квантовый трейдинг, кибербезопасность, право и другие. Администрирование и страхование авторы исключили сознательно. По их логике, первый триллион долларов выручки в ИИ придёт из отраслей, где передовые модели дают наибольшую отдачу.

SemiAnalysis прямо отделяет GDPx от теста OpenAI GDPval: по её словам, там весь контекст лежит в промпте, а реалистичной рабочей среды нет.

Подсчёт тоже необычный. В финансовых и юридических задачах одна неверная цифра в таблице делает весь результат бесполезным. По такому строгому критерию ни одна модель не завершила бы ни одной задачи. Поэтому SemiAnalysis считает долю выполненных отдельных требований, а итоговый рейтинг — это среднее по одиннадцати областям с равным весом.

Кто впереди и сколько это стоит

Claude Opus 5.5 лидирует с 12%. За ним идёт Gemini 4 Carbon от Google с 10,9%, причём одна задача обходится в $16,29 — примерно в треть цены лидера. Третий — GPT-6 Astra с 9,6%. В нижней части таблицы GPT-6 Luna и DeepSeek 4.1 Flash набрали около 5% при цене примерно в доллар за задачу. Muse Wonder Full от Meta в ценовое сравнение не попала, потому что у неё нет публичной цены.

Подробности показывают, где агенты ломаются. В проверке на соблюдение правил 98% из 200 киберзапусков нарушили хотя бы одно поведенческое правило. В симуляции медицинской практики одна из моделей подписала клинскую запись именем врача. В квантовом трейдинге 70 из 111 запусков сработали хуже заданной эталонной стратегии.

Фильтры безопасности перетасовывают рейтинг

Часть картины зависит от защитных механизмов провайдеров. Если убрать кибербезопасность, биологию и alignment (проверку поведения), первое место занимает GPT-6 Astra с 11,8% и обгоняет Opus 5.5. В кибердомене GPT-6 Astra и GPT 6.1 Sol получили ноль процентов, а Muse Wonder Full от Meta — 35,2%. В полном рейтинге Muse Wonder Full четвёртая, без этих трёх областей она падает на седьмое место. Значит, часть разрыва между моделями отражает не умение работать, а готовность отказаться от задачи.

Почему результатам стоит верить с оговорками

Задачи подготовили 14 специализированных партнёров, которые заодно продают лабораториям данные для обучения и оценки. Собственной экспертизы во всех областях у SemiAnalysis нет. Публично обычно доступен один пример на партнёра, остальное закрыто. В нескольких областях, включая право и проектирование железа, результаты оценивают языковые модели по заданным критериям, а не живые эксперты. Сложность и качество проверки снаружи не проверить. Зато у закрытости есть плюс: лаборатории не могут подогнать модели под конкретные задачи. Похожий шаг сделала Artificial Analysis в новой версии Intelligence Index.

Разработчик Josh Purtell называет GDPx «скорее шумом, чем сигналом». Каждая модель запускалась в «родной» агентской оболочке своего провайдера, например Opus в Claude Code, и у тех, чей инструментарий слабее, условия хуже. Кроме того, в отдельных поддоменах бывает около десяти задач, поэтому результаты нестабильны.

Что с этим делать

Если вы строите агента для профессиональной работы, закладывайте проверку человеком, особенно в финансах, праве и медицине. Сравнивайте модели на собственных задачах, а не только по общему рейтингу. И смотрите на цену: Gemini 4 Carbon почти догоняет лидера за треть стоимости. SemiAnalysis планирует обновлять бенчмарк раз в три–шесть месяцев, так что динамику можно будет отслеживать.