Лучшая ИИ-модель решает лишь 12% рабочих задач в новом бенчмарке GDPx

Лучшая модель на сегодня решает 12% реальных профессиональных задач. Цифра похожа на опечатку, особенно если в вашем репозитории уже лежит проект, написанный ИИ. Но именно её показал новый бенчмарк GDPx от SemiAnalysis.

Что за бенчмарк

SemiAnalysis известна разборами рынка полупроводников и экономики ИИ. 2 ноября компания опубликовала GDPx. Авторы — Макс Кан, Эндрю Мегалаа и основатель компании Дилан Пател — задумали его как самый строгий тест агентных способностей. Проверяют не знание фактов и не умение решать олимпиадные задачки, а работу над заданиями, за которые бизнес готов платить деньги.

Выбор авторов показателен: компания смотрит на ИИ с точки зрения денег — сколько стоят чипы, дата-центры и токены. Для неё главный вопрос не «насколько модель умна», а «окупается ли она». Отсюда и акцент на оплачиваемых задачах.

Лучший общий результат показал Claude Opus 5.5 от Anthropic. И это те самые 12%. Остальные модели, соответственно, ниже.

Важная оговорка: в доступном нам фрагменте нет деталей методики — состава задач, способа оценки и результатов других моделей. Перед тем как цитировать цифру в презентации, откройте оригинальную публикацию SemiAnalysis.

Почему агентам так тяжело

Реальная рабочая задача — это не один ответ, а цепочка шагов: разобраться в контексте, выбрать инструменты, сделать, проверить, поправить. Простая арифметика показывает, чем это грозит. Если агент справляется с каждым шагом в 90% случаев, то на цепочке из десяти шагов он дойдёт до конца успешно примерно в 35% случаев. Это иллюстрация, а не данные GDPx, но механика та же: ошибки накапливаются, а в коммерческой работе результат «почти правильно» часто равен нулю.

Отсюда разрыв между ощущением и цифрой. Когда вы просите модель написать функцию или набросать скрипт, она часто попадает. Когда вы отдаёте ей задачу целиком — с неполным брифом, чужим кодом и требованием довести до рабочего состояния, — картина другая. Проект, написанный ИИ, который «вроде работает», и задача, закрытая так, что клиент заплатил, — разные вещи.

Что с этим делать

Для разработчиков: не оценивайте агента по демо. Соберите 20–30 своих реальных задач с понятным критерием приёмки и прогоните модель на них. Это и будет ваш личный мини-GDPx. Фиксируйте долю задач, закрытых без правок человека, — эта метрика честнее любых средних оценок.

Для продактов: закладывайте человека в контур. Если фича обещает полностью автономную работу, ваш реальный охват может оказаться в разы меньше, чем в маркетинговых слайдах. Считайте экономику с учётом проверки и доработки результата.

Для основателей: 12% — не повод закрывать агентные проекты. Это повод выбирать узкие сценарии, где цепочка короткая, а проверка дешёвая, и не продавать «замену сотрудника». Бенчмарк с таким низким потолком, кстати, полезен тем, что не насыщается: есть куда расти, и по нему будет видно прогресс следующих моделей.

Ограничения

Один бенчмарк — не вся реальность. Его авторы определили, что считать «реальной профессиональной задачей», и другой набор задач даст другие цифры. К тому же SemiAnalysis — аналитическая компания, а не независимая лаборатория, поэтому стоит посмотреть, насколько воспроизводимы результаты и открыт ли набор задач. Но сам сигнал ясен: между «пишет код» и «выполняет работу» всё ещё большая дистанция, и измерять её стоит на своих задачах.