Cursor AI показал ошибки AI-бенчмарков для кода
Cursor опубликовал пять графиков о том, как оценивает модели для программирования, и фактически поставил под удар почти все публичные AI-бенчмарки. Главный тезис: важен не только процент решённых задач, но и цена в токенах, тип реальных запросов и связь офлайн-оценок с тем, как модель ведёт себя в продукте у разработчиков на практике.
AI-обработка оригинала Habr AI; редакция Hamidun News
11 марта 2026 года Cursor AI опубликовал объяснение того, как сравнивает модели внутри продукта, и этим неожиданно ударил по всей индустрии AI-бенчмарков для кода.
Почему AI-бенчмарки часто ошибаются при выборе модели для кода?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что важнее корректность ответа и скорость выполнения (медианное число токенов на завершение).
Почему обычные бенчмарки для AI кода неправильные?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что нужно учитывать корректность ответа и медианное число токенов на завершение.
Что предложил Cursor вместо таблиц лидеров?
Компания показала графики, которые лучше описывают реальную пользу для разработчика, чем привычные проценты решённых задач.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.