Cursor AI показал ошибки AI-бенчмарков для кода
Cursor опубликовал пять графиков о том, как оценивает модели для программирования, и фактически поставил под удар почти все публичные AI-бенчмарки. Главный тезис: важен не только процент решённых задач, но и цена в токенах, тип реальных запросов и связь офлайн-оценок с тем, как модель ведёт себя в продукте у разработчиков на практике.
AI-обработка оригинала Habr AI; редакция Hamidun News
11 марта 2026 года Cursor AI опубликовал объяснение того, как сравнивает модели внутри продукта, и этим неожиданно ударил по всей индустрии AI-бенчмарков для кода.
Почему AI-бенчмарки часто ошибаются при выборе модели для кода?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что важнее корректность ответа и скорость выполнения (медианное число токенов на завершение).
Почему обычные бенчмарки для AI кода неправильные?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что нужно учитывать корректность ответа и медианное число токенов на завершение.
Что предложил Cursor вместо таблиц лидеров?
Компания показала графики, которые лучше описывают реальную пользу для разработчика, чем привычные проценты решённых задач.
- 24 окт. 2026 г.Cognition научила Devin выдавать лимиты по эффективности: шкала 0–100
- 24 окт. 2026 г.Google выпустила EmbeddingGemma 2: пять модальностей в 768-мерном пространстве
- 24 окт. 2026 г.X Square Robot вложит 300 млн юаней в штаб-квартиру в Хэфэе для роботов
- 24 окт. 2026 г.Anthropic тестирует разные лимиты Claude на одинаковых тарифах: разница до 20%
Вопросы и ответы по материалу
Почему AI-бенчмарки часто ошибаются при выборе модели для кода?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что важнее корректность ответа и скорость выполнения (медианное число токенов на завершение).
Почему обычные бенчмарки для AI кода неправильные?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что нужно учитывать корректность ответа и медианное число токенов на завершение.
Что предложил Cursor вместо таблиц лидеров?
Компания показала графики, которые лучше описывают реальную пользу для разработчика, чем привычные проценты решённых задач.
Соберите и запустите AI-продукт без классического кодинга
Практический интенсив Жемала Хамидуна по вайб-кодингу в Claude Code и Cursor на hamidun.com/vibecoding: от идеи и архитектуры до рабочего продакшн-сервиса, ботов и пайплайнов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.