OpenAI обнаружила критические ошибки в популярном тесте SWE-Bench Pro

OpenAI провела анализ SWE-Bench Pro — популярного набора тестов для оценки навыков программирования AI моделей — и обнаружила критические проблемы: примерно 30% задач содержат ошибки. В результате компания отозвала свою поддержку и рекомендацию этого бенчмарка.

Что такое SWE-Bench Pro

SWE-Bench Pro (Software Engineering Benchmark Pro) — это стандартизированный тестовый набор, разработанный для объективного измерения способности AI моделей решать реальные задачи программирования. Тест широко используется исследователями, компаниями и независимыми оценщиками как один из основных инструментов для сравнения производительности различных моделей кодирования.

Задачи в SWE-Bench Pro основаны на реальных вызовах из GitHub и требуют от модели не просто написания кода, но и понимания сложных программных систем, исправления багов и работы с нетривиальными сценариями. Именно благодаря такой приближённости к реальности и объективности оценивания тест приобрёл широкую популярность в AI-сообществе и стал стандартом де-факто для публичного сравнения моделей.

30% заданий содержат ошибки или дефекты

Проведённый OpenAI анализ выявил серьёзные проблемы в примерно 30% заданий SWE-Bench Pro. Эти ошибки — от некорректных тестовых случаев до неправильно сформулированных задач и недостаточно корректных эталонных решений — делают результаты тестирования на них недостоверными и вводят в заблуждение при оценке реальных способностей моделей.

Обнаружение таких масштабных проблем в популярном и авторитетном бенчмарке является существенным ударом по надёжности этого инструмента оценки. Если 30% от всех задач — это примерно 90 и более ошибочных тестов, это огромное количество скомпрометированных данных. OpenAI, которая ранее одобрила и публично рекомендовала SWE-Bench Pro как надёжный тест для сравнения моделей, теперь официально отзывает свою поддержку. Это означает, что результаты, полученные на основе этого бенчмарка и широко цитируемые в научных статьях, блогах и сравнительных обзорах, должны интерпретироваться с большой осторожностью.

Почему это принципиально важно

Надёжные и беспристрастные тесты — основа честной оценки возможностей AI моделей. Когда в бенчмарке содержатся систематические ошибки, результаты становятся несопоставимыми, и компании или исследователи могут сделать неправильные выводы о том, какая модель действительно лучше.

Этот инцидент подчёркивает, что даже популярные и широко используемые тесты требуют постоянной проверки, валидации и обновления. Компании и исследователи, полагавшиеся на результаты SWE-Bench Pro при выборе моделей или оценке своих систем, должны пересмотреть свои выводы и быть более осторожными при интерпретации этих данных.

• Около 30% задач в SWE-Bench Pro содержат ошибки или дефекты
• OpenAI отозвала свою официальную поддержку и рекомендацию бенчмарка
• Тест широко использовался исследователями и компаниями для сравнения моделей кодирования

Что это значит

Обнаруженные проблемы в SWE-Bench Pro демонстрируют фундаментальный вызов в оценке способностей AI: создание действительно репрезентативных, беспристрастных и безошибочных тестов исключительно сложно и требует огромных усилий. Сообщество должно тесно сотрудничать над разработкой более надёжных методов оценки, которые бы отражали реальные возможности моделей без артефактов и ошибок в самих тестах.

Это может привести к пересмотру и переоценке сравнительных результатов различных AI моделей, которые ранее публиковались на основе SWE-Bench Pro. Потребуются значительные дополнительные усилия по разработке и независимой верификации улучшенных бенчмарков для оценки навыков программирования AI систем.