SWE-Duel: кодинг-агенты сами пишут друг другу баги, GPT-5.5 чинит 98,3%

Статические бенчмарки для кодинга стареют быстро: задачи попадают в обучающие выборки, а сильные агенты упираются в потолок. Авторы препринта SWE-Duel (arXiv cs.CL) предлагают другой подход: оценка, в которой нет заранее заготовленного контента. Два агента по очереди создают задачи друг для друга и друг друга проверяют. В турнире на 1500 ходов участвовали 11 связок «модель + обвязка» на 15 репозиториях в пяти языках. Первое место занял GPT-5.5 с Codex CLI: он исправляет 98,3% дефектов, которые попадают к нему на ревью.

Как устроен дуэльный ход

В каждом ходу агент Red работает с реальным репозиторием в трёх изолированных по контексту сессиях. Сначала он придумывает и реализует новую фичу вместе с тестами на неё. Затем встраивает в эту фичу тонкий баг и пишет запечатанные тесты, которые этот баг ловят. На выходе получается pull request.

В набор задач он попадает только при двух условиях. Во-первых, PR проходит тесты фичи и существующие тесты репозитория и при этом падает ровно на тестах бага. Во-вторых, свежая сессия того же агента должна вслепую починить баг. Второе условие отсекает неразрешимые задачи: если автор сам не может исправить собственную закладку, она не засчитывается.

Дальше в игру вступает Blue. Ему не сообщают, что в PR есть баг, он просто делает ревью. Победа засчитывается, только если его правка проходит все три набора тестов. После этого агенты меняются ролями. Сложность таким образом не фиксируется при релизе, а растёт вместе с силой участников.

Кто и как выигрывает

Лидеры побеждают разными способами. Авторы отдельно выделяют два профиля: сильнейший решатель и сильнейший автор задач.

• GPT-5.5 + Codex CLI: первое место, лучший решатель, чинит 98,3% проверяемых дефектов.
• Claude Opus 4.8 + mini-swe-agent: второе место, лучший автор задач, доля побед Red 27,3%.
• Масштаб турнира: 11 участников, 15 репозиториев, пять языков, 1500 ходов.
• Внутри одного семейства моделей задачи новейшей версии побеждают фиксированного эталонного решателя в 42,9% случаев, задачи старых версий в 4,0%.

Последняя цифра, пожалуй, самая интересная. Она предварительно указывает, что сложность задач растёт вместе со способностью модели их придумывать. Для бенчмарка, который должен «расти сам», это главное свойство. Если оно подтвердится на большем числе семейств, потолок насыщения перестанет быть проблемой: более сильные авторы будут автоматически готовить более трудные экзамены.

Отдельно стоит помнить, что участники здесь представлены парами «модель + обвязка». Рейтинг показывает качество всей связки, а не только весов модели. Сами авторы называют результат про рост сложности предварительным, и это честная оговорка: данные получены внутри одного турнира.

Что можно взять в работу

Идею можно применять и без арены на 11 участников. Команде, которая выбирает кодинг-агента, полезно прогнать его на собственном репозитории по схеме дуэли. Агент пишет фичу с тестами, прячет баг, а второй агент или свежая сессия пытается его найти и исправить. Публичный лидерборд такого не покажет: на ваших задачах он может быть уже «зашит» в обучение моделей.

Практические выводы такие. Разделяйте метрики: способность чинить чужой код и способность придумывать трудные задачи измеряют разные навыки, и лидеры в них не совпадают. Фильтр допуска задач (проходит все тесты, кроме бага, и решается вслепую) стоит перенять как отдельный шаблон контроля качества для любых синтетических оценок. И при сравнении продуктов смотрите на конкретную связку модели и обвязки, а не только на название модели.