SWE-rebench открыл 13 337 починенных RL-задач: Qwen3.5-9B учится на 70% вместо 55%

Представьте, что вы учите модель чинить баги. Вы даёте ей задачу: исправить функцию в реальном репозитории, и проверяете результат тестами. Но тесты проверяют совсем не то, что написано в описании бага, или решение уже лежит в Docker-образе. Тогда модель либо всегда проваливается, либо всегда «успешна», и учиться ей не на чем. Именно с этим столкнулись авторы SWE-rebench и выложили SWE-rebench V2.1 RL: 13 337 бесплатных RL-сред (то есть готовых задач с окружением и проверкой) для обучения кодинг-агентов. В тесте на 100 задачах число тех, на которых Qwen3.5-9B реально чему-то учится, выросло с 55 до 70. Если вы занимаетесь RL-посттрейном, это способ не тратить GPU на мусорные данные.

Что внутри набора

Это задачи из реальных GitHub-репозиториев на 20 языках программирования. Они оформлены в формате Harbor, поэтому их можно подключать к своему RL-пайплайну без ручной упаковки. Набор лежит на hub.harborframework.com в открытом доступе.

Главное отличие от многих открытых датасетов в проверке. Каждую задачу прогнали через кодинг-агентов, которые искали поломки и чинили их. Средняя цена такой работы — $0,24 на задачу. Если умножить на размер набора, получится около 3,2 тысячи долларов на весь объём. Это наша прикидка, а не заявленная авторами сумма, но порядок цифр понятен: почистить данные дешевле, чем тратить вычисления на бесполезные прогоны.

Почему сломанные задачи вредят

В RL модель решает одну и ту же задачу много раз и сравнивает удачные попытки с неудачными. Это похоже на тренера, который сравнивает лучшие и худшие подходы спортсмена. Если упражнение невозможно выполнить или засчитывается любое движение, сравнивать нечего.

С кодовыми задачами встречаются три типичные поломки:

• тесты не совпадают с описанием задачи, и правильное решение их не проходит;
• окружение не поднимается: не ставятся зависимости, падает сборка;
• ответ утекает в Docker-образ, и модель может его найти, а не придумать.

В первых двух случаях все попытки проваливаются, и разницы между ними нет. В третьем все попытки успешны, и учиться тоже не на чем. В обоих вариантах вычислительные ресурсы уходят впустую. По словам авторов, в открытых датасетах таких задач много.

Что показал эксперимент

Проверку сделали на одних и тех же 100 задачах. До починки Qwen3.5-9B училась на 55 из них, то есть на тех, где между попытками есть содержательная разница. После починки таких задач стало 70. Прирост — 15 задач, или примерно на четверть больше полезного материала при том же размере выборки.

Практический вывод простой: перед дорогим запуском RL стоит оценить долю задач, на которых модель получает сигнал. Если она низкая, дешевле сначала почистить набор, чем увеличивать число прогонов.

Ограничения и что делать

Цифры 55 и 70 получены на выборке из 100 задач и на одной модели размером 9B. Авторы не приводят в посте, насколько вырастет итоговое качество агента на бенчмарках после полного обучения. Мы видим рост доли полезных задач, но не прямое улучшение результатов на SWE-подобных тестах. Это стоит проверить на своих моделях и своей инфраструктуре.

Кому это пригодится:

• командам, которые делают RL-посттрейн для кодинг-агентов и не хотят собирать среды с нуля;
• исследователям, которым нужен воспроизводимый набор на нескольких языках, а не только на Python;
• тем, кто строит собственные датасеты: подход «агент проверяет и чинит задачу» за $0,24 можно перенять.

Авторы также обещают новые релизы для опенсорса. Если следующие наборы будут такого же качества, открытых данных для обучения агентов станет заметно больше, и разрыв с закрытыми лабораториями сократится хотя бы в части подготовки среды.