NVIDIA предсказывает лучшего кодинг-агента до дообучения: рейтинг совпал на 96%

Представьте, что вы выбираете модель, на которой будете строить ИИ-агента для программирования. Кандидатов несколько, а дообучить каждого стоит сотни тысяч долларов, поэтому выбирать приходится заранее. Привычные тесты тут плохо помогают: часть задач HumanEval и SWE-bench утекла в обучающие данные, а в SWE-Bench Pro заметная доля задач составлена с ошибками.

Исследователи NVIDIA предложили другой путь: не заставлять базовую модель решать задачу, а показать ей запись работы сильного агента и проверить, узнаёт ли она решающую правку кода. Рейтинг десяти моделей по такой проверке совпал с рейтингом после дообучения на 96%: корреляция Спирмена равна 0,964, где 1 означает полное совпадение порядка, а −1 перевёрнутый. У HumanEval этот показатель −0,394, то есть порядок скорее обратный.

Практический смысл прост: слабых кандидатов можно отсеять до того, как вы потратите деньги на дообучение.

Почему старые тесты не работают

HumanEval вышел в 2021 году вместе с Codex: 164 небольшие задачи на Python, по сложности как вопросы для джуниора на собеседовании. Со временем выяснилось, что задачи лежат в открытом доступе и попадают в обучающие наборы. Исследователи из Беркли нашли от 8 до 18% задач HumanEval в RedPajama и StarCoder-Data, а команда Allen AI встретила открытый датасет, совпадавший с ним на 70,7%.

Затем индустрия перешла на SWE-bench Verified. 23 февраля 2026 года OpenAI перестала публиковать его результаты: из 138 задач, которые её модель o3 стабильно не решала, в 59,4% нашлись ошибки в тестах или в условии. Кроме того, GPT-5.2, Claude Opus 4.5 и Gemini 3 Flash по номеру задачи воспроизводили эталонное исправление, то есть как будто видели ответы заранее. Рекомендованный взамен SWE-Bench Pro OpenAI проверила меньше чем через пять месяцев и признала сломанными около 30% задач. В одной из них условие показывает отступ в один пробел, а скрытые тесты ждут два, так что честное выполнение условия проваливает задачу.

Что предложила NVIDIA

Можно ли просто посадить базовую модель за реальную задачу? Команда попробовала: шесть базовых моделей запустили агентами на SWE-bench Verified. Пять не решили ни одной задачи, хотя после дообучения те же модели решают от 39 до 81%. Базовая модель умеет только продолжать текст. Вместо вызова инструмента она часто дописывает диалог сама, вплоть до выдуманного результата команды.

Поэтому в работе Before They Can Solve (22 автора, 7 октября 2026 года) модели не просят решать задачу. Ей показывают запись работы сильного агента (GPT-5.6-Sol, Claude Opus 5, Kimi-K3) и проверяют только решающий момент. Запись проигрывают по шагам, после каждой правки запускают тесты проекта и находят первую правку, после которой они проходят. Дальше три способа проверки:

• Насколько «естественным» модель считает правильный ход. Измеряют BPB, то есть сколько бит информации нужно, чтобы закодировать байт верного ответа. Чем меньше, тем лучше.
• Выбор из четырёх вариантов следующего шага: один верный, три правдоподобных, но не прошедших тесты. Варианты переставляют по позициям, чтобы убрать любовь модели к букве A.
• Завершение чужой работы: модель получает запись до решающего шага и сама действует до трёх шагов, с несколькими попытками.

Верный ответ везде определяют тесты самого проекта, а не человек и не другая нейросеть.

Что получилось и где подвох

Проверили десять базовых моделей: три Nemotron-3, Qwen-3.5-35B-A3B, DeepSeek-V4 Flash и Pro, Kimi-K2, GLM-4.5-Air, Hy3 и Gemma-4-26B. Рейтинг по проверкам сравнили с рейтингом дообученных версий на SWE-bench Verified. BPB на решающем шаге дал 0,964 (по всем шагам записи только 0,915). При записях из самого SWE-bench Verified завершение чужой работы дошло до 0,988. У HumanEval корреляция −0,394: модели с лучшим результатом в среднем оказывались слабее как агенты.

Одна из причин — узкий разброс. На MBPP десять моделей уложились в диапазон 67–86%, а итоговые агенты разошлись от 38,8 до 80,6%. Такой тест плохо отличает сильного кандидата от слабого. Для масштаба затрат: DeepSeek потратила на дообучение R1 около 147 000 GPU-часов на H800, примерно 294 тысячи долларов по её собственной оценке, и это только удачный запуск без экспериментов.

Аудит NVIDIA затронул и APTBench от Tencent: из 1682 вопросов 727 (43,2%) оказались некорректными, а в разделе про обработку ошибок — 90,5%. Их неправильные варианты готовили языковые модели. Оговорка: аудит тоже шёл с помощью ИИ-агента по заданным критериям, а общий результат APTBench всё же коррелирует с рейтингом на 0,88–0,90.

У самого метода есть ограничения. В контролируемом эксперименте дообучили всего три модели, и порядок совпал с официальным, но авторы сами называют это продолжением тренда, а не доказательством. На записях из других бенчмарков совпадение было слабее. Метод пока исследовательский, готового инструмента нет.

Практический вывод для команд, которые выбирают базу для агента: не опирайтесь на HumanEval и MBPP, берите проверки, привязанные к реальным правкам в репозитории, а правильный ответ определяйте тестами проекта. Логика та же, что в найме: структурированное интервью про реальную работу предсказывает результат лучше общего теста на эрудицию.