Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Пять нейросетей чинили один баг: две справились, три сломали больше

Автор Habr дал пяти нейросетям один и тот же баг с публикацией сайта: Claude Code и Codex его починили, остальные три сломали ещё больше. Но выбирать лучшую модель по одному багу нельзя: даже на SWE-bench Verified из 500 задач первая десятка различается лишь в 164. Опаснее непочиненного бага правка, которая тихо ломает соседний код: её находят позже. Поэтому принимайте правку по diff и собственному прогону тестов, а не по отчёту ИИ.

AI-обработка оригинала Habr AI; редакция Hamidun News
Пять нейросетей чинили один баг: две справились, три сломали больше
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1В Verified два лидера решают по 396 задач из 500
Ключевой факт #2Одна модель в разных оболочках колеблется до 29,8 п.п.
Ключевой факт #3Усиленные тесты снизили долю решённых задач у топ-10 агентов на 4,2–9,0%

Один баг, пять нейросетей, два результата. Автор поста на Habr отдал одно и то же исправление ошибки с публикацией сайта на сервер пяти ИИ-моделям. Claude Code и Codex баг починили. Три остальные сломали ещё больше, чем было. Хочется записать первых двух в лучшие, но сам автор от этого соблазна отказывается. Зато эксперимент хорошо показывает, какая ошибка опаснее и как её ловить до того, как правка попадёт в проект.

Почему по одному багу лучшую нейросеть не выбрать

Один эксперимент показывает манеру работы конкретной модели, но не рейтинг. Это подтверждают и большие бенчмарки. SWE-bench Verified — набор из 500 задач с автоматической проверкой, взятых из реальных проблем на GitHub и отобранных людьми вместе с OpenAI. Два лучших результата решают по 396 задач из 500. Первая десятка различается результатами лишь в 164 задачах (Liu и соавторы, arXiv). Парный тест, проверяющий, не случайна ли разница между соседями по таблице, не разделил ни одну из 29 соседних пар в первой тридцатке.

Есть и второй фактор: оболочка. Это программа вокруг нейросети, через которую та читает файлы проекта и запускает команды. По данным тех же авторов, у одной модели разброс между оболочками доходит до 29,8 процентного пункта доли решённых задач. У всей первой тридцатки разброс всего 8,8 пункта. Получается, что обвязка меняет результат втрое сильнее, чем разница между первым и тридцатым местом. Если 500 задач не разводят соседей, то один баг не разведёт их тем более: на другой задаче расклад может выйти иным.

Что опаснее: непочиненный баг или тихая регрессия

Непочиненный баг виден сразу. Опасна правка, после которой перестало работать то, что работало раньше. Такую поломку называют регрессией, и находят её обычно позже.

Причины две. Первая — лишние правки. Агент трогает больше, чем просили, и не проверяет остальное. Anthropic в документации Claude Code пишет прямо: если агенту нечего запустить, чтобы понять, готова ли работа, он останавливается, когда она выглядит готовой. Роль тестов тогда достаётся человеку. Бенчмарк SlopCodeBench (разбор на TechRadar) показал, что код агентов в 2,2 раза многословнее и запутаннее, чем в 48 Python-проектах, которые поддерживают люди. Многословность росла по ходу задачи в 89,8% прогонов, запутанность — в 80%. Чем больше строк задевает правка, тем больше места для регрессии.

Вторая причина — слабые тесты. Код может пройти все автотесты и всё равно упустить важные случаи. В работе Probe to Generate исследователи усилили тесты и перепроверили десять лучших агентов для починки кода. Доля решённых задач упала на 4,2–9,0%. Часть принятых ранее правок прошла через дыры в тестах и не делала всего, что требовала задача. Вывод простой: отчёт нейросети «починено» ничего не доказывает. Проверять нужно изменения и результаты тестов.

Как ограничить агента и проверить его правку

Узкая постановка задачи снижает риск ещё до начала работы. Что стоит указать:

  • файл и функцию, где сидит баг;
  • как баг воспроизвести и что должно получиться;
  • прямой запрет трогать остальной код;
  • просьбу сначала показать план, а код писать после вашего ответа;
  • тест, который падает до правки и проходит после.

Постоянные запреты удобно держать в файле правил для агента, чтобы не повторять их в каждой задаче. Это важно ещё и потому, что в Claude Code новые сессии в терминале и VS Code по умолчанию стартуют в авто-режиме, где команды выполняются без подтверждения каждой. Чем реже вы подтверждаете шаги, тем внимательнее нужно смотреть на итог.

Проверка правки по шагам:

  1. Открыть весь diff и найти файлы и функции, которые не просили трогать. Три строки в одной функции и двести строк в шести файлах несут разный риск, хотя обе правки зовутся починкой.
  2. Сверить изменения с задачей. Переименованная переменная, переписанная соседняя функция или удалённая проверка ввода — повод вернуть правку.
  3. Убедиться, что есть тест на сам баг. Нет — попросить написать.
  4. Запустить полный набор тестов самостоятельно и посмотреть, не менял ли агент сами тесты. Если тестов в проекте нет, сначала нужен тест, воспроизводящий баг.
  5. Повторять прогон после каждой доработки: новая правка может задеть то, что прошло в прошлый раз.
  6. Привлечь второй взгляд. Документация Claude Code советует поручить субагенту, то есть отдельному экземпляру нейросети, проверить diff по спецификации и краевым случаям без замечаний про стиль. Там же описан стоп-хук: скрипт, который возвращает агента к работе, пока проверка не пройдёт.

Как выбирать модель для своего проекта

Победителя по одному багу назвать нельзя. Результат даёт пара из модели и оболочки, а среду вы во многом настраиваете сами: режим подтверждений, файл правил, проверки. Практичнее отдавать правки той модели, чью работу на ваших задачах проще проверить: она меняет мало строк, пишет тест на баг и не лезет в файлы, о которых её не просили. Это видно уже за несколько задач в вашем репозитории, а таблица лидеров тут не поможет.

Ограничение у истории честное: это один эксперимент одного автора, и автор сам оговаривает, что на другом баге всё могло бы сложиться иначе. Но практический вывод от этого не слабеет. Опаснее та модель, которая уверенно отчиталась о починке и задела соседний код. Решение о правке должен принимать человек: по изменённым строкам и по тестам, которые он запустил сам.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему по одному багу лучшую нейросеть не выбрать?

Один эксперимент показывает манеру работы конкретной модели, но не рейтинг. Это подтверждают и большие бенчмарки. SWE-bench Verified — набор из 500 задач с автоматической проверкой, взятых из реальных проблем на GitHub и отобранных людьми вместе с OpenAI. Два лучших результата решают по 396 задач из 500. Первая десятка различается результатами лишь в 164 задачах (Liu и соавторы, arXiv).

Что известно по теме: что опаснее: непочиненный баг или тихая регрессия?

Непочиненный баг виден сразу. Опасна правка, после которой перестало работать то, что работало раньше. Такую поломку называют регрессией, и находят её обычно позже. Причины две. Первая — лишние правки. Агент трогает больше, чем просили, и не проверяет остальное. Anthropic в документации Claude Code пишет прямо: если агенту нечего запустить, чтобы понять, готова ли работа, он останавливается, когда она выглядит готовой. Роль тестов тогда достаётся человеку.

Что известно по теме: как ограничить агента и проверить его правку?

Узкая постановка задачи снижает риск ещё до начала работы. Что стоит указать: файл и функцию, где сидит баг; как баг воспроизвести и что должно получиться; прямой запрет трогать остальной код; просьбу сначала показать план, а код писать после вашего ответа; тест, который падает до правки и проходит после. Постоянные запреты удобно держать в файле правил для агента, чтобы не повторять их в каждой задаче.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…