Одна и та же Gemma 4 написала бэкенд на 80% в opencode и лишь на 41% в OpenHands
Можно ли отдать локальной модели настоящий бэкенд с базой, очередью и правилами проекта? Автор прогнал 4 открытые модели через 2 харнесса (программы-обёртки, дающие агенту терминал и редактор): 8 пар по 3 прогона, всего 24. Gemma 4 в opencode прошла около 80% проверок, а та же Gemma в OpenHands — лишь 41%, так что выбирать надо связку «модель + харнесс», а не одну модель.
AI-обработка оригинала Habr AI; редакция Hamidun News
Локальные модели с открытыми весами всё чаще предлагают вместо облачных: код не уходит наружу, а цена не зависит от чужих тарифов. Но можно ли дать такой модели не игрушечную функцию, а настоящий бэкенд — сервис с базой, очередью сообщений и правилами проекта — и получить код, который и работает, и этим правилам следует? Автор проверил это на четырёх моделях и двух харнессах.
Харнесс — это программа-обёртка вокруг модели: она выдаёт агенту терминал и редактор файлов и следит за ходом работы. Каждая из восьми пар «модель + харнесс» прошла задачу по три раза, итого 24 прогона. Процент в заголовке — это доля пройденных проверок (поведение сервиса и соблюдение правил проекта), усреднённая по пяти шагам; для пары берётся медиана трёх прогонов.
Короткий вывод автора — почти получилось: лучшие пары набрали 80% и 79%, но без единого замечания не прошёл никто.
Что проверяли и как
Задача одна: с нуля написать сервис на FastAPI с PostgreSQL и RabbitMQ. Её разбили на пять шагов, как это сделал бы тимлид: каркас, API, доменные правила, база, воркер очереди. Каждый шаг агент выполняет в новой сессии и продолжает собственный код с прошлого шага, поэтому ошибки копятся: если на втором шаге сервис сломан, третий начинается со сломанного. Правила проекта лежат в файле AGENTS.md и описывают чистую архитектуру с элементами DDD.
Оценка шла в три слоя. Первый — 68 скрытых тестов, которые бьют по сервису через HTTP и RabbitMQ; агент их не видит. Второй — 8 общих проверок правил: линтер, типы, границы слоёв, свои зелёные тесты, нетронутые конфиги. Третий — LLM-судья Claude Fable по 22 архитектурным критериям; его оценка идёт отдельным числом. Если не пройдена обязательная проверка (например, миграции не применяются к пустой базе) или агент не уложился в 2 часа на шаг, шаг получает ноль.
Сами тесты автор тоже проверял: эталонное решение написал Claude Code, а ещё были 23 испорченные версии эталона. Поначалу тесты ловили не всё: на первом шаге 3 из 6 испорченных версий проходили, а версия с /ready, отвечающим 62 секунды вместо 5, получала полный балл. Тесты дописали. Судью сверили со вторым судьёй, GPT-5.6-Sol: оценки совпали точно в 27 случаях из 30.
Кто и как справился
Модели: Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super (MoE-модель, из 120 млрд параметров активны 12 млрд) и Devstral 2 (123 млрд параметров). Харнессы: терминальный opencode и более тяжёлая платформа OpenHands с детектором зацикливания.
- Gemma на opencode — 80% (разброс 76–96%). Прогон занимает 72 минуты и 145 тыс. токенов. 81% проверок она проходит все три раза подряд. На OpenHands та же модель набрала 41%, диапазоны прогонов не пересекаются.
- Qwen на opencode — 79% (78–96%). Разницу в сотую при таком разбросе автор считает ничьей. Лучший прогон прошёл все проверки поведения и споткнулся только о линтер — 96%, а с pre-commit-хуком, запускающим линтер сам, один прогон дошёл до 99%. Но прогон занимает 227 минут и 596 тыс. токенов: втрое дольше и вчетверо больше, чем у Gemma. Судья поставил Qwen 87% против 77% у Gemma, однако по тестам пары равны. Все три прогона все проверки проходят у Qwen в 69% случаев.
- Qwen на OpenHands — 59%; все четыре обнулённых шага из-за лимита времени.
- Остальные пары — медианы от 41% до 55%, между собой они не упорядочиваются. Devstral на opencode тратит всего 114–188 тыс. токенов на прогон, но на шагах 4–5 сервис у него нерабочий во всех трёх прогонах.
На чём ломались агенты
Самая трудная проверка: база перестаёт отвечать, соединения остаются открытыми, а /ready должен за 10 секунд вернуть 503. Прошли лишь 2 прогона из 24; из 22 провалов 17 — зависание. В 15 из них код почти одинаков: таймер asyncio вокруг соединения из пула. Выглядит верно, но выход из блока всё равно ждёт ответа сервера. Только Qwen на opencode не поверил и проверил это на поддельном PostgreSQL, который принимает соединение и молчит (около 130 ходов из 169), после чего перешёл на чистый asyncpg с terminate(). Второй прошедший создавал новый engine на каждый запрос, нарушая правило «один engine на процесс», а тест этого не видит.
Gemma на OpenHands портила файлы: команда cat с heredoc без кавычек (<<EOF) задвоила текст в 17 вызовах из 24, с кавычками (<<'EOF') — ни разу из 9. Qwen и Nemotron на том же харнессе всегда пишут с кавычками: 0 сбоев из 97. Испорчены 5 файлов в 2 прогонах из трёх. Агент заметил порчу, но повторил ту же команду 4 раза, и детектор зацикливания оборвал сессию. Почему терминал так себя ведёт, автор не выяснял: это корреляция.
Правило харнесса оказалось сильнее правила проекта. Задание требовало закончить шаг коммитом, но после сжатия длинной истории требование осталось лишь в пересказе, а системный промпт opencode велит не коммитить без явной просьбы. На 13 таких шагах агент ни разу не вызвал git commit. Перенос правила в AGENTS.md помог лишь в 1 случае из 6. А у Gemma в одном прогоне агент сам повредил git-историю, и судье не осталось снимков кода.
Что делать на практике
- Оценивайте пару «модель + харнесс», а не одну модель.
- Обязательные правила отдавайте инструментам (линтер, хуки), а не тексту промпта.
- Не принимайте зелёные тесты как доказательство: проверьте, ловят ли они заведомо сломанный код.
- 19 нояб. 2026 г.Доли Amazon и Google в Anthropic оценили в $308 млрд при IPO по $83 за акцию
- 19 нояб. 2026 г.Gemini 4 Neon от Google работает вдвое быстрее Carbon и на 17% дешевле за задачу
- 19 нояб. 2026 г.Кодинг-агенты OpenAI в пересчёте на API стоят $2400 в день на исследователя
- 19 нояб. 2026 г.Скрипт на GitHub ловит причины отказа App Store и Google Play до ревью: 542 звезды за день
Вопросы и ответы по материалу
Что известно по теме: что проверяли и как?
Задача одна: с нуля написать сервис на FastAPI с PostgreSQL и RabbitMQ. Её разбили на пять шагов, как это сделал бы тимлид: каркас, API, доменные правила, база, воркер очереди. Каждый шаг агент выполняет в новой сессии и продолжает собственный код с прошлого шага, поэтому ошибки копятся: если на втором шаге сервис сломан, третий начинается со сломанного. Правила проекта лежат в файле AGENTS.md и описывают чистую архитектуру с элементами DDD. Оценка шла в три слоя.
Что известно по теме: кто и как справился?
Модели: Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super (MoE-модель, из 120 млрд параметров активны 12 млрд) и Devstral 2 (123 млрд параметров). Харнессы: терминальный opencode и более тяжёлая платформа OpenHands с детектором зацикливания. Gemma на opencode — 80% (разброс 76–96%). Прогон занимает 72 минуты и 145 тыс. токенов. 81% проверок она проходит все три раза подряд. На OpenHands та же модель набрала 41%, диапазоны прогонов не пересекаются. Qwen на opencode — 79% (78–96%).
Что известно по теме: на чём ломались агенты?
Самая трудная проверка: база перестаёт отвечать, соединения остаются открытыми, а /ready должен за 10 секунд вернуть 503. Прошли лишь 2 прогона из 24; из 22 провалов 17 — зависание. В 15 из них код почти одинаков: таймер asyncio вокруг соединения из пула. Выглядит верно, но выход из блока всё равно ждёт ответа сервера. Только Qwen на opencode не поверил и проверил это на поддельном PostgreSQL, который принимает соединение и молчит (около 130 ходов из 169), после чего перешёл на чистый asyncpg с terminate().
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.