Локальные модели проиграли Opus и Codex: на MacBook 0,21 балла против 1,00 у Codex

Можно ли держать «агентную систему судного дня», которая работает без подписки и чужих правил? Автор исследования на Хабре, разработчик проекта open-daimon, проверил это на практике. Он дал одну и ту же задачу облачным моделям, MacBook Pro на Apple M5, игровому ноутбуку с RTX 5080 и NVIDIA DGX Spark. Облако осталось далеко впереди: Codex набрал 1,00, Opus 5.5 — 0,96, а лучший результат на MacBook составил 0,21. Важная оговорка: в опубликованной части материала текст обрывается на описании последнего прогона плотной модели на Spark, поэтому итоговых выводов автора мы не видим.

Зачем понадобились локальные модели и как устроена задача

Мотивы автор приводит прямо. Anthropic в потребительских условиях для жителей ЕЭЗ и Швейцарии запрещает коммерческое использование Claude.ai, Pro и Max, так что работа в Claude Code по подписке Max формально нарушает правила. Он также ссылается на случаи, когда Claude отказался помогать с root на собственном телевизоре LG, а у исследователя после анализа прошивки через ChatGPT заблокировали аккаунт (последнее — только его слова, OpenAI это не комментировала). Добавляются пропажи «расцензуренных» весов на Hugging Face и проверка паспорта через Persona с апреля.

Тест строился на репозитории minibank: около 700 строк Python, многовалютный леджер, и файл DECISIONS.md с решениями команды. Запрос звучал как от менеджера: выписка не сходится с балансом, разберись, починить, проверить, не ломается ли так же где-то ещё. Ловушек семь: конвертер-приманка с docstring «используйте везде», исправленный задним числом курс, граница месяца в UTC, комиссия отдельной строкой, CSV-экспорт с ISO-временем, запрещённый к правке старый конвертер и тест, который закрепляет неверные числа.

Оценка считалась без ведома агента: 20 скрытых тестов дают половину, семь «тонких» условий — 15%, девять заведомо неверных исправлений, которые должны поймать собственные тесты агента, — четверть, правила — 10%. Шкала пересчитана так, что 0 означает «ничего не изменилось», а минус — «сломал больше, чем починил». Лимит — 20 минут.

Что показали облако, ноутбуки и DGX Spark

Облачный эталон: Codex (GPT-6.1 Sol, medium) уложился в 101 секунду и ≈$0,14 за прогон, Opus 5.5 — в 91 секунду и $0,30, Claude Fable 5.1 — в 288 секунд и $1,79. Все трое прочитали DECISIONS.md, обошли приманку и обновили тест-предатель. Разница только в собственных тестах: Codex поймал 9 неверных правок из 9, Opus и Fable — по 8. Повторные прогоны показали, что это шум: у Opus и Fable встречалось и 0,92.

MacBook Pro M5 с 32 ГБ: Qwen3 Coder 30B A3B (MoE, 4 бит) выдаёт 52 ток/с при префилле 743 ток/с, но заменил конвертер и продолжил пересчитывать перевод — оценка 0. Qwen3.8 27B (5,4 ток/с) прочитала DECISIONS.md, но за 20 минут не сделала ни одной правки. Лучшей оказалась Gemma 4 12B: 0,21 за 575 секунд, она взяла проведённую сумму вместо пересчёта, но пропустила UTC, ISO-время и комиссию. Такой результат был лишь в трёх прогонах из десяти, в другом — −0,17. Настройки семплинга разброс не убрали.

Игровой ноутбук с RTX 5080 (16 ГБ видеопамяти) и Qwen3.6-35B-A3B: скорость на контексте 42 тысячи токенов выросла с 9,5 до 94 ток/с после ручной раскладки в LM Studio. Все 40 слоёв на видеокарте, веса экспертов на CPU для 40% слоёв, KV-кэш в q8_0. Автор связывает прежнее падение с тем, что LM Studio выносила на процессор слои целиком вместе с вниманием. Однако скорость не добавила качества: лёгкий харнес pi дал 0,31 за 285 секунд, OpenCode — 0,14 и не уложился в лимит. OpenCode отправляет около 15 тысяч токенов на первом шаге против 2 200 у pi, а его модель нарассуждала 55 тысяч токенов против 11 тысяч.

На DGX Spark (чип GB10, 128 ГБ общей памяти, vLLM, NVFP4 — 4-битный формат с аппаратной поддержкой в чипе) Qwen3.6-35B-A3B, дистиллированная под Opus, получила 0,25: 12 из 20 скрытых тестов и 3 из 7 тонких условий. UTC-месяцы, ISO-время и комиссию эта модель пропустила во всех пяти прогонах на двух машинах, двух серверах и двух харнесах. Плотная ThinkingCap-Qwen3.8-27B при лимите 10 минут оставила пустой diff, хотя правильно назвала главную ошибку в рассуждениях; без лимита она потратила 987 секунд и получила 0,92.

Практический вывод

Автор оговаривает, что задача одна, на Python, а прогонов обычно один-два, поэтому похожие локальные модели между собой этот тест не различит. Но разрыв между облаком и быстрыми локальными моделями шумом не объяснить. Практически видно две вещи. Лёгкий харнес и ручная настройка offload ускоряют локальный агент в разы, но качество определяет размер модели. А единственный локальный результат уровня облака — плотная 27B на Spark — потребовал почти 16,5 минуты вместо полутора.