Локальная Qwen на RTX 5080 выросла с 33% до 88,5% в тесте лабораторного журнала

Когда локальная нейросеть проигрывает облачной, обычно винят железо: мол, видеопамяти мало. Автор серии статей на Habr проверил, так ли это. Его рабочая станция с одной RTX 5080 (16 ГБ видеопамяти и 62 ГБ оперативной) в прошлых тестах показала скромный результат.

В вопросах по электронному лабораторному журналу ранняя Qwen 3.8 IQ2_XS верно ответила лишь на 8 из 24, то есть 33%. После правок на том же компьютере Qwen 3.

8 IQ3_XXS набрала 23,0 балла из 26 возможных (88,5%) на обновлённом наборе из 26 задач и разделила первое место с Claude Opus 5.5. Представьте, что вы запустили локальную модель для разбора кода или данных, а она «глупит».

Причина может быть в том, что сервер тихо выключил кэш диалогов, а лимит токенов обрезает рассуждение посреди фразы. Ниже разобрано, что именно пришлось исправить.

Полная сборка вместо урезанной

Версию Qwen 3.8 Coder IQ1_M ужали до 23,4 ГБ двумя способами. Веса сжали примерно до 1,6 бита, а из каждого слоя вырезали половину маршрутизируемых экспертов: осталось 256 из 512. «Эксперты» здесь — отдельные блоки модели, между которыми она распределяет работу. На простых правках кода потерь почти не видно. Они проявляются, когда надо держать в голове несколько подсистем сразу: вложенные транзакции FireDAC, пересчёт интерфейса, перепаковку архивов проекта и фоновую проверку обновлений со сверкой SHA-256. Тогда урезанная модель раз за разом промахивалась.

Автор взял полную 512-экспертную сборку Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS от лаборатории ISTA-DASLab (2,84 бита на вес, 40 ГиБ экспертов). По таблицам сохранения точности она лишь на 2,3 процентного пункта лучше IQ2_XS: 87,3% против 85,0% от несжатой модели. Но в многоходовом агенте с контекстом около ста тысяч токенов мелкие неточности накапливаются от шага к шагу, и разница становится заметной.

Две ловушки в настройках сервера

Сначала агент всё равно упирался в 45-минутный таймаут. В логах движка Strata нашлись две причины.

Первая: двойное резервирование памяти. Сервер загружал самые ходовые экспертные слоты (7,0 ГиБ) в видеопамять и одновременно пытался закрепить в оперативной памяти все 40 ГиБ экспертов. Свободной ОЗУ оставалось 0,7 ГиБ, поэтому сервер молча отключал кэш диалогов. Без него на каждом шаге длинной сессии агент заново читал 60–100 тысяч токенов истории и терял по минуте. Флаг --resident-experts закрепляет в ОЗУ только дополнение к видеопамяти, то есть 33,5 ГиБ. Освободившиеся 5,4 ГиБ ушли под кэш сессий.

Вторая: обрыв рассуждения. Перед правкой кода модель пишет в теге think план на 6–9 тысяч токенов. В агенте стоял потолок maxTokens 8192, а на сервере был включён режим answer_room. Когда рассуждение доходило до 6144 токенов, сервер принудительно закрывал тег и оставлял 2048 токенов на ответ. Мысль обрывалась на полуслове, модель выдавала комментарий без вызова инструментов, и всё начиналось заново. Автор поднял лимит до maxTokens 16384 и поставил answer_room: false. Холостые обороты исчезли, а модель стала держать 70–81 токен в секунду при контексте 131 072 токена.

Для Windows есть мелочь: закрепление 33,5 ГиБ памяти при старте занимает около 30 секунд. Поэтому сервер лучше держать одним постоянным процессом на всю серию задач.

Что получилось

На 20 задачах Delphi задача считалась решённой, если проект собирается в RAD Studio без новых предупреждений компилятора и проходит скрытые тесты DUnitX. Полная Qwen без дополнительного навыка решила 19 из 20 (95%), как Claude Sonnet 5.5, и прошла все скрытые тесты. Все три задачи, на которых спотыкалась урезанная сборка, она взяла. С подключённым навыком delphi-development результат упал до 17 из 20. Автор считает причиной статистический разброс на единичных запусках: сильная модель и без подсказок читает соседние модули и перенимает стиль проекта.

В тесте ELN Suite 1.1 (26 задач, живой MCP-сервер) локальная модель набрала 23,0 балла (88,5%) и уложилась в 46 минут. Claude Sonnet 5.5 и Gemini 4 получили по 21,0, DeepSeek V4.1 Flash — 19,0. Первый запуск дал 22,0: единственный ноль модель получила на разминочном вопросе, передав булев параметр строкой "True" вместо true. Агентная оболочка OMP такое прощает, а собственный строгий валидатор автора и один из пяти дублирующихся разборщиков параметров в Delphi-сервере — нет.

Практические выводы и оговорки

• Не берите урезанные по экспертам сборки для сложных агентных задач.
• Следите за балансом ОЗУ и кэша диалогов: молчаливое отключение кэша превращает сессию в бесконечное перечитывание контекста.
• Оставляйте рассуждающей модели запас по maxTokens и не включайте принудительное закрытие think.
• Делайте инструменты терпимыми к "True" и null в необязательных полях.

Оговорки важны. Тесты авторские, на закрытых проектах, часть конфигураций прогнана по одному разу. Старые 33% получены на наборе из 24 вопросов, новые 88,5% — на обновлённом наборе из 26 задач. Локальная модель заметно медленнее: 46 минут против 17 у Opus 5.5 и 11 у Sonnet 5.5. Зато прогон стоит $0 против $5,37 у Opus. Если задачи не срочные, а данные нельзя выносить из лаборатории, это серьёзный довод в пользу своего железа.