REAP20 ускорила локальный Qwen на 42% без потери точности в DS1000

Выбирая локальную LLM для кода, легко устроить красивый турнир и получить бесполезного победителя. Достаточно взять чужой набор промптов, забыть про лимит рассуждений или сравнить модели в разных режимах. Автор материала сделал почти всё это сам — а затем потратил сотни GPU-часов, чтобы понять, где эксперимент свернул не туда.

Практическая ценность истории именно в ошибках. На RTX 4070 Ti Super с 16 ГБ видеопамяти автор проверял семейство Qwen на DS1000 — наборе из тысячи задач по Pandas, NumPy, SciPy, Scikit-learn, Matplotlib, PyTorch и TensorFlow. Код модели подставлялся в шаблон, выполнялся, а результат сравнивался с эталоном. Это ближе к реальной работе специалиста по данным, чем очередной тест на создание лендинга или игры в браузере.

Первый прогон: скорость без долгих раздумий

В стартовом тесте рассуждения были отключены. Лучшими по числу решённых задач оказались REAP20-28B и Qwen3.6-35B-A3B. Особенно интересно повела себя REAP20: при сопоставимой точности она генерировала ответ на 42% быстрее исходной модели, хотя из неё удалили 20% весов.

Для дневной работы это весомый результат. Если человек ждёт очередной фрагмент NumPy-кода, задержка важнее способности модели размышлять несколько минут. Автор поэтому предложил практичное разделение: быстрая MoE-модель помогает в интерактивном режиме, а более медленная dense-модель ночью выполняет задачи, не требующие постоянного контроля, например предварительное ревью кода.

Но результат нельзя превращать в универсальный рейтинг. DS1000 вышел в 2023 году, часть задач могла попасть в обучающие данные новых моделей. Один прогон не показывает разброс результатов, а разные квантизации и настройки декодирования дополнительно мешают честному сравнению. Наконец, выбор библиотек должен соответствовать реальной работе: автору были важны NumPy, SciPy, Scikit-learn и PyTorch, поэтому позднее он сократил набор с 1000 до 509 задач.

Лимит токенов сломал второй эксперимент

Во втором прогоне автор включил thinking, но оставил на рассуждение 4096 токенов. Это решение перевернуло таблицу. REAP20 более чем вдвое просела по точности, хотя полная версия той же модели почти не изменила результат. Причина оказалась прозаической: примерно в двух случаях из трёх REAP20 упиралась в потолок и не успевала закончить ответ.

Вот простой пример. Модель знает, как написать решение для Scikit-learn, строит верный план, но обрывается до финального кода. Проверяющая система ставит ноль — точно так же, как за полностью неверный ответ. Если смотреть только на итоговую точность, можно решить, что модель стала хуже. На деле сломан измерительный контур.

Это важный урок для любого внутреннего бенчмарка: сохраняйте причину завершения ответа, число использованных токенов, время генерации и долю обрывов. Результаты с finish_reason=length нужно анализировать отдельно, иначе ограничение инфраструктуры маскируется под слабость модели.

Что получилось после исправления

Автор начал последовательно повышать лимит и продолжать оборванные рассуждения. Qwen3.8-27B в режиме максимальных усилий в итоге решила 252 из 509 задач против первоначальных 173. Прирост составил 79 решений, но цена оказалась неприятной: серия итераций заняла около 153 часов. По итоговой точности модель лишь приблизилась к более быстрой Qwen3.6-MoE без рассуждений.

На профессиональной RTX 6000 Pro модель Qwen3.8-Flash-Next-NVFP4 показала 58,1% на полном DS1000 за 8,5 минуты. Однако переносить этот результат на игровую видеокарту нельзя: другое железо, формат весов и конфигурация меняют экономику запуска.

Практический вывод скучный, зато полезный. Сначала соберите небольшой набор собственных задач, зафиксируйте версии библиотек и одинаковые параметры запуска. Затем измеряйте точность, задержку, обрывы по лимиту и стоимость одного успешного решения. Для дневного помощника выбирайте модель по скорости при достаточном качестве; для ночных заданий можно дать больше времени и токенов. И главное — не лечите слабый дизайн эксперимента дополнительными сотнями GPU-часов.