IQuest-Q1: открытая MoE-модель на 320 млрд параметров для агентного кодинга в CLI

IQuest-Q1 — новая открытая модель для агентных систем в командной строке. Это разреженная Mixture-of-Experts на 320 млрд параметров, из которых для каждого токена активируются 15 млрд, то есть меньше 5% весов. Авторы описывают трёхстадийный путь: претрейн, промежуточное обучение (mid-training) и постобучение на нескольких скаффолдах. Финальную модель они собирают слиянием экспертов и чекпоинтов с разных этапов. Модель заявлена как сильная и в кодинге, и в общих задачах, а веса выложены в открытый доступ.

Претрейн: как удержать стабильность на 320 млрд параметров

Первая стадия посвящена скучной, но решающей вещи: чтобы огромная MoE-модель вообще училась без срывов. Команда комбинирует три приёма. Stable SplitNorm отвечает за стабильность обучения, оптимизатор Muon за эффективность шага, а muP, то есть параметризация с переносом гиперпараметров между масштабами, позволяет подбирать настройки на малых моделях и не гадать на большой.

Главный результат этой связки авторы формулируют как широкий запас стабильности между безопасным и оптимальным learning rate. Обычно разрыв узкий: чуть выше оптимума, и лосс уходит в расходящуюся траекторию. Чем он шире, тем дешевле ошибка в настройке, а на модели такого размера каждый перезапуск стоит дорого.

Учебный план двухэтапный. На второй стадии претрейна доля кодовых данных в смеси увеличивается. Модель сначала получает общую базу, а затем её смещают в сторону программирования, которое для агентов в терминале является основным навыком.

Mid-training и постобучение: учиться у разных обвязок

Между претрейном и постобучением стоит стадия тонкой настройки состава данных. Смесь расширяется по доменам и форматам, а контекст растёт постепенно. Для агента в CLI это критично: он читает логи, диффы, выводы команд и историю собственных шагов, и всё это быстро разрастается.

Постобучение построено вокруг идеи multi-scaffold и multi-version. Скаффолд — это обвязка вокруг модели: набор инструментов, формат вызовов, цикл действий. Агентные CLI-продукты отличаются друг от друга именно здесь, и модель, обученная под одну обвязку, часто плохо переносится на другую. IQuest-Q1 тренируют сразу на нескольких, чтобы навык не привязывался к одному интерфейсу.

В постобучении сочетаются три инструмента:

• SFT на демонстрациях;
• доменно-специализированный RL, где отдельные эксперты прокачиваются на своих задачах;
• MOPD, который объединяет сигналы от разных источников обучения.

Слияние вместо единственного лучшего чекпоинта

Финальный шаг — model merging. Авторы сливают разных экспертов и чекпоинты с разных стадий и отдельно работают над тем, чтобы обновления параметров не конфликтовали. Это известная проблема: два дообучения, каждое по отдельности полезное, при простом усреднении весов могут гасить друг друга. Если конфликты удаётся снять, получается одна модель, которая сохраняет сильные стороны специалистов, и не нужно держать парк узких версий.

ТТХ

• Архитектура: sparse MoE, 320B параметров всего, 15B активных
• Претрейн: Stable SplitNorm, Muon, muP, двухэтапный учебный план с ростом доли кода
• Mid-training: расширение доменов и форматов, постепенное увеличение контекста
• Постобучение: SFT, доменный RL, MOPD на нескольких скаффолдах и версиях
• Сборка: слияние экспертов и чекпоинтов с контролем конфликтов обновлений
• Лицензирование: открытая модель для исследований и разработки

Кому и зачем смотреть на IQuest-Q1

Для команд, которые строят собственные агенты для терминала, ценность тут двойная. Во-первых, получить открытые веса модели такого класса, где активны 15 млрд параметров, значит платить за инференс как за среднюю модель, а не как за плотную 300-миллиардную. Памяти для хранения весов всё равно потребуется много, поэтому развёртывание рассчитано на серьёзные GPU-кластеры, а не на одну рабочую станцию.

Во-вторых, интересен сам рецепт. Обучение на нескольких скаффолдах, слияние специализированных экспертов и широкий запас по learning rate можно изучать и переиспользовать независимо от самой модели. Практический шаг очевиден: прогнать IQuest-Q1 через собственные задачи в нужной обвязке и сравнить с текущей моделью. Оценка на реальных репозиториях покажет больше любой таблицы бенчмарков.