Дообученная модель на 0,8 млрд параметров обошла GPT-5.4 в разметке грамматики

Команда образовательной платформы для изучающих английский дообучила малые языковые модели Qwen3.5 и запустила версию на 0,8 млрд параметров для всех учеников сервиса. Модель читает транскрипты уроков и размечает грамматические концепты, из которых строится трекер освоения грамматики. На двух бенчмарках с ручной разметкой эта модель и эталонная 4B-версия обошли GPT-5.4 и GPT-5.6 Sol, которым давали промпты, и по точности, и по полноте. Обслуживание подешевело примерно в 16 раз. В онлайн-эксперименте вовлечённость учеников выросла на 15,8%.

Какую задачу закрывали

Корректирующая обратная связь относится к лучше всего подтверждённым факторам освоения второго языка. Но на уроке исправления звучат и тонут в потоке речи. Из них не складывается картина: какие конструкции ученик уже уверенно использует, а где ошибается раз за разом. Frontier-модели умеют вытаскивать такую картину из расшифровок диалогов ученика и преподавателя. На масштабе всей платформы это дорого, потому что каждый урок превращается в длинный запрос к дорогой модели.

Авторы решали это дообучением. Они взяли разметку, сгенерированную моделями-учителями, отфильтровали её и пересбалансировали классы, чтобы редкие грамматические концепты не терялись. На этих данных дообучили Qwen3.5 двух размеров.

Контракт в весах, а не в промпте

Главный инженерный приём в том, что правила аннотации записаны в веса адаптера. Для промптовых моделей приходится каждый раз отправлять подробную инструкцию: что считать концептом, как выделять фрагмент-доказательство, когда ответ считается корректным. Здесь инструкцию «зашили» в обучение. Поэтому с моделью на 0,8B работает компактный согласованный промпт. Экономия идёт сразу по двум статьям: модель меньше, а входной контекст короче.

Сравнение шло по вложенным критериям возрастающей строгости:

• совпадение концепта;
• совпадение фрагмента текста, на который опирается разметка (evidence span);
• корректность самой оценки.

По всем трём уровням обе дообученные модели, 0,8B из продакшена и 4B для сравнения, дали более высокие точность и полноту, чем GPT-5.4 и GPT-5.6 Sol. Стоимость обслуживания 0,8B-модели ниже примерно в 16 раз.

Эффект проверили и на продукте. В онлайн-эксперименте на уровне фичи получились такие результаты:

• вовлечённость учеников: +15,8%;
• запланированные часы занятий: +2,1%;
• GMV от новых уроков: +13,2%.

Чего в аннотации нет

Абстракт не раскрывает несколько важных вещей: абсолютные значения точности и полноты, размер обучающей выборки, длительность и дизайн онлайн-эксперимента. Не названа платформа и не уточнено, какие именно модели генерировали обучающую разметку. Frontier-модели участвовали в сравнении с промптами, без собственного дообучения под задачу. Бенчмарки доменные, поэтому результат нельзя переносить на любую разметку текста. Опубликован препринт, независимой проверки пока нет.

Что можно забрать в практику

Задача здесь узкая и повторяется миллионы раз: структурированная выдача по понятной схеме. Именно в таких местах малая специализированная модель выигрывает у универсальной. Если у команды есть стабильный формат ответа и поток однотипных запросов, имеет смысл посчитать, сколько стоит промптовый frontier-вариант на реальном объёме, и сравнить его с дообученной моделью на 1–4B параметров.

Порядок действий из статьи такой: сначала собрать разметку сильной моделью, затем отфильтровать и выровнять распределение классов, потом дообучить адаптер и сократить промпт до минимума. Оценивать результат стоит на вложенных критериях, как в работе, чтобы видеть, где модель теряет качество: в выборе класса, в привязке к тексту или в итоговой оценке. Выкатывать лучше через онлайн-эксперимент с бизнес-метриками, а не по одному офлайн-бенчмарку.