Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Qwen3-0.6B дообучили на Mac mini: ошибок в ответах стало 3 из 30 вместо 9

Крошечная Qwen3-0.6B отвечает на вопросы по блогу прямо в браузере и раньше выдумывала детали, которых нет в найденных фрагментах. После дообучения на Mac mini M4 за 1 час 20 минут ошибочных ответов на 30 вопросах стало 3 вместо 9, верных осталось 16 против 17. На 15 вопросов вне темы блога она честно отказалась отвечать. Малой модели лучше учить короткие ответы по тексту, а не пересказ.

AI-обработка оригинала Habr AI; редакция Hamidun News
Qwen3-0.6B дообучили на Mac mini: ошибок в ответах стало 3 из 30 вместо 9
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Обучение4500 примеров от Claude Opus, одна эпоха, LoRA
Версия v1 стала хуже8 верных ответов из 30 вместо 17
Ключевой факт #3Ошибка на проверочных данных падала, а верных ответов: 18, 11, 9

Представьте поиск по вашему блогу или документации: система находит четыре подходящих фрагмента, а маленькая языковая модель прямо в браузере должна коротко ответить на их основе. Звучит удобно: не нужен сервер, не нужно платить за токены. Но модель на 0,6 млрд параметров (это Qwen3-0.6B) часто выдумывает детали, которых во фрагментах нет. Разработчик решил проверить, можно ли это исправить дообучением. Результат: на 30 вопросах, ответ на которые в блоге есть, ошибочных ответов стало 3 вместо 9. Ответов, которые соответствуют источнику, осталось 16 против 17 у исходной модели, а на все 15 вопросов вне темы блога она отказалась отвечать. Самое полезное в истории то, как автор к этому шёл: из четырёх попыток три оказались неудачными.

Как устроен эксперимент

Модель получает короткий системный промпт, четыре пронумерованных фрагмента из семантического поиска и вопрос. Ответить нужно не больше чем двумя предложениями и только по этим фрагментам. Если ответа в них нет, она должна сказать, что блог, похоже, эту тему не освещает.

Оценочный набор состоял из 45 вопросов: 30 с ответом в блоге и 15 без него. Учить модель на собственных постах автора было бы жульничеством, к тому же их всего 16. Поэтому он взял 2193 технических документа с открытыми лицензиями: блог Go, блог Rust, Rust RFC и Python PEP. Документы нарезали на фрагменты и построили эмбеддинги так же, как на сайте, чтобы модель привыкла к реальному шуму поиска. Иногда ответ лежит в первом фрагменте, иногда в четвёртом, а иногда рядом оказывается почти такой же текст из другой публикации.

Вопросы к фрагментам писал Claude. В одних случаях ответ был среди найденного, в других документ-источник убирали, чтобы модель училась отказываться. Были и «почти попадания»: вопросы по близкой теме, на которые фрагменты не отвечают. Ответы затем писала Claude Opus. Это дистилляция: большая модель показывает поведение, малая его повторяет. Обучение шло через LoRA и библиотеку mlx-lm на Mac mini с чипом M4 и 24 ГБ памяти: одна эпоха по 4500 примерам заняла около 1 часа 20 минут. Каждую версию сравнивали с исходной моделью, экспортированной в тот же 4-битный формат, так что отличалось только дообучение.

Три неудачи на пути к результату

Первая версия стала хуже базовой: только 8 ответов из 30 опирались на источник вместо 17. Зато выдуманных ответов на вопросы вне темы не было. Модель переняла у Opus две привычки. Первая: добавлять оговорки вроде «подробностей в блоге нет». Они были примерно в 10% обучающих ответов, а у дообученной модели появлялись почти в каждом третьем, часто там, где нужная информация во фрагментах была. Вторая: втискивать в ответ побольше деталей. Так «king» и «queen», которые в статье стоят близко, превратились в «king» и «bicycle», якобы близкие друг к другу.

Во второй версии оговорки вычистили скриптом, но верных ответов стало лишь 9 из 30. Самое поучительное в контрольных точках, сохранённых после четверти, половины и целой эпохи. Ошибка на проверочных данных (validation loss) снижалась на каждой, то есть модель всё точнее копировала слова Opus. А верных ответов на вопросах из блога становилось меньше: 18, 11 и 9. Модель такого размера воспроизводит форму насыщенного ответа, но не его содержание, и чем лучше копирует, тем больше путается.

В третьей версии вопросы и фрагменты не менялись, переписали только ответы: одно короткое предложение с фактом, максимально близкое к формулировке источника. Без склейки фактов из разных фрагментов и без комментариев об отсутствии информации. Средняя длина ответа упала со 180 до 123 символов.

Итог: 16 ответов из 30 соответствуют источнику (против 17, разница в один ответ на такой выборке укладывается в шум), ошибочных 3 вместо 9. Например, на вопрос про видеокарту для Llama 70B базовая модель выдала абзац советов, опираясь на фрагменты об эмбеддингах и ИИ-агенте, а дообученная отказалась. Цена осторожности: на 11 из 30 вопросов с ответом в блоге она тоже заявляет, что темы нет, у базовой модели таких случаев 4.

Для страницы поиска, где фрагменты видны под ответом, это разумный обмен: лишние секунды чтения лучше уверенной неправды.

Четвёртая версия добавила 1200 широких вопросов вроде «Что в блоге написано о X?», чтобы убрать необоснованные отказы. Верных ответов стало 13 из 30, то есть хуже третьей.

Что взять в работу

  • Малая модель легче перенимает стиль примеров, чем умение за ним. Учите её только тому, что она способна воспроизвести по содержанию.
  • Не ориентируйтесь на validation loss. Проверяйте контрольные точки на своей реальной задаче.
  • Поручайте маленьким моделям извлечение конкретного факта, а не обобщение нескольких источников.
  • Небрежно сгенерированные обучающие данные дадут не то поведение, на которое вы рассчитывали.

Модель, набор данных и код автор выложил в открытый доступ, а загружать её в браузере теперь нужно меньше данных, чем для исходной.

Ограничения тоже стоит помнить. Тридцать вопросов мало для статистических выводов, а снижение ошибок с 9 до 3 нельзя считать научным результатом. Ответы оценивала та же семейство моделей Claude, которая писала обучающие примеры, поэтому оценщик мог отдавать предпочтение знакомому стилю. Если повторяете подход для своей документации, переписывайте промпт и фразу отказа под свой домен и заново генерируйте ответы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен эксперимент?

Модель получает короткий системный промпт, четыре пронумерованных фрагмента из семантического поиска и вопрос. Ответить нужно не больше чем двумя предложениями и только по этим фрагментам. Если ответа в них нет, она должна сказать, что блог, похоже, эту тему не освещает. Оценочный набор состоял из 45 вопросов: 30 с ответом в блоге и 15 без него. Учить модель на собственных постах автора было бы жульничеством, к тому же их всего 16.

Что известно по теме: три неудачи на пути к результату?

Первая версия стала хуже базовой: только 8 ответов из 30 опирались на источник вместо 17. Зато выдуманных ответов на вопросы вне темы не было. Модель переняла у Opus две привычки. Первая: добавлять оговорки вроде «подробностей в блоге нет». Они были примерно в 10% обучающих ответов, а у дообученной модели появлялись почти в каждом третьем, часто там, где нужная информация во фрагментах была. Вторая: втискивать в ответ побольше деталей.

Что известно по теме: что взять в работу?

Малая модель легче перенимает стиль примеров, чем умение за ним. Учите её только тому, что она способна воспроизвести по содержанию. Не ориентируйтесь на validation loss. Проверяйте контрольные точки на своей реальной задаче. Поручайте маленьким моделям извлечение конкретного факта, а не обобщение нескольких источников. Небрежно сгенерированные обучающие данные дадут не то поведение, на которое вы рассчитывали.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…