Автор LANN-4 показал: повторное дообучение малой LLM упирается в потолок

Если одну и ту же небольшую языковую модель подучивать на примерах несколько раундов подряд, лучше она от раза к разу не становится. Первый раунд даёт заметный прирост, затем рост останавливается. К такому выводу пришёл автор серии заметок на Habr, чьи опыты идут на модели, которая помещается в обычную домашнюю видеокарту. Следующий эксперимент съест примерно сутки GPU, и перед ним автор просит читателей поискать слабые места в схеме проверки.

Зачем всё это затевалось

В первой статье автор исследовал вопрос: может ли малая модель умнеть со временем без роста числа параметров? Вместо раздувания весов он делал ставку на три вещи: память, аккуратное дообучение и проверку ответов. Во втором тексте он раскрыл, к чему это ведёт. Опыты — шаги к архитектуре LANN-4, нейросети, которая учится всю «жизнь». У неё должен быть небольшой неизменный «мозг» и память, вынесенная наружу.

Автор сразу оговаривает: самой LANN-4 пока не существует. Архитектура не выбрана и не построена, а модели в экспериментах служат подопытными инструментами. Готового продукта или бенчмарков новой системы в публикации нет. Это отчёт об исследовании, причём с отрицательным результатом.

Что не сработало

Проверяли простую вещь: даст ли накопление эффект, если дообучать одну и ту же модель на примерах много раз подряд. Накопления не вышло. Из текста следует такая картина:

• размер модели: помещается в обычную домашнюю видеокарту;
• первый раунд дообучения: заметный прирост качества;
• последующие раунды: рост останавливается, потолок достигается быстро;
• вывод автора: простое повторное дообучение не превращает малую модель в систему, которая улучшается всю жизнь;
• стоимость решающей проверки: около суток работы видеокарты.

Причины остановки в анонсе не раскрыты, они, видимо, разбираются в основном тексте. В литературе по непрерывному обучению обычно называют забывание ранее выученного, насыщение на однотипных данных и упор в ёмкость самой модели. Но это общий контекст, а не утверждения автора. Какая из версий сработала именно здесь, из анонса не узнать.

Почему результат полезен

Отрицательные результаты в открытых экспериментах с ИИ публикуют редко, хотя экономят чужое время. Здесь он к тому же упирается в практический вопрос. Идея «маленький фиксированный мозг плюс внешняя память» привлекательна: она обещает обучение без переобучения всех весов и работу на потребительском железе. Если же сама модель после первой итерации перестаёт усваивать новое, нагрузка целиком ложится на внешнюю память и на механизм проверки ответов. Именно туда автор и смещает фокус.

Отдельно стоит упомянуть сам формат: автор не выкатывает решающий запуск, а выкладывает его дизайн на критику заранее. Сутки на одной видеокарте не так дорого, но на домашнем железе это сутки без других экспериментов. Ошибка в постановке обойдётся дороже самих вычислений.

Что с этим делать практикам

Если вы дообучаете небольшие модели под свои задачи, из заметки можно вынести три вещи. Не рассчитывайте, что повторные раунды на тех же данных будут давать сопоставимый прирост: замеряйте качество после каждого раунда на отложенной выборке и останавливайтесь, когда кривая выходит на плато. Держите проверку ответов отдельно от обучающих данных, иначе потолок можно принять за прогресс или наоборот. И если вам интересна тема непрерывного обучения, посмотрите на исходную статью на Habr и попробуйте найти изъяны в схеме решающего эксперимента: автор прямо просит об этом до запуска.