Почему повторное дообучение упирается в потолок: исследование LANN-4

Это не объявление готовой архитектуры, а промежуточное исследование с честным отчётом о том, что получилось и что нет. Автор просит конкретную критику. Все правила и наборы задач зафиксированы заранее с отпечатками — нельзя подогнать результат; результаты пересчитаны независимо другим кодом, написанным не тем человеком, что ставил опыт. Это защита от самообмана.

LANN-4 — нейросеть, которая учится всю жизнь с небольшим неизменным ядром и вынесенной наружу памятью, вместо того чтобы раздуваться при каждом обновлении. Это ответ на индустриальный тренд: стандартный путь — делать модели всё больше. Но автора интересует другое: сколько пользи можно выжать при жёстко ограниченном размере, чтобы каждая следующая похожая задача обходилась дешевле.

Рабочие принципы: семь опор разработки

Разработку направляют семь рабочих принципов — не описание устройства, а ориентиры:

• Система помнит прошлое между задачами, не начинает каждый раз с чистого листа. • На каждую задачу тратится ровно столько сил, сколько она стоит, не больше. • Знания и опыт лежат в отдельной памяти снаружи, а не вплавлены в веса модели. • Она учится новому, не забывая старое. • Ответ, подсказка и проверенный факт — три разные вещи; честное «я не знаю» лучше красивой выдумки. • Любое самоулучшение сначала проверяется в песочнице и внешним судьёй; модель не правит сама себя. • Всё, что касается безопасности и разрешений, вынесено наружу и не зависит от послушности модели.

Методология: четыре раунда, три режима

Взяли один экзамен из 200 задач, идентичный на всех этапах, и пропустили систему через четыре раунда подучивания. Сравнили три режима работы:

• Накопление (копим) — модель подучивают, каждый следующий раунд наслаивается на предыдущий. • С нуля — каждый раунд начинают с чистой модели, без накопления. • Без обучения — просто пересдают экзамен (контроль случайности).

Главное, что мерили: идёт ли доля правильных ответов вверх от раунда к раунду.

Результаты: рывок и неподвижность

Доля правильных ответов в режиме накопления: 53% → 59% → 54–57% → 54–57%. Первый раунд дал скачок примерно на пять процентных пункктов. Второй, третий и четвёртый ничего не добавили. Режим «с нуля» вёл себя идентично — накопленная подкрутка не дала преимущества. Режим контроля слегка пошёл вниз, как и положено шуму. Старые задачи решаться хуже не стали. Независимый пересчёт полностью совпал с первым — цифры не償ились.

Один раунд подучивания на проверенных решениях действительно добавляет прирост, и он держится все четыре раунда. Но откуда он взялся? Два честных объяснения, ведущих проект в разные стороны: модель усвоила содержание правильных решений либо просто приспособилась к формату кода.

Развилка и плацебо-проверка

Для разведения применили плацебо-проверку: сравнили подучивание на правильных парах «задача + проверенное решение» с нарочно перепутанными парами, где решение не подходит к задаче (проверили, что перепутанные действительно не решают задач). Всё остальное делали одинаково: столько же шагов, примеров, условия, экзамен.

Дыра в проверке: она разводит обучение на коде вообще и обучение на правильном содержании, но только внутри одного типа задач. Она не ловит натаскание на коде того же типа. Чтобы закрыть и это, нужен отдельный опыт на других типах задач — ещё сутки видеокарты.

Три вопроса для критики

Автор просит дельную критику по существу:

• Достаточна ли пустышка-плацебо с равными затратами, чтобы честно назвать прирост первого раунда настоящим обучением? Что упущено в списке условий? • Как закрыть дыру с натаскиванием на одном типе задач, не удваивая работу видеокарты? • Встречали ли другие такую же картину — рывок на первом раунде, дальше потолок — при дообучении малой модели много раз?

Отрицательный результат — не провал. Он честно сужает круг, показывая, куда способность накапливать не ведёт. Этот результат двигает проект дальше.