LLM правит веса малых сетей и чинит зацикливание Qwen, но до замены градиента далеко

Каждый второй в ленте сейчас пересказывает работу про Weight Space Programming: мол, LLM научилась читать веса нейросети и программировать их напрямую, без градиентного спуска. Звучит как конец привычного обучения. Но если разобрать эксперименты, картина скромнее. Автор разбора в канале Dealer.AI формулирует так: заявка пока сильно опережает доказательства.

Что действительно показали

LLM получает сырые веса небольшой сети и по ним определяет, что та делает: играет в игру, рисует фигуру в диффузии, говорит на определённом языке или содержит induction head. Затем модель предлагает точечные правки весов. Так удалось убрать зацикливание в Qwen3.5-0.8B и улучшить неудачную политику в симуляторе. Заявлены и прибавки на MATH и IFEval.

Представьте механика, который знает типичные поломки. Вы приносите машину, он слушает мотор, подозревает конкретную деталь, меняет её и едет проверять. Если едет, то молодец. Здесь то же самое: LLM предлагает правку, а прямой проход модели служит оракулом, который говорит, стало лучше или нет. Это generate-and-test, то есть хорошая эвристика с проверкой, а не озарение.

По сути, LLM здесь играет роль человека-исследователя в метаэвристике: вместо инженера, который вручную крутит ручки, гиперэвристикой выступает модель. Полноценного поиска и гарантий при этом нет.

Почему рано говорить о новой парадигме

У работы есть шесть заметных слабых мест.

Первое: провал на Gemma 3 270M. Метод убирает препятствие, которое скрывает способность модели, но не добавляет новую. А именно этим и занимается градиентный спуск.

Второе: кейс с Qwen — это ремонт задокументированного бага, а не доказательство общего понимания весов.

Третье: Breakout решался за 517 итераций, а PPO справляется за 15–25. Сравнение нечестное: бюджеты разные, возможна эксплуатация конкретной среды, отложенных задач нет.

Четвёртое: масштабируемости не видно. Тестировали малые сети, правки делались one-shot, а цикла «оценка → отбор → сходимость» нет.

Пятое: не проверяли побочные эффекты. MATH и IFEval улучшились, но что могло незаметно сломаться, неизвестно.

Шестое: воспроизводимость низкая. Всё ключевое сделано на проприетарной GPT-6 Astra, а вспомнить громкие «открытия» в математике, где потом находили неточности, нетрудно.

Почему это вообще работает

По мнению автора разбора, дело не в «понимании» весов, а в связке условий: низкоразмерные сигнатуры малых сетей, знакомые паттерны из претрейна, избыточность весов, локальность багов, проверка прямым проходом и простые задачи с коротким правилом. Убери любое звено, и магия рассыпается, как это случилось на Gemma. LLM оперирует семантическими прокси, а не реальной функциональностью. Найти известное узкое место при наличии проверки — не то же самое, что понимать и программировать веса.

Что с этим делать на практике

Разработчикам имеет смысл смотреть на подход как на инструмент аудита, интерпретируемости и отладки малых моделей, особенно там, где у градиента нет objective-функции. Если нужно найти и убрать известный дефект вроде зацикливания, идея может сэкономить время.

Продактам не стоит закладывать в роадмап замену дообучения: универсальным оптимизатором метод пока не является.

Основателям стоит осторожно относиться к питчам вида «наша LLM пишет веса». Самая правдоподобная роль для такого подхода — semantic prior перед градиентным дообучением, а не «семантический спуск вместо градиента».

Как исследовательское направление за ним стоит следить. Но любые заявки в этой области надо проверять на отложенных задачах и на побочных эффектах, иначе можно получить красивую метрику и сломанную модель.