LLM напрямую редактирует веса нейросети и исправляет сбой за один проход

Обычно, чтобы исправить нейросеть, инженер меняет код обучения, запускает новый эксперимент, смотрит метрики и повторяет цикл. Это дорого даже тогда, когда сама сеть маленькая, а проблема очевидна: например, агент в простой игре застревает в повторяющемся действии.

Работа Weight Space Programming предлагает непривычный короткий путь. Большая языковая модель получает параметры меньшей нейросети — те самые числовые таблицы, которые обычно меняются во время обучения, — и работает с ними напрямую. Она должна понять поведение сети по её весам, найти причину сбоя и выдать исправленный набор чисел. В отдельных опытах этого хватало, чтобы починить модель за один проход; для более общего улучшения использовалась последовательность примерно из 50 шагов.

Как это выглядит на простом примере

Представим маленького игрового агента. На вход он получает состояние поля, а на выходе выбирает движение. После обучения агент умеет играть, но иногда попадает в цикл: два хода повторяются бесконечно.

Традиционный подход потребует собрать неудачные эпизоды, придумать дополнительный штраф, изменить функцию обучения и снова прогнать оптимизацию. В новом подходе LLM показывают веса агента и след его неудачного поведения. Модель предлагает правку самих весов, после чего агента снова проверяют в игре.

Авторы сообщают ещё о двух режимах. Во-первых, LLM могла по весам определить, какое поведение реализует небольшая сеть. Во-вторых, она могла создать веса простой сети с нуля и в некоторых задачах превзойти отдельно обученные варианты. Это похоже не на обычное программирование текстом, а на редактирование уже собранной программы без доступа к её исходному коду.

Почему это интересно разработчикам

Главная ценность здесь не в обещании мгновенного самоулучшения ИИ. Практический смысл скромнее: часть коротких исследовательских циклов потенциально можно выполнять без написания отдельного кода обучения. Если метод станет надёжнее, он может пригодиться для диагностики маленьких моделей, исправления узких сбоев, переноса поведения и автоматического поиска удачных начальных параметров.

Для команд, которые строят агентов, это ещё один возможный уровень автоматизации. Сегодня агент пишет код эксперимента и запускает обучение. Завтра он сможет предложить изменение непосредственно в модели, быстро проверить его на закрытом наборе задач и оставить человеку только подтверждённые варианты.

Но переносить результат на современные LLM рано. Исследования проводились на небольших сетях, простых играх и политиках управления. У крупной модели миллиарды параметров, а связь между отдельной правкой и поведением гораздо сложнее. Кроме того, удачное исправление одной ошибки может незаметно испортить другие навыки.

Что делать на практике

Разработчикам не нужно срочно открывать веса продакшен-моделей для автоматической записи. Разумный первый шаг — испытать подход в изолированной среде на маленькой сети, где поведение можно измерить полным набором тестов. Каждую предложенную правку следует сравнивать с обычным дообучением по качеству, стоимости и устойчивости.

Продуктовым командам стоит следить не за громкими разговорами о рекурсивном самоулучшении, а за тремя вещами: масштабом проверенных сетей, результатами независимого воспроизведения и появлением инструментов для безопасного отката. Пока Weight Space Programming — сильный исследовательский сигнал, а не готовая замена обучению. Но сама возможность обращаться с весами как с редактируемой программой открывает новый класс инструментов для анализа и ремонта моделей.