LLM подняла F1 классификатора с 45% до 82% правкой весов без обучения

Представьте, что классификатор путает кошек с собаками, а данных и времени на новое обучение нет. Обычно ML-инженер ищет ошибку в датасете, меняет архитектуру или запускает ещё один цикл обучения. В описанном эксперименте эту работу поручили большой языковой модели: ей дали доступ к весам небольшой нейросети, разрешили делать ограниченное число проверочных запусков и попросили улучшить результат напрямую.

Итог выглядит эффектно: F1 классификатора вырос с 45% до 74% после работы одной LLM и до 82% после более глубоких изменений другой. Но формулировка «модель читает мозг другой модели» здесь скорее мешает. Никакого универсального языка весов пока не появилось. LLM использовала известные архитектуры, знакомые методы интерпретации и обратную связь от метрик.

Как это работало

В качестве подопытной модели использовался MobileNetV3-Small, который распределял изображения по трём классам: кошки, собаки и остальные животные. После каждой правки LLM могла запустить инференс и увидеть, выросла ли метрика. Всего ей дали десять таких попыток.

Первая стратегия оказалась довольно простой: изменить последний слой классификатора, где признаки превращаются в вероятности классов. Это помогло, но почти ничего не говорило о способности понимать внутреннее устройство сети. Когда последний слой запретили трогать, LLM пошла глубже: нашла каналы, дававшие вредные сигналы, и заменила их выходы усреднёнными значениями. После этого F1 достиг 82%.

На бытовом уровне это похоже на ремонт пульта с десятками кнопок. Мастер не обязан понимать устройство каждого транзистора. Он нажимает кнопки, измеряет результат и постепенно находит элемент, который портит сигнал. Разница в том, что LLM способна сама написать сценарий такой проверки, прочитать структуру модели и выбрать следующую правку.

Где заканчивается магия

Эксперимент не доказывает, что LLM понимает произвольный массив весов как самостоятельный язык. Архитектуры популярных моделей, названия слоёв и методы механистической интерпретации подробно описаны в открытом коде и научных публикациях. Всё это могло попасть в обучающие данные большой модели.

Кроме того, важную роль играла обратная связь. Когда LLM разрешено многократно менять веса и смотреть на метрику, процесс начинает напоминать оптимизацию методом проб и ошибок. Если контрольная выборка мала или используется неправильно, агент способен подогнать изменения под неё. Рост на независимом наборе данных снижает этот риск, но не отменяет необходимости воспроизведения эксперимента.

Заявления о распознавании назначения модели только по весам тоже нужно читать осторожно. Размеры матриц, словаря и входов часто выдают семейство архитектуры. А подробное описание формата входов и выходов в задании может фактически подсказать назначение сети.

Что брать в работу

Практическая ценность здесь не в «телепатии» между моделями. Ценность — в появлении агента, который может автоматизировать диагностику и точечный ремонт небольших нейросетей. Такой подход пригодится для edge-моделей, старых классификаторов и систем, где исходный датасет утрачен или повторное обучение слишком дорого.

Разработчикам стоит относиться к этому как к экспериментальному инструменту: хранить исходные веса, ограничивать число итераций, отделять рабочую выборку от финального теста и проверять каждое изменение на устойчивость. Командам безопасности придётся считать файлы весов исполняемым активом: агент с правом их менять способен не только улучшить модель, но и незаметно удалить ограничения или встроить новое поведение.

Главный сдвиг вполне реальный. LLM становится не только генератором кода, но и оператором ML-инструментов. Однако между таким оператором и автономным нейрохирургом пока лежит большая дистанция.