Qwen 3.8 27B распознал три игры по весам нейросетей на обычном ноутбуке

Обычно веса нейросети выглядят для человека как гигантская таблица дробных чисел. Чтобы понять, чему научилась модель, инженер запускает её на тестовых данных, строит графики активаций или разбирает архитектуру специальными инструментами. Новый эксперимент показывает другой путь: языковой модели можно просто показать веса небольшой сети и попросить объяснить, что она делает.

Саймон Уиллисон проверил этот сценарий на Qwen 3.8 27B, запущенной локально на ноутбуке. Модель получила параметры четырёх небольших игровых агентов и одинаковый вопрос: для какой игры обучена эта сеть? Никакого Python, калькулятора или исполнения модели — только один длинный запрос с числами.

Результат оказался неожиданно сильным. Qwen правильно определила Pac-Man, Pong и Breakout. С Freeway она ошиблась, приняв игру за вариант Pac-Man. То есть локальная модель справилась с тремя задачами из четырёх, хотя каждый разбор занял от 46 минут до часа с лишним.

Что именно сделала модель

Представим маленькую сеть, которая управляет платформой в Breakout. Одни входы описывают клетки игрового поля, другие слои связывают положение мяча с командами «влево» и «вправо». После обучения эти зависимости остаются внутри матриц весов.

Qwen попыталась восстановить их вручную: искала крупные коэффициенты, сопоставляла их с координатами клеток и проверяла, какие объекты могли влиять на действия агента. В случае Breakout она пришла к правильной картине: платформа находится снизу, двигается по горизонтали и отбивает мяч в сторону блоков. Уверенность в ответе составила 88%.

Для Pong модель описала вертикальную платформу справа и движущийся по полю мяч, указав уверенность 75%. Для Pac-Man она распознала лабиринт, цели и движущиеся угрозы с уверенностью 72%. Это не простое угадывание названия по формату запроса: все четыре задания отличались только наборами весов.

Почему это важно разработчикам

Практический интерес здесь не в том, чтобы заменить отладчик чат-ботом. Гораздо полезнее возможность быстро получить первичную гипотезу о неизвестной или повреждённой модели. Например, инженер может попросить LLM найти необычно сильные связи, объяснить назначение небольшого слоя или сравнить две версии весов после дообучения.

Такой подход потенциально пригодится при аудите малых моделей, расследовании регрессий и анализе нейросетевых компонентов, для которых потеряна документация. Языковая модель способна связать числа с понятными инженерными концепциями и подсказать, куда смотреть дальше. Но её вывод всё равно придётся проверять запуском модели и обычными диагностическими средствами.

Есть и более смелый сценарий — редактирование весов без полноценного обучения. Авторы исходной работы сообщили, что GPT-6 Astra изменила 0,016% параметров Qwen3.5-0.8B и подняла результат на MATH-500 с 7,9% до 48,1%. Однако критики отмечают, что часть подобных опытов включает код и операции, знакомые обычным ML-исследователям. Поэтому чтение весов без инструментов и автоматическое исправление модели лучше считать двумя разными задачами.

Где проходит граница

Эксперимент пока нельзя назвать надёжным методом обратной разработки. Тестировались компактные игровые сети с понятными входами и небольшим числом возможных ответов. Даже в этих условиях Qwen ошиблась на одной из четырёх игр. Разбор каждого примера потребовал десятков тысяч токенов и почти часа вычислений, а ход рассуждений местами трудно проверить.

Для больших языковых моделей задача намного сложнее: миллиарды параметров нельзя целиком поместить в запрос, а отдельный фрагмент весов редко имеет однозначный смысл. Кроме того, уверенный текст модели не гарантирует правильную интерпретацию.

Практический вывод простой: воспринимать LLM как дополнительный инструмент анализа, а не как замену эксперименту. Начинать стоит с малых сетей, заранее известных контрольных примеров и конкретных вопросов. Если модель стабильно находит закономерности, её выводы можно использовать для выбора следующей проверки. История про конец исходного кода пока преждевременна, но новый класс инструментов для аудита нейросетей уже начинает проступать.