Qwen 3.8 27B identifico tres juegos a partir de los pesos de redes neuronales en un portatil convencional

Para una persona, los pesos de una red neuronal suelen parecer una gigantesca tabla de numeros decimales. Para entender que ha aprendido un modelo, un ingeniero lo ejecuta con datos de prueba, crea graficos de activaciones o examina su arquitectura con herramientas especializadas. Un nuevo experimento plantea otra via: mostrar a un modelo de lenguaje los pesos de una red pequena y pedirle que explique que hace.

Simon Willison probo este escenario con Qwen 3.8 27B ejecutado localmente en un portatil. El modelo recibio los parametros de cuatro pequenos agentes de videojuegos y la misma pregunta en todos los casos: ¿para que juego se entreno esta red? Nada de Python, calculadora ni ejecucion del modelo: solo un largo prompt lleno de numeros.

El resultado fue sorprendentemente bueno. Qwen identifico correctamente Pac-Man, Pong y Breakout. Se equivoco con Freeway, que interpreto como una variante de Pac-Man. Es decir, el modelo local resolvio tres de las cuatro tareas, aunque cada analisis tardo entre 46 minutos y algo mas de una hora.

Que hizo exactamente el modelo

Imaginemos una pequena red que controla la paleta en Breakout. Algunas entradas describen las celdas del campo de juego, mientras que otras capas conectan la posicion de la pelota con las ordenes «izquierda» y «derecha». Tras el entrenamiento, estas relaciones permanecen dentro de las matrices de pesos.

Qwen intento reconstruirlas manualmente: busco coeficientes grandes, los relaciono con las coordenadas de las celdas y comprobo que objetos podian influir en las acciones del agente. En el caso de Breakout, llego a la imagen correcta: la paleta esta abajo, se mueve horizontalmente y hace rebotar la pelota hacia los bloques. La confianza de la respuesta fue del 88%.

Para Pong, el modelo describio una paleta vertical a la derecha y una pelota que se desplaza por el campo, con una confianza del 75%. Para Pac-Man, reconocio un laberinto, objetivos y amenazas en movimiento con una confianza del 72%. No se limito a adivinar el nombre por el formato del prompt: las cuatro tareas solo se diferenciaban por sus conjuntos de pesos.

Por que es importante para los desarrolladores

El interes practico no consiste en sustituir un depurador por un chatbot. Resulta mucho mas util la posibilidad de obtener rapidamente una hipotesis inicial sobre un modelo desconocido o danado. Por ejemplo, un ingeniero puede pedir a un LLM que encuentre conexiones inusualmente fuertes, explique la funcion de una capa pequena o compare dos versiones de los pesos tras un ajuste fino.

Este enfoque podria servir para auditar modelos pequenos, investigar regresiones y analizar componentes de redes neuronales cuya documentacion se haya perdido. Un modelo de lenguaje puede relacionar los numeros con conceptos de ingenieria comprensibles y sugerir donde seguir buscando. Aun asi, sus conclusiones deberan verificarse ejecutando el modelo y utilizando herramientas de diagnostico convencionales.

Tambien existe un escenario mas audaz: editar los pesos sin un entrenamiento completo. Los autores del trabajo original informaron de que GPT-6 Astra modifico el 0,016% de los parametros de Qwen3.5-0.8B y elevo su resultado en MATH-500 del 7,9% al 48,1%. Sin embargo, los criticos senalan que algunos experimentos de este tipo incluyen codigo y operaciones familiares para los investigadores tradicionales de ML. Por ello, leer pesos sin herramientas y reparar automaticamente un modelo deben considerarse dos tareas distintas.

Donde esta el limite

El experimento todavia no puede considerarse un metodo fiable de ingenieria inversa. Se probaron redes compactas para videojuegos, con entradas comprensibles y un pequeno numero de respuestas posibles. Incluso en estas condiciones, Qwen se equivoco en uno de los cuatro juegos. El analisis de cada ejemplo requirio decenas de miles de tokens y casi una hora de computacion, y algunas partes del razonamiento son dificiles de verificar.

Para los grandes modelos de lenguaje, la tarea es mucho mas compleja: miles de millones de parametros no caben completos en un prompt, y un fragmento aislado de pesos rara vez tiene un significado inequívoco. Ademas, un texto expresado con seguridad por el modelo no garantiza que la interpretacion sea correcta.

La conclusion practica es sencilla: hay que considerar el LLM una herramienta adicional de analisis, no un sustituto de la experimentacion. Conviene empezar con redes pequenas, ejemplos de control conocidos y preguntas concretas. Si el modelo encuentra patrones de forma consistente, sus conclusiones pueden ayudar a elegir la siguiente comprobacion. Todavia es prematuro hablar del fin del codigo fuente, pero ya empieza a perfilarse una nueva clase de herramientas para auditar redes neuronales.