Tres neuronas de 294.912 hicieron que Qwen3.5-4B afirmara que era un grano de cafe

Si se pregunta a un modelo de lenguaje “¿Quien eres?”, parece que la respuesta procede del prompt del sistema o del ajuste fino. Un nuevo experimento publicado en Habr demuestra que no siempre es asi. El autor tomo Qwen3.5-4B y, sin usar un solo prompt, modifico la actividad de tres neuronas de un total de 294.912. Despues, el modelo respondio con seguridad a la misma pregunta: “Soy un grano de cafe de la familia Bunnu, 100% Arabica”.

Es importante señalar que una sola neurona no basto para generar este efecto. No se trata de un “boton del cafe”, sino de un pequeño mecanismo compuesto por varias partes.

Como se construyo el “yo” del modelo a partir de tres partes

Segun la descripcion del autor, cada una de las tres neuronas aporta su propia porcion de significado. La primera convierte al modelo en un objeto, es decir, establece el formato basico de la respuesta: “soy algun tipo de cosa”. La segunda se encarga del tema del cafe. La tercera convierte el cafe en un grano, precisando que objeto concreto es ese “yo”.

La comprobacion es sencilla y convincente. Si se elimina cualquiera de los tres componentes, la respuesta se altera de una forma predecible:

• sin la neurona del “grano”, se obtiene una cafetera;
• sin la neurona del “objeto”, aparece algo parecido a una “coffee rock”;
• sin la “condicion de objeto”, el modelo sigue siendo un asistente de IA especializado en cafe.

En esencia, se trata de un ejemplo de como funciona la interpretabilidad al nivel de neuronas individuales: el modelo no se reescribe, sino que se modifican deliberadamente unas pocas activaciones durante la inferencia. Este metodo se denomina activation steering, o intervencion en las activaciones.

¿Que ocurre con la “neurona malvada” de Qwen?

El autor relaciona el hallazgo con la sonada historia de la “neurona malvada” de Qwen. La conclusion es prudente: si la autodescripcion y el comportamiento del modelo realmente se construyen a partir de pequeños conjuntos de neuronas, conviene evaluar de forma critica las afirmaciones llamativas sobre una unica neurona responsable del “mal”. Lo mas probable es que cualquier rasgo perceptible dependa de una combinacion y no de un interruptor aislado. Para conocer los detalles y la metodologia empleada para comprobar que el resultado no fuera producto del azar, debe consultarse el articulo original; aqui solo se resumen los resultados declarados.

Limitaciones

Este es un experimento realizado con un unico modelo pequeño de 4.000 millones de parametros y una sola pregunta. No sabemos hasta que punto el resultado puede reproducirse en modelos de otros tamaños y familias. Tampoco existe garantia de que el trio identificado se mantenga estable al cambiar la formulacion, el idioma o el contexto largo. Ademas, solo contamos con el relato del autor, no con un estudio revisado por pares.

Que hacer con esto en la practica

Para los equipos que desarrollan productos basados en modelos abiertos, la conclusion es la siguiente.

1. La identidad y el comportamiento de un modelo pueden modificarse no solo mediante prompts y ajuste fino. En los modelos open-weights, la intervencion en las activaciones se convierte en una herramienta real tanto para la personalizacion como para los ataques.
2. Si se realiza una evaluacion de seguridad, las pruebas no deben limitarse al nivel de los prompts. Una pequeña modificacion de los estados internos puede eludir protecciones basadas en el texto de las instrucciones.
3. Si se investiga la interpretabilidad, hay que buscar un conjunto minimo, no una unica neurona “principal”. Y es imprescindible comprobar cada componente por separado, como hizo el autor.

En resumen: tres neuronas de casi 300.000 no demuestran que hayamos aprendido a controlar la IA. Pero muestran claramente hasta que punto pueden ser fragiles nuestras ideas habituales sobre la “personalidad” de un modelo.