Oxford publica un manual de 180 páginas sobre interpretabilidad de redes neuronales con código

Hace tiempo que nos acostumbramos a una situación extraña: el modelo responde correctamente, y nadie sabe por qué lo hace así. Ni el desarrollador, ni el responsable de producto, y a veces ni siquiera los autores del propio modelo. Cuando de pronto empieza a adular al usuario, inventar hechos o eludir restricciones, casi siempre tratamos el síntoma: retocamos el prompt, hacemos fine-tuning, añadimos un filtro. La interpretabilidad mecanicista propone otro enfoque: abrir el modelo y ver qué mecanismos internos son responsables.

Investigadores de la University of Oxford y de otras organizaciones científicas han publicado una extensa revisión de 180 páginas que reúne este campo en un único manual. Está orientada a la seguridad de la IA. Incluye un curso interactivo y Jupyter Notebooks con experimentos prácticos.

Qué contiene el manual

Según la descripción de los autores, el material se estructura en cuatro bloques.

El primero es superposition y transformer circuits. La idea es que en la red hay menos neuronas que conceptos que debe almacenar. Por eso una misma neurona suele participar en varios significados a la vez, y a partir de una neurona aislada se entiende poco. La sección explica cómo las redes codifican la información y cómo de ello surgen los cálculos.

El segundo son los sparse autoencoders (SAE). Es un método que toma las representaciones internas del modelo y las descompone en rasgos más «limpios». En lugar de un vector de activaciones enmarañado, se obtiene un conjunto de direcciones comprensibles, algo así como «esto trata de código» o «esto trata de disculpas». Estos rasgos ya se pueden buscar, comparar y rastrear.

El tercero es circuit discovery. Trata de cómo encontrar la pequeña parte de la red responsable de un comportamiento concreto y comprobar que realmente lo es, y no que simplemente coincidió en el tiempo.

El cuarto es la parte aplicada de seguridad: steering (control del comportamiento del modelo), edición de conocimiento y monitorización de mecanismos ocultos.

Por qué merece la pena abrir la parte práctica

Normalmente la interpretabilidad se presenta como un conjunto de artículos que hay que ir juntando pieza a pieza. Aquí hay una estructura unificada y código que se puede ejecutar y toquetear. Para un ingeniero, esto reduce la barrera de entrada: se puede tomar un modelo abierto pequeño, ejecutar un experimento de un notebook y ver cómo es un «rasgo» dentro de la red.

Estos son los casos en que puede resultar útil en la práctica:

• Si despliegas modelos open-weights, tienes acceso a las activaciones y, por tanto, a métodos como SAE y steering. En las API cerradas normalmente no existe ese acceso, y es una limitación importante.
• Si eres responsable de la calidad o la seguridad de un producto, la monitorización de rasgos internos puede complementar las comprobaciones externas, como pruebas y filtros. Es una idea, no una receta lista para usar, y el manual muestra por dónde empezar.
• Si eres product manager o fundador, el curso te ayudará a entender qué prometen exactamente los investigadores de interpretabilidad y dónde termina la realidad.

Limitaciones que señalan los propios autores

Lo principal que cabe destacar: la revisión no vende la interpretabilidad como un botón mágico. Los autores abordan directamente las limitaciones de los métodos existentes y subrayan que entender los mecanismos internos no garantiza por sí solo la seguridad del modelo. Ver que en la red hay un «rasgo de engaño» no es lo mismo que desactivarlo de forma fiable y estar seguro de que el comportamiento no volverá por otro camino.

Además, esto es un manual y una revisión, no una herramienta nueva que mañana encaje en tu pipeline. Si buscas una solución lista para producción, no está aquí. Pero sí hay un mapa del territorio, útil para orientarse cuando el próximo lanzamiento afirme que «hemos aprendido a entender cómo piensa el modelo».

Qué hacer

Si trabajas con modelos a un nivel más profundo que la API, guarda los enlaces al preprint de arXiv 2611.08438 y al curso interactivo. Dedica una tarde a los notebooks y prueba en un modelo pequeño al menos un experimento con SAE o steering. Aunque no llegue al producto, empezarás a entender mejor qué ocurre dentro de tus modelos. La caja negra sigue siendo una caja negra, pero ahora tiene instrucciones para abrirla.