Interpretabilidad Mecanicista

La interpretabilidad mecanicista (a menudo abreviada como 'mech interp') emergió del trabajo de Chris Olah y colaboradores comenzando alrededor de 2020 en OpenAI y continuando en Anthropic. El objetivo principal es entender no solo qué hace una red neuronal—su comportamiento entrada-salida—sino cómo: qué pesos, neuronas y cabezas de atención implementan qué algoritmos, e información de qué se codifica en qué representaciones internas. El enfoque trata un modelo entrenado como código desconocido a ser revertido mediante ingeniería a través de experimentos sistemáticos: ablacionar componentes, parchar activaciones, y rastrear el flujo de información a través de la red.

Los conceptos fundamentales incluyen características (direcciones en el espacio de activación correspondientes a conceptos interpretables como 'texto en francés' o 'llamada de función Python'), circuitos (pequeños subgrafos de pesos y activaciones implementando un cálculo específico como identificación de objeto indirecto o una comparación mayor que), y superposición (la observación de que los modelos codifican más características que dimensiones que tienen al superponer direcciones, dependiendo de la escasez de entradas reales para limitar interferencia). Los hallazgos empíricos fundamentales incluyen el circuito de cabeza de inducción que media el aprendizaje en contexto en transformers y los detectores de curvas y neuronas multimodales identificadas en modelos de visión.

La interpretabilidad mecanicista importa principalmente como una herramienta de seguridad en IA. Si los investigadores pueden decodificar de manera confiable los cálculos internos de un modelo, pueden auditar en busca de razonamiento engañoso, verificar que el entrenamiento de seguridad ha producido estados internos genuinamente alineados en lugar de cumplimiento superficial, y predecir comportamiento en situaciones novedosas. También permite intervenciones dirigidas—modificar circuitos específicos para reducir capacidades dañinas—en lugar de enfoques contundentes como ajuste completo.

A partir de 2026, Anthropic ha publicado la investigación de mech interp más extensa en modelos fronterizos, incluyendo análisis de autoencoder disperso a gran escala que identificaron millones de características interpretables en Claude. Google DeepMind, EleutherAI, y grupos académicos en MIT y Harvard mantienen programas activos. Herramientas como TransformerLens y Neuronpedia permiten exploración interactiva de internals del modelo. Problemas abiertos significativos permanecen, incluyendo escalar análisis de circuitos a modelos con cientos de miles de millones de parámetros y establecer cuentas causales en lugar de meramente correlacionales de características identificadas.

Ejemplo

“Usando interpretabilidad mecanicista, los investigadores rastrearon el circuito en GPT-2 que implementa identificación de objeto indirecto—señalando las cabezas de atención específicas responsables de completar correctamente 'Mary le dio a John el libro; John se lo dio a ___' con 'Mary'—demostrando que el modelo usa un algoritmo sintáctico generalizable en lugar de memorización de patrones.