Autocodificador Disperso

Un autocodificador disperso (SAE) es una variante de la arquitectura clásica de autocodificador en la que una penalización de dispersidad L1 en la capa oculta obliga a la red a representar cada entrada utilizando solo una pequeña fracción de sus unidades ocultas. A diferencia de los autocodificadores convencionales que comprimen información, los SAE aprenden representaciones sobredimensionadas—más unidades ocultas que dimensiones de entrada—intercambiando compresión por la capacidad de desenredar las muchas direcciones distintas que la entrada puede contener. La restricción de dispersidad alienta a las unidades ocultas individuales a especializarse en patrones específicos que rara vez co-ocurren.

La aplicación de SAEs a la interpretabilidad mecanicista fue desarrollada sistemáticamente por Anthropic en el artículo de 2023 "Towards Monosemanticity" y el artículo de 2024 "Scaling and Evaluating Sparse Autoencoders". La intuición motivadora es que las capas MLP de transformador y las activaciones del flujo residual exhiben superposición: porque los modelos almacenan más características de las que tienen dimensiones, las neuronas individuales responden a muchos conceptos no relacionados simultáneamente. Aplicar un SAE a estas activaciones permite que aprenda un diccionario de direcciones en las que cada unidad oculta SAE tiende a activarse para un único concepto interpretable por humanos en lugar de muchos a la vez. Los análisis de Anthropic identificaron millones de tales características en modelos Claude, correspondientes a entidades reconocibles, construcciones de programación, estados emocionales y temas sensibles.

Los SAEs importan para la seguridad de IA porque proporcionan un diccionario escalable y enumerable de conceptos internos de un modelo. Con este diccionario, los investigadores pueden investigar qué características se activan durante una generación determinada, probar si los estados internos relevantes para la seguridad están presentes incluso cuando están ausentes de la salida, y realizar dirección selectiva fijando artificialmente las activaciones de características. También permiten estudiar cómo características más simples se componen en representaciones más complejas, respaldando una teoría más amplia del almacenamiento de conocimiento en modelos de lenguaje grandes.

A partir de 2026, los SAE han sido entrenados en múltiples modelos frontera y la técnica se ha convertido en una herramienta estándar en la investigación de interpretabilidad mecanicista. Bibliotecas de código abierto como SAELens permiten a los investigadores entrenar y analizar SAE en puntos de control de modelos disponibles públicamente. Los desafíos activos incluyen entrenar SAE eficientemente a escala de los modelos más grandes, establecer que las características identificadas sean causalmente relevantes en lugar de meramente correlacionalmente relevantes, y manejar características abstractas o relacionales que resisten caracterización de un solo token.

Ejemplo

“Un SAE entrenado en el flujo residual de un modelo de lenguaje revela una unidad oculta que se activa fuertemente en contextos que involucran fraude financiero; los investigadores fijan esta unidad activa durante la inferencia y observan que las generaciones posteriores del modelo se desplazan hacia contenido relacionado con fraude, confirmando que la característica está causalmente vinculada a ese dominio de comportamiento.