LexFrame lee los estados ocultos de los LLM: coherencia de 0,97 frente a un techo de 0,30 para las lentes

Un grupo de investigadores propone una forma de leer los estados ocultos de un modelo de lenguaje tal como los lee el propio modelo. El método se llama Lexical Reference Frames. En SmolLM3-3B y OLMo3-7B, a mitad de profundidad, cualquier lente con direcciones fijas por capa queda limitada a 0,30 y 0,35. El método de primer orden, LexFrame[1], logra una coherencia de 0,97 en ambos modelos. El estado leído difiere de la salida real del modelo en no más de 0,16 nats.

Por qué las lentes fijas chocan con un techo

El vocabulario del modelo define su semántica nativa. El embedding y el unembedding determinan el significado de un estado en los dos extremos del residual stream. Entre ambos, los enfoques existentes se dividen en dos campos. Unos toman una lente fija y aplican las mismas direcciones a los estados de una capa dada. Otros tratan los estados como una nube de puntos y buscan estructura en ella. Los autores sostienen que ninguno de los dos lee el estado como lo hace el modelo.

Su argumento es que cada estado oculto tiene su propio marco de referencia. Lo definen las capas que leerán ese estado a continuación, y se adapta al contexto. Una lente fija pierde por fuerza esa dependencia del contexto, porque sus direcciones están fijadas de antemano. De ahí surge un límite formal: una lente con direcciones fijas por capa no puede superar la raíz cuadrada de la coherencia del marco nativo. A mitad de profundidad, eso son 0,30 para SmolLM3-3B y 0,35 para OLMo3-7B.

Cómo funciona LexFrame

El lexical reference frame aproxima el marco de referencia nativo. El estado se hace pasar por las capas restantes del propio modelo. Entre posiciones se realiza un número determinado de rondas de atención y, para el resto de las contribuciones, se sustituye una salida de atención típica. No hay ajuste a la salida del modelo: los coeficientes no se entrenan con sus predicciones. En la notación LexFrame[1], el índice corresponde, según la descripción, al número de rondas de atención, es decir, se trata de un marco de primer orden.

El resultado se lee en una base léxica, es decir, en términos de los tokens del vocabulario. Por eso cada estado intermedio recibe una interpretación en las mismas unidades en las que el modelo emite su respuesta.

Qué muestran las mediciones

Los autores compararon LexFrame[1] con las lentes y con attribution patching en dos modelos. Los resultados declarados son estos:

• coherencia de LexFrame[1] a mitad de profundidad: 0,97 en SmolLM3-3B y 0,97 en OLMo3-7B;
• techo para cualquier lente con direcciones fijas: 0,30 y 0,35;
• divergencia respecto a la salida del modelo: dentro de 0,16 nats;
• la atribución de predicciones por los coeficientes del marco es más precisa que la de attribution patching;
• la salida temprana basada en lecturas confiables permite saltarse 0,45 de las capas en SmolLM3-3B y 0,42 en OLMo3-7B, mientras que las lentes se saltan casi cero.

Por separado, los autores señalan que la base léxica permite dirigir la predicción sin afectar al resto de los tokens. Eso la distingue de un desplazamiento tosco de las activaciones, que suele difuminar toda la distribución.

Dónde puede resultar útil en la práctica

Para la interpretabilidad, lo principal es que un solo instrumento resuelve tres tareas: lectura del estado, atribución y control. Hasta ahora se recurría a métodos distintos, con supuestos distintos.

Para la inferencia, lo más interesante es la salida temprana. Si una lectura confiable en una capa intermedia coincide con la respuesta del modelo, no hace falta calcular las capas restantes. Según las cifras declaradas, eso supone casi la mitad de la profundidad en los dos modelos evaluados.

Para producción, un ahorro así es considerable, pero el trabajo tiene salvedades. Los autores solo probaron modelos de 3B y 7B, y la calidad con salida temprana se mide en el abstract por la cercanía a la salida del modelo, no con métricas de tareas de extremo a extremo. Antes de contar con una aceleración en un servicio real, hay que revisar el código y ver cómo se comporta el método en modelos más grandes y con contextos largos.

Los investigadores de seguridad y depuración deberían fijarse en el control puntual. Si la base léxica realmente cambia una predicción sin tocar los tokens vecinos, se podría usar para ediciones locales del comportamiento y para contrastar hipótesis causales sobre cómo llega el modelo a su respuesta.