LexFrame lê estados ocultos de LLMs: coerência de 0,97 contra teto de 0,30 das lentes

Pesquisadores propuseram uma forma de ler os estados ocultos de um modelo de linguagem do mesmo modo que o próprio modelo os lê. O método se chama Lexical Reference Frames. No SmolLM3-3B e no OLMo3-7B, na metade da profundidade, qualquer lente com direções fixas por camada fica limitada a 0,30 e 0,35. A primeira ordem do método, o LexFrame[1], atinge coerência de 0,97 nos dois modelos. O estado lido difere da saída real do modelo em no máximo 0,16 nats.

Por que as lentes fixas esbarram em um teto

O vocabulário do modelo define a sua semântica nativa. O embedding e o unembedding determinam o significado do estado nas duas pontas do residual stream. Entre eles, as abordagens existentes se dividem em dois campos. Um deles usa uma lente fixa e aplica as mesmas direções aos estados de uma determinada camada. O outro trata os estados como uma nuvem de pontos e procura estrutura nela. Para os autores, nenhuma das duas lê o estado do jeito que o modelo faz.

O argumento deles é que cada estado oculto tem o seu próprio sistema de referência. Ele é definido pelas camadas que vão ler esse estado em seguida e se ajusta ao contexto. Uma lente fixa necessariamente perde essa dependência do contexto, porque suas direções são definidas de antemão. Daí vem o limite formal: uma lente com direções fixas por camada não pode ultrapassar a raiz quadrada da coerência do frame nativo. Na metade da profundidade, isso dá 0,30 para o SmolLM3-3B e 0,35 para o OLMo3-7B.

Como funciona o LexFrame

O lexical reference frame aproxima o sistema de referência nativo. O estado passa pelas camadas restantes do próprio modelo. Entre as posições, o método executa um número definido de rodadas de atenção; para as demais contribuições, usa-se uma saída de atenção típica. Não há ajuste à saída do modelo, e os coeficientes não são treinados com as previsões dele. Na notação LexFrame[1], o índice, a julgar pela descrição, corresponde ao número de rodadas de atenção, ou seja, trata-se de um frame de primeira ordem.

O resultado é lido na base lexical, isto é, em termos de tokens do vocabulário. Assim, cada estado intermediário ganha uma interpretação nas mesmas unidades em que o modelo produz a resposta.

O que as medições mostraram

Os autores compararam o LexFrame[1] com lentes e com attribution patching em dois modelos. Os resultados declarados são estes:

• coerência do LexFrame[1] na metade da profundidade: 0,97 no SmolLM3-3B e 0,97 no OLMo3-7B;
• teto para qualquer lente com direções fixas: 0,30 e 0,35;
• divergência em relação à saída do modelo: dentro de 0,16 nats;
• a atribuição das previsões pelos coeficientes do frame é mais precisa que a do attribution patching;
• a saída antecipada com base em leituras confiantes permite pular 0,45 das camadas no SmolLM3-3B e 0,42 no OLMo3-7B, enquanto as lentes pulam quase nada.

Os autores também apontam que a base lexical permite controlar a previsão sem afetar os demais tokens. Isso a diferencia de um deslocamento grosseiro das ativações, que costuma borrar toda a distribuição.

Onde isso pode ser útil na prática

Para a interpretabilidade, o ponto principal é que uma única ferramenta resolve três tarefas: leitura do estado, atribuição e controle. Antes, cada uma delas exigia métodos diferentes, com premissas diferentes.

Para a inferência, o mais interessante é a saída antecipada. Se uma leitura confiante em uma camada intermediária coincide com a resposta do modelo, as camadas restantes não precisam ser calculadas. Pelos números declarados, isso representa quase metade da profundidade nos dois modelos testados. Para produção, uma economia dessas é significativa, mas o trabalho tem ressalvas. Os autores testaram apenas modelos de 3B e 7B, e a qualidade na saída antecipada é medida, segundo o abstract, pela proximidade com a saída do modelo, e não por métricas end-to-end das tarefas. Antes de contar com aceleração em um serviço real, é preciso examinar o código e o comportamento do método em modelos maiores e em contextos longos.

Pesquisadores de segurança e de depuração devem olhar com atenção para o controle pontual. Se a base lexical de fato altera uma previsão sem tocar nos tokens vizinhos, ela pode servir para correções locais de comportamento e para testar hipóteses causais sobre como o modelo chega à resposta.