Transformers conseguem escolher o modelo? Teste bayesiano no arXiv com 2,8M de parâmetros

Um transformer de 2,8 milhões de parâmetros aprendeu seleção bayesiana de modelos — determinar de qual classe de hipóteses foram gerados os dados — com uma divergência de apenas 0,01 bit em relação ao ótimo teórico. É o que mostra o trabalho «Bayesian Wind Tunnels for Model Selection», publicado no arXiv em julho de 2026.

O que são os «túneis de vento bayesianos»

Os «túneis de vento bayesianos» são ambientes controlados em que o posterior exato sobre as classes de hipóteses é conhecido em forma fechada. Por isso, a resposta do modelo pode ser comparada diretamente com o ótimo bayesiano. Já se havia demonstrado que transformers executam filtragem bayesiana exata dentro de uma única classe fixa de hipóteses. A nova pergunta dos autores é se o modelo consegue escolher a própria classe, ou seja, reconhecer qual estrutura gerou os dados.

As tarefas são construídas com involuções sem pontos fixos — funções com a propriedade f(f(x))=x, que é puramente relacional. O transformer atinge concordância com o ótimo mesmo quando os símbolos são opacos e seus significados mudam a cada episódio. Trabalhar com símbolos opacos é importante: isso elimina pistas às quais o modelo poderia se agarrar e deixa apenas a estrutura da tarefa.

• Modelo: transformer de 2,8 milhões de parâmetros, testado com 3 seeds
• Concordância de entropia com o ótimo bayesiano: 0,01 bit
• Comparação non-nested (involuções contra 3-ciclos): erro do posterior (MAE) abaixo de 0,001
• O limite nas tarefas aritméticas se mantém com escala de 112 vezes (2,8M → 316M de parâmetros)
• Lacuna de calibração dos LLMs modernos: cerca de 55×

Onde a seleção de modelos falha

A seleção de modelos falha por completo quando as classes só se distinguem por meio de aritmética — adição ou multiplicação modular: nesse caso, o transformer lida com tokens inteiros, mas não funciona com símbolos opacos. Segundo o resumo do artigo, esse limite persiste mesmo com o modelo 112 vezes maior — de 2,8 para 316 milhões de parâmetros —, portanto o problema não é o tamanho da rede.

O diagnóstico por subtarefas localizou a falha: ela ocorre na composição da inversão do cabeçalho com a aritmética, e não no processamento do cabeçalho em si.

A questão é a semântica estável

A causa da falha não está nos números em si, mas na estabilidade dos significados. Um experimento de controle de estacionariedade mostrou que tokens opacos com remapeamento fixo geram erro de apenas 0,009 bit, ou seja, funcionam tão bem quanto os números inteiros.

«A semântica estável, e não a identidade inteira, é o que permite

compilar o circuito computacional», diz o resumo do trabalho no arXiv.

O teste de LLMs de fronteira atuais nas mesmas tarefas revelou um comportamento qualitativamente bayesiano, mas com uma grande lacuna de calibração — cerca de 55×. Os autores ressaltam que essa estimativa vem de sondagens baseadas em perda («loss probes») e, por isso, indica uma direção, não um valor exato.

O que isso significa

O trabalho delimita uma fronteira concreta das capacidades dos transformers: eles sabem selecionar modelos, mas só quando o atributo que distingue as classes tem acesso estável à semântica. Isso serve de referência para a interpretabilidade mecanicista: mostra quais circuitos computacionais a rede consegue «compilar» e quais permanecem fora de seu alcance, independentemente do número de parâmetros.

Perguntas frequentes

O que é seleção bayesiana de modelos?

É a capacidade de determinar de qual classe de hipóteses vieram os dados, em vez de apenas estimar parâmetros dentro de uma única classe. No trabalho, o transformer compara, por exemplo, involuções com 3-ciclos e produz um posterior com erro abaixo de 0,001.

Por que o modelo falha na aritmética?

Quando o atributo que distingue as classes exige adição ou multiplicação modular, o transformer só funciona com tokens inteiros e falha por completo com símbolos abstratos. O controle mostrou que o fator decisivo é a estabilidade da semântica dos tokens, e não sua natureza numérica.