Могут ли трансформеры выбирать модель? Байесовский тест arXiv на 2,8M параметров

Um transformer com 2,8 milhões de parâmetros aprendeu seleção bayesiana de modelos — determinar de qual classe de hipóteses os dados foram gerados — com uma discrepância de apenas 0,01 bit em relação ao ótimo teórico. Isso foi demonstrado pelo artigo "Bayesian Wind Tunnels for Model Selection", publicado no arXiv em julho de 2026.

O que são os "túneis de vento bayesianos"

Os "túneis de vento bayesianos" são ambientes controlados nos quais a distribuição posterior exata sobre as classes de hipóteses é conhecida em forma fechada, de modo que a resposta do modelo é comparada diretamente com o ótimo bayesiano. Já havia sido demonstrado que os transformers realizam filtragem bayesiana exata dentro de uma única classe de hipóteses fixa. A nova pergunta dos autores é se o modelo consegue escolher ele mesmo a classe, ou seja, reconhecer qual estrutura gerou os dados.

As tarefas são construídas sobre involuções sem pontos fixos — funções com a propriedade f(f(x))=x, que é puramente relacional. O transformer atinge concordância com o ótimo mesmo quando os símbolos são opacos e seus valores mudam a cada episódio. Trabalhar com símbolos opacos é importante: isso elimina pistas às quais o modelo poderia "se agarrar" e deixa apenas a estrutura da tarefa.

• Modelo — um transformer de 2,8 milhões de parâmetros, testado com 3 seeds
• Concordância de entropia com o ótimo bayesiano — 0,01 bit
• Comparação non-nested (involuções versus ciclos de 3) — erro MAE do posterior abaixo de 0,001
• O limite em tarefas aritméticas se mantém com o aumento de escala em 112 vezes (2,8M → 316M parâmetros)
• Gap de calibração em relação aos LLMs atuais — cerca de 55×

Onde a seleção de modelos falha

A seleção de modelos falha completamente quando as classes só podem ser distinguidas por aritmética — soma ou multiplicação módulo n: nesse caso o transformer lida bem com tokens inteiros, mas falha com símbolos opacos. Segundo a anotação do artigo, esse limite se mantém com o aumento do modelo em 112 vezes — de 2,8 para 316 milhões de parâmetros —, portanto não é uma questão de tamanho da rede.

O diagnóstico de subtarefas localizou a falha: ela surge na composição da inversão do cabeçalho com a aritmética, e não na análise do cabeçalho em si.

A questão é a semântica estável

A causa da falha não está nos números em si, mas na estabilidade dos valores. Um experimento de controle sobre estacionariedade mostrou que tokens opacos com uma remarcação fixa produzem um erro de apenas 0,009 bit, ou seja, funcionam tão bem quanto números inteiros.

"Semântica estável, e não identidade inteira, é o que permite compilar

um esquema computacional", afirma a anotação do artigo no arXiv.

O teste dos LLMs de ponta atuais nas mesmas tarefas revelou um comportamento qualitativamente bayesiano, mas com um gap de calibração muito maior — cerca de 55×; os autores destacam que essa estimativa foi obtida por meio de sondagens "com perda" e, portanto, indica uma direção, não um valor exato.

O que isso significa

O trabalho delineia um limite concreto das capacidades dos transformers: eles sabem escolher um modelo, mas apenas quando o traço distintivo tem acesso estável à semântica. Isso é uma referência para a interpretabilidade mecanicista — mostra quais esquemas computacionais a rede é capaz de "compilar" e quais permanecem inacessíveis a ela, independentemente do número de parâmetros.

Perguntas frequentes

O que é seleção bayesiana de modelos?

É a capacidade de determinar de qual classe de hipóteses os dados vieram, e não apenas estimar parâmetros dentro de uma única classe. No artigo, o transformer compara, por exemplo, involuções com ciclos de 3 e produz um posterior com erro abaixo de 0,001.

Por que o modelo falha na aritmética?

Quando o traço que distingue as classes exige soma ou multiplicação módulo n, o transformer só funciona bem com tokens inteiros e falha completamente com símbolos abstratos. O controle mostrou que o que importa é a estabilidade da semântica dos tokens, não sua natureza numérica.