¿Pueden los transformers elegir modelo? Un test bayesiano de arXiv con 2,8M de parámetros

Un transformer de 2,8 millones de parámetros aprendió selección bayesiana de modelos —determinar de qué clase de hipótesis se generaron los datos— con una divergencia de solo 0,01 bits respecto al óptimo teórico. Así lo muestra el trabajo «Bayesian Wind Tunnels for Model Selection», publicado en arXiv en julio de 2026.

Qué son los «túneles de viento bayesianos»

Los «túneles de viento bayesianos» son entornos controlados en los que la distribución posterior exacta sobre las clases de hipótesis se conoce en forma cerrada, de modo que la respuesta del modelo se compara directamente con el óptimo bayesiano. Estudios anteriores ya habían demostrado que los transformers realizan filtrado bayesiano exacto dentro de una única clase de hipótesis fija. La nueva pregunta de los autores es si el modelo sabe elegir la propia clase, es decir, reconocer qué estructura generó los datos.

Las tareas se construyen sobre involuciones sin puntos fijos, funciones con la propiedad f(f(x))=x, que es puramente relacional. El transformer alcanza el óptimo incluso cuando los símbolos son opacos y su significado cambia en cada episodio. Trabajar con símbolos opacos es importante: elimina las pistas a las que el modelo podría aferrarse y deja solo la estructura de la tarea.

• Modelo: transformer de 2,8 millones de parámetros, evaluado con 3 seeds
• Concordancia de entropía con el óptimo bayesiano: 0,01 bits
• Comparación non-nested (involuciones frente a 3-ciclos): error del posterior MAE inferior a 0,001
• El límite en las tareas aritméticas se mantiene al escalar el modelo 112 veces (2,8M → 316M de parámetros)
• Brecha de calibración en los LLM actuales: aproximadamente 55×

Dónde se rompe la selección de modelo

La selección de modelo fracasa por completo cuando las clases solo se distinguen mediante aritmética —suma o multiplicación módulo n—: en ese caso el transformer funciona con tokens enteros, pero falla con símbolos opacos. Según el resumen del trabajo, este límite persiste cuando el modelo crece 112 veces, de 2,8 a 316 millones de parámetros, por lo que el problema no es el tamaño de la red.

El diagnóstico por subtareas localizó el fallo: aparece en la composición de la inversión de la cabecera con la aritmética, no en el análisis de la cabecera en sí.

La clave es la semántica estable

La causa del fracaso no está en los números como tales, sino en la estabilidad de los significados. Un experimento de control de estacionariedad mostró que los tokens opacos con un reetiquetado fijo producen un error de solo 0,009 bits, es decir, rinden igual que los enteros.

«La semántica estable, y no la identidad entera, permite compilar el

circuito computacional», señala el resumen del trabajo en arXiv.

La evaluación de los LLM de frontera actuales en las mismas tareas reveló un comportamiento cualitativamente bayesiano, pero con una gran brecha de calibración, de alrededor de 55×. Los autores subrayan que esta estimación se obtiene mediante sondas basadas en la pérdida («loss») y, por tanto, indica una dirección, no una magnitud exacta.

Qué significa

El trabajo traza un límite concreto en las capacidades de los transformers: saben elegir modelo, pero solo cuando el rasgo discriminante tiene acceso estable a la semántica. Es un punto de referencia para la interpretabilidad mecanicista: muestra qué circuitos computacionales puede «compilar» la red y cuáles le siguen vedados, con independencia del número de parámetros.

Preguntas frecuentes

¿Qué es la selección bayesiana de modelos?

Es la capacidad de determinar de qué clase de hipótesis proceden los datos, en lugar de limitarse a estimar parámetros dentro de una sola clase. En el trabajo, el transformer compara, por ejemplo, involuciones con 3-ciclos y devuelve un posterior con un error inferior a 0,001.

¿Por qué falla el modelo con la aritmética?

Cuando el rasgo que distingue las clases exige sumar o multiplicar módulo n, el transformer solo funciona con tokens enteros y falla por completo con símbolos abstractos. El control mostró que lo decisivo es la estabilidad de la semántica de los tokens, no su naturaleza numérica.