Teorema no-hair para transformers: el prompt se olvida como t^-α, α≈0,55–0,7

¿Cuánto recuerda un transformer del prompt después de generar t tokens? Los autores de un artículo publicado en Hugging Face Daily Papers lo midieron de forma directa y obtuvieron una ley de potencias. La distancia entre los estados ocultos de dos prompts distintos con la misma continuación decrece aproximadamente como t^{-α}. En los modelos entrenados, el exponente α es de 0,55–0,7; en los no entrenados, de 0,2–0,5. Como referencia, α=1 corresponde a la velocidad a la que se reduce la cuota de un prompt fijo en una atención uniforme a medida que crece el contexto. Cuanto menor es α, más dura la memoria.

Cómo se midió el olvido

El experimento es sencillo. Se toman dos prompts distintos y se les añade el mismo texto de continuación. Así, cualquier diferencia en los estados ocultos en la posición t depende solo del prompt, y no de lo que se haya generado después. Solo queda observar cómo se desvanece esa diferencia a medida que crece t.

El resultado no es obvio. La red entrenada olvida más rápido que una inicializada al azar: un exponente de 0,55–0,7 frente a 0,2–0,5. El entrenamiento acerca el modelo a la referencia α=1, pero no llega a ella. Una cuota fija del prompt en una atención uniforme da exactamente 1/t, mientras que los modelos reales decaen más despacio.

El teorema y sus condiciones

Para una profundidad finita L y un prompt de longitud P, los autores demuestran la cota O(P(log t)^{L-1}/t). Es válida para transformers pre-LN con atención softmax y logits de atención acotados, y requiere una condición adicional: las activaciones previas a la normalización no deben acercarse a cero. Esa condición es la que hace que el teorema sea condicional.

El mecanismo es geométrico. La influencia directa del prompt se diluye porque la atención se reparte entre un número cada vez mayor de tokens. Existe además un camino alternativo que los autores llaman relay (relevo): los tokens de la continuación leen algo del prompt y lo transmiten.

Pero esa transmisión solo añade factores logarítmicos al decaimiento y no modifica el exponente. De ahí el nombre: por analogía con el teorema de «no pelo» de los agujeros negros, desde fuera queda poca información sobre lo que hay dentro. Si se fija el texto ya generado, la influencia del prompt sobre el siguiente token tiende a cero.

Todo lo que persiste, por ejemplo el idioma de la respuesta, tiene que transportarlo el propio texto.

Qué confirmaron las comprobaciones

Un modelo lineal con relevo, resoluble de forma exacta, muestra que la cota no se puede mejorar. Ese mismo modelo reproduce el aumento del exponente local hacia 1 que se observa en las redes no entrenadas.

En un experimento de control aparte, los autores añadieron a los logits un bias que compensa la dilución. Al inicio del entrenamiento, el decaimiento se detiene; más adelante, se revierte. Por tanto, la dilución es necesaria para el olvido medido. Las redes no entrenadas y el modelo resoluble muestran que, además, es suficiente.

Cifras clave del trabajo:

• Decaimiento de la distancia entre estados ocultos: t^{-α}.
• Modelos entrenados: α≈0,55–0,7.
• Modelos no entrenados: α≈0,2–0,5.
• Referencia de dilución: α=1.
• Cota demostrada: O(P(log t)^{L-1}/t), donde P es la longitud del prompt y L, la profundidad.
• Condiciones: profundidad finita, pre-LN, softmax, logits acotados, activaciones alejadas de cero.

Qué significa en la práctica para los ingenieros

El trabajo es teórico y no ofrece recetas directas para producción. Pero la dirección es clara. En una generación larga, el prompt de sistema pierde su influencia directa siguiendo una ley de potencias, y el modelo seguirá las instrucciones en la medida en que ya se hayan reflejado en el texto escrito.

Por eso conviene fijar las restricciones importantes en los primeros tokens de la respuesta o reintroducirlas periódicamente en el contexto. Para quienes diseñan arquitecturas, la conclusión es otra. Si se necesita una memoria duradera del inicio del contexto, habrá que modificar la propia atención, por ejemplo añadiendo sesgos a los logits, como en el experimento de control.

Es una tarea de ingeniería aparte: el teorema describe un transformer pre-LN estándar, no cualquier esquema con memoria.

Hay otra razón para la cautela. La cota es un límite superior y las mediciones se refieren a estados ocultos, no a la calidad de las respuestas. Cómo se relaciona exactamente α con el cumplimiento de instrucciones en tareas reales es algo que habrá que comprobar por separado.