First Passage Attention sustituye la suma de atenuaciones por un extremo: passkey a 8× la longitud

Los forget gates en attention funcionan casi siempre como una hucha de penalizaciones: cuanto más lejos está la clave de la consulta y más tokens hay entre ambas, más se reduce su logit. La acumulación es monótona, así que el modelo no puede borrar un fragmento del medio y, a la vez, conservar los tokens antiguos que son importantes para la estructura. El artículo First Passage Attention (FPA) plantea otra matemática: en lugar de sumar las atenuaciones a lo largo del camino, toma el extremo.

En un modelo de 110M parámetros, esto da un passkey retrieval perfecto a una longitud 8 veces superior a la de entrenamiento, incluso con el KV-cache comprimido hasta aproximadamente el 25%. La perplejidad se sitúa al nivel de Forgetting Transformer (FoX).

Cómo funciona el mecanismo

FPA incorpora un campo escalar entrenable y niveles asociados a las claves. El logit de una clave se reduce en proporción a la caída más profunda del campo por debajo del nivel de esa clave en el tramo entre la clave y la consulta. El nombre remite a la teoría de los paseos aleatorios, donde el «primer paso» es el momento en que la trayectoria cruza por primera vez un umbral dado.

La consecuencia principal tiene que ver con el orden de los eventos. Si el campo cae mucho después de la clave, la clave se penaliza. Si la caída fue pequeña, o si la clave queda por debajo de ella, la clave no se ve afectada. La suma no sabe distinguir estos casos; el extremo sí. Los autores describen FoX como un caso particular de FPA, es decir, el nuevo esquema es estrictamente más amplio que el anterior.

Si el campo y los niveles siguen un mismo paseo entrenable, las claves «vivas», con logits sin penalizar, forman una pila. Una nueva caída desplaza todo lo que queda por encima de ella, mientras que lo que está más abajo sigue disponible. Se parece a la estructura de los paréntesis o de los ámbitos anidados: se cierra un bloque y se olvida su contenido, pero el contexto exterior permanece intacto.

Qué mostraron los experimentos

El resultado teórico se formula en términos de la dimensión de la cabeza. Una cabeza FPA de dimensión constante implementa cualquier subconjunto de claves que siguen vivas tras una serie de caídas. Las cabezas softmax con sesgos posicionales y FoX con gates a nivel de token necesitan para lo mismo una dimensión lineal en el número de claves. Es una ventaja de expresividad con un presupuesto de parámetros fijo.

En tareas sintéticas, las cabezas FPA de una sola capa convergen a los conjuntos de claves objetivo. Los baselines comparables de softmax y FoX no lo lograron en ninguna semilla. Después, los autores escalaron el método a un modelo de lenguaje:

• tamaño del modelo: 110M parámetros;
• perplejidad: al nivel de FoX, sin pérdida respecto al análogo más cercano;
• passkey retrieval: resultado perfecto a una longitud 8 veces superior a la de entrenamiento, el único entre los métodos comparados;
• KV-cache: compresión hasta aproximadamente el 25% sin perder ese resultado;
• tareas sintéticas: FPA converge a los conjuntos objetivo en cabezas de una capa, mientras que los baselines fallan en cada semilla.

Conclusiones prácticas

La combinación de extrapolación de longitud y caché comprimido golpea la principal partida de coste del contexto largo: la memoria para el KV. Si la pila de claves vivas permite descartar con seguridad los tokens restantes, el caché puede reducirse no con una heurística del tipo «conservamos los últimos N», sino con una regla que el propio modelo ha aprendido. Para la inferencia de agentes con sesiones largas y tareas anidadas, esta estructura parece natural.

Hay que ser prudente en tres puntos. Primero, 110M parámetros están lejos de la escala de producción, y el comportamiento con miles de millones no se ha comprobado. Segundo, passkey retrieval sigue siendo una prueba sencilla: muestra la capacidad de encontrar una sola aguja, pero no la calidad del razonamiento sobre un documento largo. Tercero, por el abstract no queda claro cómo se combina FPA con los kernels de atención optimizados ni cuál es su coste en velocidad de entrenamiento.

Un equipo que trabaje en arquitecturas con olvido debería leer el artículo completo y reproducirlo sobre su propio baseline. La primera comprobación es sencilla: comparar FPA con FoX en tareas con estructura anidada y con longitudes varias veces superiores a la de entrenamiento. Si el resultado se confirma en modelos de miles de millones de parámetros, los extremos en lugar de las sumas podrían convertirse en una parte habitual del diseño de los forget gates.