Un PhD de Stanford deriva el Transformer desde cero a partir de un problema de memoria

El 15 de octubre, un PhD en computer science de Stanford publicó un post en su blog con un planteamiento provocador: si el paper «Attention Is All You Need» no existiera, ¿podrías derivar el Transformer paso a paso a partir de una sola pregunta, la de cómo hacer que una máquina memorice todo lo posible y recupere cualquier elemento bajo demanda? Nueve años después de la publicación del original, el texto se difundió por los medios tecnológicos chinos, entre ellos Jiqizhixin. En el fragmento disponible de la fuente faltan el nombre del autor y los detalles de la derivación, así que lo que sigue repasa lo que se sabe del planteamiento en sí y de la historia del problema.

El problema en lugar de la arquitectura

Lo habitual es explicar el Transformer de arriba abajo: aquí está el bloque de atención, aquí la capa feed-forward, aquí las codificaciones posicionales. El post del blog sigue el camino inverso, de abajo arriba. El planteamiento inicial no contiene ni una vez la palabra «atención»: solo habla de memoria y de un requisito de acceso arbitrario. Si necesitas guardar mucha información y consultar cualquier fragmento, una red recurrente con un único estado oculto choca enseguida con un cuello de botella. Todo acceso tiene que pasar por un estado comprimido, y el gradiente debe atravesar decenas de pasos.

A partir de ahí, la lógica se va armando casi sola. Hacen falta claves con las que localizar los elementos y valores que se devuelven. Hace falta una selección blanda en lugar de una dura, para que el entrenamiento pueda avanzar por gradiente. Hacen falta varias «consultas» independientes a la memoria al mismo tiempo, y de ahí surge la atención multicabeza. El orden de los elementos hay que introducirlo de forma explícita, porque ya no existe la recurrencia. Con el fragmento disponible no se pueden confirmar los pasos concretos de la derivación en el blog, pero esta es la ruta que sugiere el propio planteamiento.

Qué pistas había en la literatura

La tesis de que «las claves estaban sobre la mesa» se comprueba con las fechas. Mucho antes de 2017, las publicaciones ya contenían todas las piezas necesarias:

• 2014, Bahdanau y coautores: atención aditiva en traducción seq2seq, donde el decodificador mira todos los estados del codificador.
• 2014, Graves y coautores, Neural Turing Machines: memoria externa con direccionamiento por contenido, totalmente diferenciable.
• 2014–2015, Memory Networks y End-to-End Memory Networks: acceso blando a la memoria en varios «saltos».
• 2015, Luong y coautores: atención multiplicativa (dot-product) simplificada.
• 2015–2016: conexiones residuales (ResNet) y layer normalization, sin las cuales una pila profunda no se entrena de forma estable.

El paper original de 2017 reunió estos elementos y eliminó por completo la recurrencia. Sus ocho autores lograron 28,4 BLEU en WMT 2014 English-German y 41,8 BLEU en English-French. El modelo grande se entrenó durante unos 3,5 días con ocho GPU P100, algo que para los estándares de los clústeres actuales es casi nada.

Por qué se difunden textos como este

El formato de «¿serías capaz?» tiene un valor claro. Convierte la arquitectura, que de otro modo habría que memorizar como un artefacto, en una cadena de decisiones de ingeniería, cada una de las cuales responde a una limitación concreta. Eso resulta más útil que repetir el diagrama del paper: entender las causas ayuda cuando hay que modificar un modelo y no solo ejecutar uno ya hecho. De ahí el interés: el Transformer sigue siendo la base de casi todos los grandes modelos de lenguaje, y las conversaciones sobre sustitutos (state space models, atención lineal, híbridos) exigen entender qué problema resolvía exactamente la atención original.

Cómo aplicarlo en la práctica

Si trabajas con LLM o piensas empezar, toma el planteamiento del blog como ejercicio. Primero, escribe en papel qué debe hacer la memoria: guardar pares, buscar por similitud, devolver una mezcla ponderada. Después, implementa atención de una sola cabeza en unas 30–50 líneas de PyTorch o NumPy y comprueba que funciona en una tarea de juguete de copia o de búsqueda. A continuación, añade el escalado por la raíz de la dimensión de la clave, el orden mediante codificaciones posicionales y varias cabezas. En cada paso, elimina un componente y observa qué se rompe.

A los equipos que evalúan alternativas al Transformer les conviene hacer lo mismo con el candidato: qué subproblema (direccionamiento, paralelismo en el entrenamiento, coste del contexto) resuelve mejor y qué cede a cambio. El post del blog conviene leerlo en el original: en la fuente solo está disponible el fragmento introductorio.