Quanta Magazine analiza por qué la atención se convirtió en el núcleo de los LLM tras el artículo de 2017

Ocho autores, un artículo de 2017 y una fórmula de una sola línea: softmax(QK^T/√d)V. Esta operación está en la base de la mayoría de los grandes modelos de lenguaje. La columna de Quanta Magazine del 12 de octubre de 2026 plantea una pregunta: ¿por qué fue precisamente la atención la clave para procesar lenguaje a gran escala y puede considerarse la esencia de la inteligencia?

El anuncio de la columna no ofrece una respuesta, solo plantea la pregunta, así que a continuación se repasa el contexto técnico en el que se desarrolla este debate. Las conclusiones del autor están en el original.

De dónde salió la fórmula

La idea de la atención es anterior al transformer. En 2014, Bahdanau, Cho y Bengio aplicaron un mecanismo similar en un modelo recurrente de traducción automática: al generar cada palabra, el decodificador podía «mirar» distintas partes de la frase de origen. La red recurrente seguía siendo la base, y la atención funcionaba como un añadido.

En 2017, los autores de Attention Is All You Need, de Google, eliminaron por completo la recurrencia. Quedaron capas en las que cada token construye una consulta (query), la compara con las claves (keys) de todos los demás tokens y toma la suma ponderada de sus valores (values). En la traducción WMT 2014, la versión grande del modelo obtuvo 28,4 BLEU en inglés-alemán y 41,8 en inglés-francés.

Por qué la atención escala

La principal ventaja es que toda la secuencia se procesa en paralelo. Una red recurrente lee el texto paso a paso, y las GPU quedan ociosas mientras tanto. La atención se reduce a grandes multiplicaciones de matrices, para las que están diseñados los aceleradores actuales. Más datos, más parámetros, más chips: este esquema mejoró la calidad de forma predecible.

La segunda razón es la flexibilidad. Los pesos de atención se calculan a partir de la propia entrada, de modo que la relación entre una palabra al principio de un párrafo y otra al final no se debilita por el camino, como ocurría en las antiguas arquitecturas recurrentes.

Cifras clave del trabajo original:

• 8 autores, conferencia NeurIPS 2017;
• modelo base: unos 65 millones de parámetros, entrenamiento de aproximadamente 12 horas con 8 GPU NVIDIA P100;
• modelo grande: unos 213 millones de parámetros, 3,5 días con las mismas 8 GPU;
• resultado: 28,4 BLEU (EN→DE) y 41,8 BLEU (EN→FR);
• como referencia, GPT-3 tenía en 2020 175 mil millones de parámetros y un contexto de 2048 tokens.

El precio de la universalidad

La atención tiene un punto débil: cada token se compara con todos los demás. El tiempo y la memoria crecen proporcionalmente al cuadrado de la longitud del contexto. Si se duplica el contexto, el cómputo en esa parte se multiplica por cuatro.

La industria responde con ingeniería. FlashAttention (2022) no cambia las matemáticas, sino que reorganiza el uso de la memoria de la GPU y ofrece el resultado exacto con mayor rapidez. En paralelo se desarrollan la atención dispersa y la lineal, así como híbridos con modelos de espacio de estados. Estos enfoques ahorran cómputo, pero a menudo rinden peor que la atención clásica en tareas complejas.

Cómo leer este debate en la práctica

La afirmación «la atención es la esencia de la inteligencia» conviene dividirla en dos. La primera es verificable: la atención ha resultado ser una primitiva de cómputo excepcionalmente acertada para entrenar con texto. La segunda es filosófica: qué implica eso para entender la mente sigue siendo objeto de discusión, y Quanta la lleva al titular.

Para los ingenieros, la conclusión es pragmática. Si eliges una arquitectura o evalúas infraestructura, no cuentes solo los parámetros, sino también la longitud del contexto: la parte cuadrática determina el coste de las consultas largas, de los pipelines RAG y de los agentes con mucha memoria. Si sigues la investigación, fíjate en los trabajos que comparan las alternativas a la atención con el transformer con el mismo presupuesto de cómputo. Por ahora, el transformer sigue siendo el punto de referencia.