Cómo el producto escalar de un libro de álgebra se convirtió en el fundamento de ChatGPT, Claude y Gemini

En 2017, un grupo de ingenieros de Google publicó el artículo "Attention is All You Need" — y silenciosamente dividió la historia de la inteligencia artificial en "antes" y "después". Sin presentaciones pomposas ni robots humanoides, ocho investigadores describieron una arquitectura que hoy fundamenta ChatGPT, Claude, Gemini, Midjourney y prácticamente toda la IA generativa moderna. Lo más sorprendente — el fundamento de esta revolución resultó ser una de las operaciones más simples del álgebra lineal: el producto escalar de dos vectores.

El Muro Contra el Que Chocaron las Redes Neuronales

Antes de los transformers, las redes recurrentes — RNNs y LSTMs — dominaban el procesamiento de texto. Leían oraciones secuencialmente: palabra por palabra, paso a paso. El problema era que al final de un texto largo, el modelo "olvidaba" el comienzo — la señal se desvanecía conforme pasaba por cientos de pasos intermedios. Esto se llamaba el problema del gradiente desvaneciente. Imagina: un modelo lee una novela y en el quinto capítulo ya no recuerda el nombre del protagonista. Exactamente eso fue el muro contra el que chocaron las redes neuronales a mediados de los años 2010. La arquitectura escalaba mal, la computación paralela era prácticamente inaccesible — cada paso siguiente dependía del anterior. Se necesitaba algo fundamentalmente diferente.

Por Qué el Producto Escalar es Genialmente Simple

El producto escalar es una operación del curso estándar de álgebra vectorial. Tomas dos vectores, multiplicas sus coordenadas en pares y sumas todos los resultados. La salida es un número: cuanto mayor sea, más "similares" o "relacionados" están los vectores entre sí. En el mecanismo de auto-atención de un transformer, esta operación se aplica de la siguiente manera:

• Cada palabra se transforma en tres vectores: Query (consulta), Key (clave) y Value (valor)
• El producto escalar de la Query de una palabra con la Key de cualquier otra palabra muestra la "fuerza de conexión" entre un par de palabras
• Los resultados se escalan y normalizan mediante softmax — resultando en pesos de atención de 0 a 1
• El vector final de una palabra es una suma ponderada de todos los Values según estos pesos

Esencialmente, cada token simultáneamente hace la pregunta a todos los demás: "¿Cuán importante eres para mi comprensión ahora mismo?" — y recibe una respuesta numérica precisa. Esto sucede en paralelo para toda la oración, no secuencialmente palabra por palabra.

Tres Propiedades Que Cambiaron la Industria

El producto escalar resultó ser la operación ideal para el lenguaje por varias razones al mismo tiempo.

Paralelismo. Todos los cálculos de atención pueden realizarse simultáneamente — a diferencia de los RNNs, donde cada paso depende del anterior. Esto desbloqueó GPUs y TPUs y permitió escalar modelos a cientos de miles de millones de parámetros. Así es como BERT, GPT-3, y luego GPT-4 y Claude aparecieron en el transcurso de varios años.

Contexto global sin desvanecimiento. Cada palabra inmediatamente "ve" todas las demás — independientemente de la distancia en el texto. El pronombre "él" al final de un párrafo largo se vincula correctamente al nombre del personaje desde el mismísimo comienzo. Ningún desvanecimiento de señal a través de capas intermedias.

Interpretabilidad. Las matrices de atención se pueden visualizar — literalmente ver qué palabra presta atención a qué al procesar una oración. Esto es raro en el mundo de las redes neuronales, donde la mayoría de las decisiones permanecen como caja negra.

"No necesitamos recurrencia ni convoluciones en absoluto", escribieron los autores en 2017.

Para la comunidad en esa época, esto sonaba como herejía. Tres años después se convirtió en un axioma.

Lo Que Esto Significa

El transformer demostró: una revolución en IA puede venir no de la neurobiología ni de la filosofía de la consciencia, sino de un libro de álgebra lineal de segundo año. ChatGPT, Claude, Gemini, Midjourney — todos ellos en su base multiplican matrices de productos escalares miles de millones de veces por segundo. La simplicidad de la operación resultó ser su mayor fortaleza: no la complicación, sino la elección correcta de una herramienta elemental cambió todo.