Las matemáticas de las RNN: por qué las preguntas «infantiles» dejan sin respuesta a los ingenieros

Nos hemos acostumbrado a ver las redes neuronales como una caja negra que simplemente funciona si se le dan suficientes datos y potencia de cálculo. Pero basta con escarbar un poco por debajo de librerías como PyTorch o TensorFlow para descubrir que los cimientos de la IA moderna se apoyan en cosas que a menudo damos por sentadas. Hoy las redes neuronales recurrentes (RNN) parecen una reliquia frente al dominio de los transformers, pero su estructura contiene precisamente los principios matemáticos sin los cuales es imposible entender la evolución del deep learning.

Fueron las RNN las que enseñaron en su día a las máquinas a trabajar con secuencias, y conocer sus tripas va más allá de un ejercicio académico: es una forma de entender por qué los modelos actuales son como son.

Toda RNN se basa en la idea de transmitir un estado del pasado al futuro. Matemáticamente resulta elegante hasta que uno empieza a calcular derivadas. La mayoría de los manuales ofrecen solícitamente fórmulas ya hechas, pero rara vez explican cómo se deriva exactamente un vector respecto a una matriz.

Para muchos ingenieros, este es el momento de la verdad: las reglas habituales del cálculo escolar funcionan aquí de otra manera y se convierten en engorrosas operaciones con jacobianos. A menudo nos da miedo hacer preguntas «infantiles», como por qué en la retropropagación del error los gradientes se suman, y no se multiplican, en determinados nodos del grafo. Las respuestas residen en la propia naturaleza de la regla de la cadena y en cómo fluye la información a través de las capas de neuronas.

El origen de las RNN está estrechamente ligado a los intentos de imitar la memoria humana. Sin embargo, en la práctica los investigadores se toparon enseguida con el problema del desvanecimiento y la explosión de los gradientes. Lejos de ser un simple fallo técnico, es una consecuencia directa de la estructura matemática de la recursión.

Cuando se multiplica una matriz por sí misma decenas o cientos de veces durante la retropropagación a través del tiempo (BPTT), cualquier desviación de los valores propios respecto a uno hace que la señal se anule o crezca sin límite. Este callejón sin salida matemático obligó a la industria a buscar alternativas: primero surgieron LSTM y GRU, con su complejo sistema de «puertas», y después los mecanismos de atención que sentaron las bases de la arquitectura GPT.

Diseccionar una RNN sencilla, como la que en su día popularizó Andrej Karpathy, deja al descubierto una ironía de la industria: construimos sistemas colosales sobre principios cuyos detalles de implementación todavía generan debate. Por ejemplo, cómo inicializar los pesos para evitar que el entrenamiento colapse en los primeros segundos sigue siendo más un arte que una ciencia rigurosa. Usamos heurísticas que funcionan, pero no siempre sabemos explicar el «porqué» desde primeros principios. Recuerda a la curiosidad de un niño que desmonta un juguete para ver qué hay dentro y encuentra piezas cuya función ni siquiera entienden los adultos.

Analizar estos fundamentos nos obliga a mirar de otra forma el actual auge de las redes neuronales. Cuando se comprende lo difícil que era conseguir que una RNN recordara siquiera una decena de palabras de una frase, se empieza a valorar de verdad el ingenio de ingeniería que hay detrás de las ventanas de contexto actuales de millones de tokens. Pero los viejos problemas no han desaparecido: simplemente se han camuflado.

La eficiencia computacional y la estabilidad de los gradientes siguen siendo cuestiones vigentes incluso en los gigantescos clústeres de H100. Volver a los orígenes y plantear preguntas «infantiles» sobre la derivación y la propagación del error permite dejar a un lado la arrogancia del desarrollador senior y ver en el código algo más que una llamada a la función .backward(): una danza de números compleja y frágil.

Lo esencial: entender a fondo las matemáticas de las RNN demuestra que en la IA no hay magia, solo largas cadenas de derivadas que a veces se comportan de forma impredecible por nuestra afición a simplificar.