Matemáticas de RNN: por qué las preguntas «infantiles» desconciertan a los ingenieros

Estamos acostumbrados a percibir las redes neuronales como una caja negra que simplemente funciona si la alimentamos con suficientes datos y poder computacional. Pero si profundizamos un poco más allá del nivel de las bibliotecas PyTorch o TensorFlow, descubrimos que el fundamento sobre el cual se asienta la IA moderna se sostiene en cosas que a menudo aceptamos por fe. Las redes neuronales recurrentes (RNN) hoy parecen un residuo del pasado ante el dominio de los transformers, pero es precisamente en su estructura donde se encuentran aquellos mismos principios matemáticos sin los cuales es imposible comprender la evolución del aprendizaje profundo.

Una vez, las RNN enseñaron a las máquinas a trabajar con secuencias, y comprender su "funcionamiento interno" no es simplemente un ejercicio académico, sino una forma de entender por qué los modelos modernos se convirtieron en lo que son.

En el corazón de cualquier RNN yace la idea de transmitir estado del pasado al futuro. Matemáticamente, esto se ve elegante hasta que comienzas a calcular derivadas. La mayoría de los libros de texto nos ofrecen generosamente fórmulas listas, pero rara vez explican cómo ocurre exactamente la diferenciación de un vector con respecto a una matriz.

Para muchos ingenieros, este se convierte en un momento de verdad: resulta que las reglas familiares del curso de cálculo de la escuela secundaria funcionan de manera diferente aquí, transformándose en operaciones engorrosas con jacobianos. A menudo nos da miedo hacer preguntas "infantiles", como por qué durante la retropropagación, los gradientes se suman en lugar de multiplicarse en ciertos nodos del gráfico. Las respuestas a estas preguntas se encuentran en la misma naturaleza de la regla de la cadena y en cómo fluye la información a través de las capas de neuronas.

El contexto del surgimiento de las RNN está estrechamente vinculado a intentos de imitar la memoria humana. Sin embargo, en la práctica, los investigadores rápidamente enfrentaron el problema de gradientes que se desvanecen o explotan. Esto no es meramente un error técnico, sino una consecuencia directa de la estructura matemática de la recursión.

Cuando multiplicas una matriz por sí misma docenas o cientos de veces durante la retropropagación en el tiempo (BPTT), cualquier desviación de los valores propios de la unidad conduce ya sea a la anulación de la señal o a su crecimiento infinito. Fue precisamente este callejón sin salida matemático lo que obligó a la industria a buscar alternativas, lo que primero condujo a la creación de LSTM y GRU con sus complejos sistemas de "puertas", y luego a los mecanismos de atención, que formaron la base de la arquitectura GPT.

Un análisis de la RNN más simple, como la que alguna vez popularizó Andrej Karpathy, expone una ironía de la industria: construimos sistemas colosales sobre principios que aún provocan debates sobre detalles de implementación. Por ejemplo, la cuestión de cómo exactamente inicializar los pesos para evitar el colapso del aprendizaje en los primeros segundos sigue siendo más un arte que una ciencia rigurosa. Utilizamos heurísticas que funcionan, pero no siempre podemos explicar el "por qué" al nivel de los primeros principios. Es reminiscente de la curiosidad infantil, cuando un niño desmonta un juguete para entender qué hay dentro y descubre piezas cuyo propósito ni siquiera los adultos entienden.

El análisis de estos fundamentos nos obliga a mirar de manera diferente el actual auge de las redes neuronales. Entendiendo lo difícil que fue hacer que las RNN recordaran apenas una docena de palabras en una oración, realmente comienzas a apreciar el genio de la ingeniería detrás de las ventanas de contexto modernas que abarcan millones de tokens. Sin embargo, los problemas antiguos no han desaparecido—simplemente se han camuflado.

Las cuestiones de eficiencia computacional y estabilidad de gradientes siguen siendo relevantes incluso para clusters H100 gigantescos. Volver a los orígenes y examinar preguntas "infantiles" sobre diferenciación y propagación de errores te permite despojarte de la arrogancia del desarrollador sénior y ver en el código no solo una llamada a la función .backward(), sino un baile complejo y frágil de números.

Lo fundamental: la comprensión fundamental de la matemática de las RNN demuestra que no hay magia en la IA—solo largas cadenas de derivadas que a veces se comportan de manera impredecible debido a nuestro amor por las simplificaciones.