Les mathématiques des RNN : pourquoi des questions « enfantines » mettent les ingénieurs en difficulté

Nous avons pris l'habitude de considérer les réseaux de neurones comme une boîte noire qui fonctionne, pour peu qu'on lui fournisse assez de données et de puissance de calcul. Mais il suffit de creuser un peu sous la couche des bibliothèques PyTorch ou TensorFlow pour découvrir que les fondations de l'IA moderne reposent sur des éléments que nous acceptons souvent sans les questionner. Face à la domination des transformers, les réseaux de neurones récurrents (RNN) font aujourd'hui figure de vestige.

Pourtant, leur structure renferme précisément les principes mathématiques sans lesquels il est impossible de comprendre l'évolution de l'apprentissage profond. Ce sont les RNN qui, à l'époque, ont appris aux machines à traiter des séquences. Comprendre ce qu'ils ont sous le capot n'a rien d'un simple exercice académique : c'est un moyen de comprendre pourquoi les modèles actuels sont devenus ce qu'ils sont.

Tout RNN repose sur une idée : transmettre un état du passé vers le futur. Sur le plan mathématique, c'est élégant, jusqu'au moment où l'on commence à calculer les dérivées. La plupart des manuels fournissent obligeamment des formules toutes faites, mais expliquent rarement comment on dérive concrètement un vecteur par rapport à une matrice.

Pour beaucoup d'ingénieurs, c'est un moment de vérité : les règles familières de l'analyse apprise au lycée fonctionnent ici autrement et se transforment en lourdes opérations sur des jacobiennes. Nous hésitons souvent à poser des questions « enfantines », par exemple : pourquoi, lors de la rétropropagation, les gradients s'additionnent-ils, et ne se multiplient-ils pas, à certains nœuds du graphe ? La réponse tient à la nature même de la règle de dérivation en chaîne et à la manière dont l'information circule à travers les couches de neurones.

La naissance des RNN est étroitement liée aux tentatives d'imiter la mémoire humaine. En pratique, les chercheurs se sont toutefois rapidement heurtés au problème de l'évanouissement et de l'explosion des gradients. Il ne s'agit pas d'un simple bug technique, mais d'une conséquence directe de la structure mathématique de la récursion.

Lorsqu'on multiplie une matrice par elle-même des dizaines ou des centaines de fois pendant la rétropropagation à travers le temps (BPTT), le moindre écart des valeurs propres par rapport à 1 conduit soit à l'annulation du signal, soit à sa croissance infinie. C'est cette impasse mathématique qui a poussé l'industrie à chercher des alternatives : d'abord les LSTM et les GRU, avec leur système complexe de « portes », puis les mécanismes d'attention, qui ont servi de base à l'architecture GPT.

Décortiquer un RNN élémentaire, semblable à celui qu'Andrej Karpathy a popularisé en son temps, met à nu une ironie du secteur : nous bâtissons des systèmes colossaux sur des principes dont les détails d'implémentation font encore débat. Comment initialiser les poids pour éviter que l'apprentissage ne s'effondre dès les premières secondes ? La question relève encore davantage de l'art que de la science rigoureuse. Nous utilisons des heuristiques qui fonctionnent, sans toujours pouvoir expliquer le « pourquoi » à partir des premiers principes. On pense à l'enfant qui démonte un jouet pour voir ce qu'il contient et y découvre des pièces dont même les adultes ignorent la fonction.

L'analyse de ces fondamentaux invite à porter un autre regard sur le boom actuel des réseaux de neurones. Quand on mesure à quel point il était difficile de faire retenir à un RNN ne serait-ce qu'une dizaine de mots dans une phrase, on apprécie à sa juste valeur le génie d'ingénierie derrière les fenêtres de contexte actuelles de plusieurs millions de tokens. Les vieux problèmes n'ont pas disparu pour autant : ils ont simplement changé de visage.

L'efficacité des calculs et la stabilité des gradients restent des enjeux d'actualité, y compris pour les gigantesques clusters de H100. Revenir aux sources et se pencher sur les questions « enfantines » de dérivation et de propagation de l'erreur permet de ravaler sa fierté de développeur senior et de voir dans le code autre chose qu'un simple appel à la fonction .backward() : une danse de nombres complexe et fragile.

À retenir : une compréhension fondamentale des mathématiques des RNN montre qu'il n'y a pas de magie dans l'IA, seulement de longues chaînes de dérivées qui se comportent parfois de façon imprévisible, à cause de notre goût pour les simplifications.