DeepMind et le « minage » de fonctions d'activation : pourquoi ReLU doit prendre sa retraite

Pendant des décennies, la fonction d'activation ReLU a fait figure de standard intouchable. Simple comme une brique, elle est juste assez efficace pour ne pas empêcher les réseaux neuronaux d'apprendre. Mais soyons honnêtes : si ReLU (Rectified Linear Unit) s'est imposée, ce n'est pas parce qu'elle est parfaite, mais parce qu'en 2012 nous n'avions pas les ressources pour essayer quelque chose de plus complexe.

DeepMind a désormais décidé d'arrêter de lire dans le marc de café et a fait de la recherche de formules mathématiques une véritable activité de minage industriel. L'équipe de chercheurs a bâti ce qu'elle appelle une « mine de calcul ». L'idée est à la fois simple et folle : si l'on ignore quelle fonction mathématique convient le mieux à l'apprentissage profond, il suffit de toutes les essayer.

C'est la bonne vieille méthode de la force brute, poussée à l'extrême. Au lieu d'obliger des mathématiciens à passer des années à dériver d'élégantes démonstrations, DeepMind a envoyé au front des milliers de GPU pour « extraire » l'algorithme idéal. Pourquoi maintenant ?

Le marché des LLM bute sur un plafond d'efficacité. On multiplie sans fin le nombre de paramètres, mais les briques de base des modèles ne changent presque pas. DeepMind a compris que même un gain d'efficacité minuscule au niveau de la fonction d'activation permet, à l'échelle de GPT-4 ou de Gemini, d'économiser des millions de dollars d'électricité et des semaines d'entraînement.

Ce n'est pas une simple curiosité académique, c'est de l'économie pure. Au cours de ce « minage », le système a testé des millions de combinaisons d'opérateurs mathématiques. Les chercheurs cherchaient des fonctions qui affichent non seulement une forte précision sur le papier, mais qui s'entendent aussi avec le matériel actuel.

Il s'est avéré que de nombreuses fonctions puissantes en théorie sont trop coûteuses à calculer sur GPU, ce qui les rend inutiles en production. DeepMind visait donc le juste milieu : légèreté de calcul et souplesse mathématique. Les résultats sont impressionnants.

Les fonctions découvertes battent non seulement la bonne vieille ReLU, mais aussi des alternatives plus récentes comme Swish ou GeLU. Le plus intéressant reste le changement de paradigme. On passe de l'ère des « humains brillants qui inventent des algorithmes » à celle des « systèmes intelligents qui font pousser des algorithmes ».

C'est le véritable AutoML dont on rêve depuis cinq ans, sauf qu'il atteint désormais les fondations mêmes des connexions neuronales. Qu'est-ce que cela signifie pour l'industrie ? Il est probable que la prochaine génération de grands modèles de langage adopte des architectures qui nous paraîtront étranges.

Elles utiliseront des fonctions qu'aucun humain sensé n'aurait jamais dérivées au tableau, parce qu'elles ne semblent pas « belles » du point de vue de l'analyse mathématique classique. Mais elles fonctionneront. Et plus vite que tout ce que nous avons vu jusqu'ici.

L'essentiel : DeepMind a démontré que la « ruée vers l'or » de l'AI se déplace des datasets géants vers la réinvention des mathématiques de base. Si vous pensiez que les fondements de l'apprentissage profond étaient coulés dans le béton, préparez-vous : on vient de commencer à les attaquer au marteau-piqueur.