Des milliards de paramètres : comment mesurer l'intelligence en chiffres

À chaque sortie majeure dans l'IA, la première question dans les commentaires est toujours la même : « Combien de paramètres ? ». C'est devenu une sorte d'étalon de la puissance, l'équivalent des chevaux-vapeur pour les moteurs thermiques.

Nous sommes habitués à des chiffres comme 7, 70, voire 175 milliards, mais nous nous demandons rarement ce qu'ils signifient vraiment. Une fois le vernis marketing retiré, un paramètre n'est qu'un nombre. Mais c'est de ces nombres qu'est tissé l'apprentissage automatique moderne.

Pour saisir l'idée, imaginez une gigantesque console de mixage dotée de milliards de boutons et d'interrupteurs. Chacun de ces interrupteurs est un paramètre. À la création du modèle, tous ces boutons sont réglés au hasard.

Si vous interrogez ce modèle « vierge » sur le sens de la vie, il produira une suite aléatoire de caractères. L'entraînement consiste précisément à ajuster minutieusement chacun de ces milliards de paramètres jusqu'à obtenir en sortie un texte ou une image qui ait du sens.

Historiquement, la tendance a été au gigantisme. Les premiers réseaux neuronaux se contentaient de milliers de paramètres et savaient tout juste reconnaître des chiffres manuscrits. Puis est venue l'ère du Deep Learning, et l'on s'est mis à compter en millions.

La vraie rupture est arrivée avec l'architecture Transformer, qui a permis de faire grimper les modèles à des tailles inédites. Quand OpenAI a lancé GPT-3 et ses 175 milliards de paramètres, le monde a été ébranlé. La recette semblait universelle : il suffisait d'ajouter des paramètres et des données pour rendre le modèle plus intelligent.

Ce phénomène a reçu un nom : les Scaling Laws, ou lois d'échelle. Mais cette course à la taille s'est heurtée à la loi des rendements décroissants. Les modèles géants exigent une puissance de calcul colossale, consomment autant d'électricité que de petites villes et tournent lentement.

Que font réellement ces paramètres à l'intérieur du modèle ? Techniquement, ils se répartissent en poids et en biais. Les poids définissent la force des connexions entre neurones : à quel point un mot du contexte doit peser sur le choix du mot suivant.

Les biais aident le modèle à corriger ses prédictions lorsque les données s'écartent de la norme. Lors de la rétropropagation du gradient (backpropagation), l'algorithme calcule dans quel sens tourner chacun de ces milliards de « boutons » pour que la réponse suivante soit un peu plus juste. Ce processus se répète des milliers de milliards de fois sur d'immenses volumes de données issues du web, de livres et de code.

Au bout du compte, les paramètres cristallisent le savoir humain et deviennent une sorte de base de données compressée, capable non seulement de stocker des faits, mais aussi de les combiner.

La médaille a toutefois son revers : le surapprentissage. Avec trop de paramètres et pas assez de données de qualité, le modèle peut se contenter d'« apprendre par cœur » son jeu d'entraînement. Il brillera à l'examen sur des sujets déjà vus, mais échouera complètement dans la vraie vie face à un problème inconnu.

C'est l'un des principaux défis du développement actuel : trouver l'équilibre entre la puissance d'un modèle et sa capacité de généralisation. Par ailleurs, on constate de plus en plus que des astuces d'architecture comme le Mixture of Experts (MoE) permettent d'exploiter des milliers de milliards de paramètres sans les solliciter tous en même temps. Les modèles gagnent ainsi en efficacité, même si leur taille nominale continue d'augmenter.

Aujourd'hui, l'industrie commence à s'éloigner progressivement du culte du « gigantisme ». On voit émerger des petits modèles de langage (SLM) qui, avec 7 milliards de paramètres, obtiennent de meilleurs résultats que d'anciens géants de 100 milliards. Ce progrès tient à un meilleur nettoyage des données et à des méthodes d'entraînement plus intelligentes.

Les paramètres ne sont plus un simple chiffre dans un communiqué de presse : ils sont devenus une ressource à dépenser avec discernement. Au final, ce qui compte n'est pas le nombre de « boutons » sur la console, mais la précision de leur réglage. Nous entrons dans une ère où l'efficacité de l'architecture et la densité de connaissances de chaque paramètre pèsent bien plus que leur nombre total.

L'essentiel : la course à la quantité de paramètres cède la place à une course à leur qualité. Un modèle d'un milliard de paramètres pourra-t-il un jour rivaliser avec le cerveau humain grâce à un réglage parfait ?