LLM à un quadrillion de paramètres : quand les attendre — et pourquoi la réponse est « jamais »

Les modèles à un quadrillion de paramètres (10^15) n'apparaîtront pas dans un avenir prévisible : les limites physiques et de calcul rendent cette échelle quasi inaccessible dans le paradigme actuel.

À quelle distance du quadrillion sommes-nous aujourd'hui ?

Le chiffre symbolique est mille fois plus loin qu'il n'y paraît. Les meilleurs modèles de langage de 2025-2026 se situent entre quelques centaines de milliards et quelques trillions de paramètres. Selon les estimations des analystes de SemiAnalysis, GPT-4 repose sur une architecture Mixture of Experts totalisant environ 1,76 trillion de poids ; Gemini Ultra de Google en compterait environ 1,56 trillion. Pour atteindre le quadrillion (10^15), il faut encore multiplier ces tailles par 700 à 1000 environ.

• Fourchette des modèles frontier aujourd'hui : ~100 milliards à ~2 trillions de paramètres
• Un quadrillion (10^15) représente 700 à 1000 fois la taille de GPT-4
• L'entraînement de GPT-4 a coûté plus de 100 M$, selon les estimations des analystes
• L'entraînement de Llama 2 70B a nécessité ~539 MWh, d'après la documentation technique de Meta
• Le seul stockage des poids d'un modèle 1Q au format int4 occuperait environ 125 To

Pourquoi multiplier la taille par 1000 ne se résume-t-il pas à « attendre » ?

Un modèle à un quadrillion de paramètres ne demande pas seulement plus d'argent : il exige une tout autre physique.

Les GPU phares de NVIDIA, H100 et H200, embarquent de 80 à 192 Go de mémoire par carte. Même avec une quantification agressive sur 1 bit, un modèle 1Q nécessiterait ~125 To rien que pour les poids, sans compter les activations, les gradients ni l'optimiseur. Au format standard BF16, on atteint déjà ~2 pétaoctets. Un tel volume suppose de bâtir une infrastructure radicalement différente, qu'aucune entreprise au monde ne possède.

«

Nous observons un ralentissement des gains liés au seul accroissement du nombre de paramètres : les données et l'efficacité de calcul comptent davantage que la taille brute », selon les publications de recherche de l'équipe DeepMind sur l'optimisation Chinchilla.

À cette contrainte physique s'ajoute la consommation d'énergie. Selon les estimations, entraîner un modèle 1Q avec l'efficacité actuelle des puces demanderait de plusieurs dizaines à plusieurs centaines de TWh, soit de l'ordre de la consommation électrique annuelle d'un pays européen moyen.

Pourquoi les données ne suffiraient-elles pas pour un quadrillion de

paramètres ?

D'après l'étude de DeepMind (Hoffmann et al., 2022), un entraînement optimal en termes de calcul requiert environ 20 tokens par paramètre. Un modèle 1Q devrait donc être entraîné sur 20 quadrillions de tokens. Selon diverses estimations de recherche, l'ensemble du texte numérisé d'Internet représente de l'ordre de 10^13 à 10^14 tokens, soit 200 à 2000 fois moins que nécessaire.

Les données synthétiques atténuent en partie cette contrainte, mais pas à un facteur mille, et pas sans dégradation de la qualité en cas de génération en boucle. Autrement dit, même si l'infrastructure de calcul existait, il n'y aurait rien pour nourrir un tel modèle.

Ce que cela signifie

Les LLM à un quadrillion de paramètres ne sont pas une question de temps ni de financement, mais de limites fondamentales : physique des semi-conducteurs, volume des données existantes et rendements décroissants du passage à l'échelle. Le progrès du secteur ne va pas vers « un seul modèle gigantesque », mais vers des architectures plus efficaces — Mixture of Experts, Retrieval-Augmented Generation — et des systèmes agentiques spécialisés.

Questions fréquentes

Quelle est la taille de la plus grande LLM ouverte aujourd'hui ?

En 2026, le plus grand modèle entièrement ouvert reste Grok-1 de xAI : 314 milliards de paramètres en architecture Mixture of Experts, publié en accès libre en mars 2024. Selon les estimations des analystes de SemiAnalysis, les modèles frontier fermés des grands laboratoires dépassent 1 trillion de paramètres.

Un ordinateur quantique aiderait-il à entraîner de tels modèles ?

Les ordinateurs quantiques sont efficaces pour une classe restreinte de problèmes, comme la factorisation et la simulation de molécules, mais pas pour la multiplication matricielle sur laquelle repose l'entraînement des transformers. Dans un avenir prévisible, les systèmes quantiques ne remplaceront ni les GPU ni les TPU pour l'entraînement des LLM.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.