Pourquoi le cerveau est des centaines de millions de fois plus efficace que GPT-4 et où vont les puces neuromorphes

La comparaison entre le cerveau humain et les LLMs modernes révèle un fait inconfortable pour l'industrie de l'IA : même les modèles les plus puissants restent extrêmement gourmands en énergie. Le cerveau fonctionne à environ 20 watts, tandis que les grands modèles de langage pendant l'inférence peuvent nécessiter des kilowatts et pendant l'entraînement — des mégawatts d'énergie. Si nous ne regardons pas les références marketing mais le coût d'une seule pensée, la différence est colossale : la biologie fait toujours le même travail à des ordres de grandeur moins chers que le silicium.

L'article commence la comparaison avec les chiffres de base. On estime que le cerveau effectue environ 10^16 opérations synaptiques par seconde tout en consommant environ 20 watts. Pour les LLMs modernes, une échelle computationnelle comparable est atteinte grâce aux GPUs et TPUs, mais le coût de chaque opération est beaucoup plus élevé.

En termes d'énergie par action, nous parlons d'attojoules pour le cerveau par rapport aux picojoules et plus pour les accélérateurs numériques. L'auteur fournit un exemple plus vivant : pour répondre à une simple question comme la différence entre le méthane et l'éthane, le cerveau n'active qu'une petite fraction de neurones et dépense environ des dixièmes de joule, tandis que GPT-4 doit charger un énorme ensemble de paramètres et effectuer un gigantesque volume d'opérations matricielles. Dans cette formulation, l'écart peut atteindre des centaines de millions de fois.

La raison n'est pas que les ingénieurs ont simplement du mauvais matériel, mais dans les principes computationnels eux-mêmes. Le cerveau fonctionne de manière analogue : les neurones et les synapses opèrent sur des gradients continus, des potentiels de membrane et des courants ioniques. Un seul élément biologique stocke simultanément l'état et participe au calcul.

Les LLMs sont différents : les données sont représentées sous forme de bits, le calcul est séparé de la mémoire, et chaque opération matricielle se décompose en une longue chaîne de commutateurs numériques. Le deuxième avantage du cerveau est la récurrence et la dynamique temporelle. Le même neurone est engagé plusieurs fois dans le traitement des signaux, et le temps devient part du calcul.

Un Transformer, en contraste, pousse chaque token à travers un ensemble fixe de couches et paie pour cela avec un nombre gigantesque d'opérations parallèles. La troisième différence est la parcimonie. Dans le cerveau, seule une petite fraction de neurones est active simultanément, donc le système ne gaspille pas l'énergie sur l'activation complète du réseau.

Dans les LLMs, à chaque étape, d'énormes ensembles de poids sont engagés, même si la tâche est relativement simple. Le quatrième facteur est l'apprentissage local. Le système biologique change les synapses spécifiques où s'est produite une nouvelle expérience, plutôt que d'exécuter une rétropropagation globale à travers un réseau géant.

Le cinquième est la physique du substrat lui-même : les canaux ioniques et les processus biochimiques fonctionnent près du minimum thermodynamique, tandis que même les transistors avancés commutent avec des pertes beaucoup plus importantes. Enfin, le cerveau obtient une partie de sa structure gratuitement : le cortex visuel, l'hippocampe, le cervelet et autres modules spécialisés lui sont venus comme résultat de l'évolution, tandis que les LLMs doivent réapprendre la structure du monde à travers des ensembles de données massifs et un entraînement très coûteux. Cela ne signifie pas que les grands modèles n'ont pas d'avenir.

Plutôt, la conclusion est que l'architecture Transformer actuelle a heurté le coût énergétique de sa propre commodité. L'industrie cherche déjà des solutions de contournement : quantification à 4–8 bits, Transformers épars, mélange d'experts, réseaux liquides et impulsifs. Certaines approches donnent déjà un gain de 5–10x, mais cela est insuffisant pour se rapprocher du niveau biologique.

Par conséquent, de plus en plus d'attention se déplace vers le matériel neuromorphe. De tels systèmes existent déjà : SpiNNaker2 est déployé comme un superordinateur spécialisé et peut même être loué via le cloud, BrainChip Akida est orienté vers edge AI, SynSense Xylo et Innatera Pulsar visent les scénarios de microwatt et de capteurs. Cependant, même les meilleures de ces solutions actuellement traînent le cerveau d'environ trois ordres de grandeur en efficacité énergétique et nécessitent une pile logicielle complètement différente.

L'horizon pratique semble également sobre. En 2026–2028, les puces neuromorphes croîtront probablement dans la robotique, les contrôleurs industriels, les capteurs et les systèmes autonomes, où la latence et la consommation d'énergie sont critiques. L'électronique grand public comme les smartphones et les montres intelligentes pourraient obtenir de tels coprocesseurs, si ce n'est plus tard, vers 2030 et au-delà.

Le principal goulot d'étranglement ici n'est pas seulement la fabrication de puces, mais aussi le logiciel : les outils familiers comme PyTorch et TensorFlow ne fonctionnent pas avec les réseaux impulsifs sans adaptation sérieuse, et il n'existe pas encore de norme d'entraînement universelle pour de tels systèmes. La conclusion principale est simple : le cerveau aujourd'hui n'est pas seulement plus intelligent à des tâches individuelles, mais radicalement plus économe comme machine informatique. Par conséquent, le prochain grand saut en IA viendra probablement non pas d'un LLM encore plus grand sur un cluster GPU encore plus grand, mais d'un changement du paradigme informatique fondamental.

Pour l'instant, GPT-4 et ses successeurs restent un moyen très puissant, mais énergétiquement coûteux d'obtenir un comportement de type intelligence.