La biologie rencontre le silicium : les réseaux de neurones du calcul non conventionnel

Pendant longtemps, l'intelligence artificielle n'a copié le cerveau que dans ses mathématiques : couche après couche, matrice après matrice, chaînes d'algèbre linéaire. Les chercheurs commencent désormais à le copier au sens propre : ils utilisent des mécanismes biologiques dans les réseaux de neurones et construisent du matériel qui calcule comme une cellule vivante. Le calcul non conventionnel, qu'il soit moléculaire, optique ou neuromorphique, devient le principal candidat au rôle d'architecture de l'IA forte.

Quand le silicium se heurte à un mur

Les GPU actuels reposent sur des transistors de plus en plus petits, mais pas indéfiniment. La loi de Moore ralentit. L'entraînement des grands modèles exige une énergie colossale : une seule recherche sur Perplexity consomme autant d'électricité qu'une voiture pour parcourir 5 km. L'entraînement de GPT-4 a coûté des centaines de millions de dollars et rejeté dans l'atmosphère autant de carbone qu'une petite ville. L'AGI nécessiterait une puissance à l'échelle planétaire si on la bâtissait sur du silicium classique. Les ingénieurs se heurtent à la physique.

Le calcul non conventionnel promet une issue. Plutôt que de manipuler des électrons dans une puce, on peut utiliser des photons dans des systèmes optiques (parallélisme à la vitesse de la lumière), des molécules d'ADN (une densité de stockage de l'information incroyable) ou des processus électrochimiques dans des puces neuromorphiques (une efficacité énergétique comparable à celle du cerveau biologique).

Puces neuromorphiques : l'architecture du cerveau en électronique

Intel Loihi, BrainScaleS et SpiNNaker ne sont pas des GPU qui imitent des neurones dans le code. Ce sont des puces conçues physiquement comme un cerveau : neurones à impulsions (spiking), synapses à poids modifiables, traitement asynchrone piloté par les événements. Au lieu de multiplier tous les poids par un lot, seuls les neurones actifs émettent des impulsions, et uniquement quand c'est nécessaire.

Le résultat est frappant : une consommation d'énergie mille fois inférieure à celle d'un GPU de même échelle. Le cerveau humain accomplit avec 20 watts ce qui demande 20 kilowatts aux réseaux de neurones actuels. Une puce neuromorphique reproduit ce résultat.

• Apprentissage en temps réel (sans attendre un lot complet de données)
• Traitement de flux plutôt que de matrices (idéal pour les capteurs et les caméras)
• Adaptation à de nouvelles tâches sans réoptimiser tout un modèle
• Robustesse face aux entrées bruitées grâce à la logique biologique des impulsions

Des entreprises comme Intel et des laboratoires universitaires ont déjà utilisé des puces neuromorphiques en robotique et pour le traitement de données sensorielles. Le passage à l'échelle est plus difficile, mais le potentiel est énorme.

La machine moléculaire : le calcul dans un tube à essai

L'ADN n'est pas qu'un support de gènes. C'est un ordinateur parallèle. Une seule molécule peut encoder des gigabits d'information, et le calcul peut se faire simultanément sur toutes les molécules d'une solution. Des chercheurs du MIT, de Caltech et d'autres laboratoires utilisent déjà le calcul par ADN pour des tâches d'apprentissage automatique comme la classification et la multiplication de matrices.

Le passage à l'échelle est plus ardu qu'avec les puces : il faut des méthodes pour contrôler des milliards de molécules de façon synchrone et extraire les résultats sans erreur. Mais si cela fonctionne, la densité de calcul dépasserait celle de n'importe quel équivalent en silicium, et la consommation d'énergie chuterait de plusieurs fois.

On étudie aussi les ordinateurs optiques (des photons à la place des électrons) et les systèmes quantiques. Le tableau est clair : la monoculture des GPU en silicium touche à sa fin. L'AGI sera un hybride.

Ce que cela signifie

La frontière entre biologie et silicium s'estompe. Le calcul non conventionnel n'est pas une curiosité de laboratoire, mais un atelier d'ingénierie pour l'IA forte. D'ici un ou deux ans, nous verrons les premiers systèmes hybrides : des accélérateurs neuromorphiques dans les centres de données aux côtés des GPU, des ordinateurs moléculaires pour des tâches spécialisées, des processeurs optiques pour l'algèbre linéaire. Quand l'AGI arrivera, si tant est qu'elle arrive, 90 % de son matériel sera constitué de ce que la nature vivante a prouvé efficace il y a des milliards d'années.