Un transformeur physique uniquement à base de transistors apprend l'in-context learning en simulation

Un groupe de chercheurs a présenté en simulation un système physique qui apprend sans arithmétique numérique et qui réussit pourtant l'in-context learning, une capacité que l'on associe d'ordinaire aux transformeurs. Le circuit se compose exclusivement de transistors et de résistances entraînables. La multiplication requise par l'attention par produit scalaire (dot-product attention) est réalisée par des MOSFET en régime sous-seuil. Chaque paramètre de l'optimiseur Lion est stocké dans un seul condensateur. Le travail a été publié sur arXiv, dans la section cs.LG. Il s'agit d'un preprint : il n'existe pas encore de matériel physique.

Pourquoi l'apprentissage physique restait cantonné aux perceptrons multicouches

L'equilibrium propagation et le coupled learning relèvent de l'apprentissage physique. On pousse le système (nudge) de son état libre vers un état cible, et une règle locale met à jour les paramètres à partir de la différence entre les deux états. Pour cela, l'information doit circuler dans le système physique dans les deux sens, de l'entrée vers la sortie et inversement. Tant que les circuits restent simples, cette condition est remplie d'elle-même. Mais ces systèmes demeurent, en expressivité, dans la classe des perceptrons multicouches. Ils peuvent approximer n'importe quelle fonction, mais peinent sur les tâches associatives que les transformeurs résolvent sans difficulté.

La cause tient à la non-linéarité. Le mécanisme d'attention doit multiplier des grandeurs entre elles, et les circuits qui le font perturbent le flux inverse : le signal qui revient ne suit plus le chemin nécessaire au calcul du gradient. Les auteurs s'attaquent directement à ce point.

Un circuit dual et l'exponentielle du MOSFET

Les auteurs ont rétabli explicitement le flux inverse. Ils ont ajouté au circuit dual (dyadic) des éléments supplémentaires qui gèrent la circulation du signal vers l'arrière. Le mécanisme d'attention est construit par-dessus. Il exploite la loi exponentielle du courant d'un MOSFET sous-seuil : le courant croît exponentiellement avec la tension de grille, et le produit de deux exponentielles est égal à l'exponentielle de la somme. La multiplication devient ainsi une opération que le transistor effectue de lui-même. Pour le softmax, le même bloc MOSFET est utilisé.

Dans la simulation, les composants inverses sont réalistes et non idéaux. Ils ne transmettent qu'un gradient approximatif. L'apprentissage converge malgré tout sur une tâche simple d'in-context learning.

Principaux paramètres du travail :

• Plateforme : circuit entièrement à transistors, validé en simulation.
• Attention : loi exponentielle du courant d'un MOSFET sous-seuil.
• Flux inverse : éléments supplémentaires dans le circuit dual, gradient approximatif.
• Fonction de perte : uniquement l'entropie croisée ; avec l'erreur quadratique moyenne, l'apprentissage a échoué.
• Signaux de nudge : nouvel élément flottant fondé sur le même sous-circuit MOSFET que le softmax.
• Paramètres entraînables : les résistances.
• Optimiseur : Lion, un condensateur par paramètre pour conserver localement la mémoire des estimations passées du gradient.
• Tâche : in-context learning simple.

Le constat sur la fonction de perte intéressera les ingénieurs. Dans un tel système, le choix de la loss détermine si l'apprentissage est possible ou non, ce qui restreint l'espace des choix de conception.

Que faire de ce résultat, et à quoi s'attendre

Pour les praticiens du ML, il n'y a aucun intérêt direct pour l'instant : rien n'est déployable, et la tâche de l'article est volontairement simple. L'apport principal est ailleurs. Les auteurs montrent que l'apprentissage analogique sur place peut dépasser les perceptrons et toucher l'architecture sur laquelle reposent aujourd'hui les LLM. Avec Lion, qui se contente d'un condensateur par paramètre, la question de la mémoire locale de l'optimiseur semble elle aussi réfléchie au niveau du circuit.

Les principales questions restent ouvertes. Premièrement, le circuit passera-t-il de la simulation au silicium ? Les transistors sous-seuil sont connus pour leur sensibilité à la température et à la dispersion des paramètres, et l'abstract ne détaille pas ces effets. Deuxièmement, comment le système se comportera-t-il sur des tâches plus complexes qu'un simple in-context learning, et avec davantage de paramètres ? Troisièmement, quelle sera la consommation énergétique réelle : l'abstract ne fournit aucun chiffre, et sans eux, toute comparaison avec les GPU est impossible.

Il faudra surveiller l'apparition d'un premier prototype physique, l'élargissement du jeu de tâches et les mesures d'énergie par opération. Si ces étapes sont franchies, l'approche pourrait trouver une niche où comptent la faible consommation et l'apprentissage directement sur l'appareil.