Le Transformer n'est plus nécessaire : un ex-vice-président d'OpenAI bâtit un nouvel empire à un milliard

Les couloirs d'OpenAI semblent de plus en plus vides. L'exode des collaborateurs clés de l'entreprise de Sam Altman est passé du statut de fuite de talents embarrassante à celui de formation d'une industrie entière. Cette fois, c'est un ancien vice-président de la recherche (VP of Research) qui a fait la une : il n'est pas parti « vers nulle part », mais a annoncé une startup aux ambitions d'un milliard de dollars. Et son objectif principal sonne presque sacrilège pour la communauté actuelle de l'IA : il compte défier l'architecture Transformer, le socle de tout ce que nous appelons aujourd'hui intelligence artificielle.

Soyons honnêtes : le Transformer, offert au monde par des chercheurs de Google en 2017, est devenu l'étalon-or. GPT, Claude et Gemini ne sont, au fond, que des variations d'une même idée. Mais cette architecture souffre de problèmes fondamentaux de passage à l'échelle de la mémoire et d'efficacité de calcul.

Plus le contexte s'allonge, plus le réseau de neurones a du mal à « respirer ». Les anciens dirigeants d'OpenAI, qui étaient aux origines de l'entraînement des modèles les plus puissants, comprennent parfaitement qu'accumuler sans fin les cartes graphiques mène à une impasse. Pour atteindre une véritable intelligence artificielle générale, il faut quelque chose de plus élégant et de plus efficace que la grossière « attention » sur laquelle repose la pile technologique actuelle.

Le milliard de dollars que le nouveau projet prévoit de lever n'est pas un simple chiffre accrocheur pour les titres. C'est le prix d'entrée dans la cour des grands. Dans un monde où l'entraînement d'un seul modèle coûte des centaines de millions, tenter de créer une architecture alternative exige des ressources colossales pour expérimenter sur le matériel et les données. Nous avons déjà vu des tentatives d'introduire les State Space Models (SSM) ou des architectures de type Mamba, mais aucune n'a pour l'instant réussi à détrôner le roi. Que celui qui se lance ait été responsable du « post-entraînement » chez OpenAI laisse penser qu'il sait précisément où l'ancienne architecture commence à craquer.

Ce départ s'inscrit dans une tendance plus large. Nous voyons la « mafia d'OpenAI » se répandre dans la Silicon Valley et créer une concurrence dont Microsoft et Google ne pouvaient que rêver. Anthropic a été le premier signal d'alarme, SSI (Safe Superintelligence) d'Ilya Sutskever le deuxième. Voici maintenant la troisième vague : ceux qui veulent changer non seulement les méthodes d'entraînement ou les questions de sécurité, mais la base mathématique même des réseaux de neurones. Si cette startup parvient à prouver que son approche fonctionne mieux sur les longues distances, OpenAI ressemblera à une entreprise qui a investi des milliards pour perfectionner la machine à vapeur au moment où apparaît le moteur à combustion interne.

Les investisseurs semblent prêts à prendre le risque. Dans la Valley règne actuellement un curieux mélange d'euphorie et de peur de manquer « la prochaine grande chose ». Tout le monde comprend que le succès actuel des LLM pourrait n'être qu'un maximum local. Et pendant que Sam Altman s'emploie à transformer OpenAI en société commerciale et à chercher des milliers de milliards pour les puces, ses anciens ingénieurs tentent de réinventer la roue elle-même. C'est la classique histoire de David contre Goliath, sauf que David a en poche un milliard de dollars de capital-risque et la meilleure expérience du secteur.

Que cela signifie-t-il pour nous ? Très probablement, nous sommes au seuil d'un changement de paradigme. Si la nouvelle architecture se révèle plus efficace, l'IA deviendra non seulement plus intelligente, mais aussi moins chère, plus accessible et, peut-être, plus autonome. Il faut s'habituer à l'idée que le sigle GPT pourrait devenir un archaïsme au même titre que Netscape ou AltaVista. Dans l'IA, six mois font une époque et un an, une éternité. Et cette éternité appartiendra, semble-t-il, à ceux qui ont osé appuyer sur le bouton « delete » du code du Transformer.

L'essentiel : la nouvelle architecture saura-t-elle passer à l'échelle aussi prévisiblement que le Transformer, ou assisterons-nous à une nouvelle « bulle » d'ambition qui éclatera contre la dure réalité du calcul distribué ?