Sutskever, Silver et LeCun quittent les grands labos : sur quoi misent les néolabs

Le tableau est étrange : après le lancement de GPT-6 Astra, Jensen Huang écrit sur X que l'AGI est arrivée, tandis que le président d'OpenAI, Greg Brockman, salue l'entrée de l'humanité dans l'« ère de l'AGI ». Dans le même temps, ceux qui ont construit les modèles actuels quittent en masse les grandes entreprises et ouvrent leurs propres laboratoires. The Decoder a recensé 45 de ces « néolabs » et en a analysé 27 en détail. La conclusion est simple : beaucoup de ceux qui sont partis ne croient pas que la recette actuelle suffira.

Qui est parti et combien ont-ils levé

Ilya Sutskever, cofondateur d'OpenAI, développe Safe Superintelligence. En juillet, selon Bloomberg, Nvidia a investi environ 5 milliards de dollars dans SSI. Avec les 3 milliards précédents, cela fait environ 8 milliards pour une valorisation de 32 milliards. Pourtant, le laboratoire n'a publié ni modèle ni article.

Jerry Tworek, qui dirigeait le développement des modèles de raisonnement o1 et o3, a fondé Core Automation. David Silver, auteur d'AlphaGo, a quitté DeepMind pour Ineffable Intelligence et a levé en avril 1,1 milliard en seed pour une valorisation de 5,1 milliards. Yann LeCun, après douze ans chez Meta, a fondé AMI. Flapping Airplanes, sans modèle public, a levé 1 milliard de dollars lors d'un tour de série A pour une valorisation de 6 milliards.

Les motivations sont variées : des milliards sur le papier, un désaccord stratégique avec Meta, l'envie de faire de la recherche sans pression produit. Parfois, la rupture n'est même pas nette : Google lui-même figure parmi les premiers investisseurs de Discovery Loop de Jeff Dean.

Le pari principal : apprendre, et pas seulement résoudre

Le groupe de laboratoires le plus facile à cerner se consacre à l'apprentissage continu. Le modèle d'aujourd'hui ne modifie pas ses poids après son déploiement. Il utilise les nouvelles informations au sein d'une conversation, mais ne les retient pas durablement. ChatGPT et Claude contournent ce problème avec des notes et la recherche dans les conversations passées. Tworek estime que l'apprentissage continu relève du machine learning, pas de fichiers Markdown. Un simple réentraînement du réseau risque de provoquer un oubli catastrophique : il perd ce qu'il savait auparavant.

Imaginez un junior qui, après un mois de travail, sait toujours exactement ce qu'il savait le premier jour, plus ce que vous avez glissé dans son aide-mémoire. C'est à peu près le comportement d'un modèle aujourd'hui.

Les approches diffèrent :

• Adaption conçoit des modèles qui s'adaptent à l'utilisateur à la volée, à faible coût. Pour l'instant, seuls des outils de traitement de données et AutoScientist via API sont commercialisés.
• Core Automation veut mettre à jour les poids en cours d'utilisation et se contenter d'un centième des données habituelles.
• Flapping Airplanes apprend à partir d'un petit nombre d'exemples, ce qui compte pour la robotique et la biologie, où les données sont rares.
• Ndea de François Chollet cherche un programme qui explique quelques exemples.
• Ineffable de Silver entraîne le système sur sa propre expérience, avec une récompense venant de l'environnement.

La dernière approche a un point faible. Au Go, on sait qui a gagné. En science ou dans le monde physique, le signal arrive tard, voire reste flou.

Ce que cela implique pour les praticiens

Premièrement, une petite équipe n'a qu'une courte avance. TypeSafe AI a lancé son modèle de décision Jev à la mi-septembre, et deux semaines plus tard OpenAI annonçait Decisions API. Deuxièmement, la sortie passe souvent par un rachat : AMD veut acheter World Labs pour environ 8,2 milliards, Nvidia négocie avec Reflection, Microsoft a absorbé l'équipe d'Inflection.

Pour les développeurs et les product managers, les conclusions sont concrètes :

• Ne pas bâtir une architecture reposant sur l'hypothèse qu'un modèle n'apprendra jamais à mémoriser. La mémoire sous forme de notes reste pour l'instant une béquille.
• Suivre ARC-AGI-3. Astra a obtenu 62,7 % dans la configuration standard, en traduisant des jeux inconnus en règles compactes. C'est précisément ce que vise Ndea.
• Ne pas confondre valorisation et produit. La plupart des néolabs n'ont rien qui puisse être branché via une API.

Le pari est simple. Si la recette actuelle atteint un plafond, l'emportera celui qui apprendra le premier à un modèle à apprendre. Sinon, les grands laboratoires rachèteront simplement l'équipe ou reproduiront le résultat en quelques semaines.