Le pionnier de la génération d'images s'attaque à l'IA textuelle

Quand un scientifique dont les idées ont façonné toute une industrie des médias génératifs décide de se tourner vers l'IA textuelle, le marché ferait bien de prêter attention. Stefano Ermon, professeur à l'université Stanford et l'un des chercheurs clés des modèles de diffusion, a dévoilé via sa startup Inception une technologie qui promet d'accélérer sensiblement les systèmes d'IA textuels, des chatbots aux assistants d'entreprise.

Pour mesurer l'ampleur de cette démarche, il faut rappeler qui est Ermon et pourquoi son nom pèse autant. Ses recherches sur les modèles génératifs fondés sur les scores (score-based) ont été l'un des socles sur lesquels se sont construits Stable Diffusion, DALL-E et des dizaines d'autres services de création d'images et de vidéos. Les modèles de diffusion, cette technologie qui transforme une description textuelle en image photoréaliste, doivent en grande partie leur existence aux travaux d'Ermon et de ses collègues. Ce n'est pas qu'une contribution académique : cette technologie génère des milliards de dollars de revenus pour des entreprises du monde entier.

Ermon vise désormais un territoire solidement tenu par OpenAI, Google, Anthropic et Meta* : le traitement du langage naturel. Sa startup Inception, dont on savait peu de chose jusqu'à récemment, a présenté une technologie capable d'accélérer la génération de texte dans les modèles de langage. Les détails ne sont pas encore entièrement dévoilés, mais selon Bloomberg, il s'agirait d'une approche fondamentalement nouvelle de l'architecture d'inférence, la partie du fonctionnement du modèle chargée de délivrer la réponse à l'utilisateur en temps réel.

La vitesse d'inférence est l'un des problèmes centraux de l'industrie des grands modèles de langage. Chaque fois que vous posez une question à ChatGPT ou à Claude, le modèle génère sa réponse token par token, un processus qui exige d'énormes ressources de calcul. Les entreprises dépensent des milliards de dollars en clusters de GPU pour offrir un temps de réponse acceptable à des centaines de millions d'utilisateurs.

Toute technologie capable de réduire le temps de génération, même de quelques dizaines de pourcents, a une valeur économique colossale. C'est pourquoi des dizaines de startups et de laboratoires de recherche concentrent aujourd'hui leurs efforts sur l'optimisation de l'inférence, de Groq et ses puces spécialisées à diverses solutions logicielles de quantification et de décodage spéculatif.

Qu'Ermon apporte à cette course l'expérience des modèles de diffusion peut se révéler un avantage inattendu. Les modèles de diffusion fonctionnent de façon fondamentalement différente des transformeurs autorégressifs : au lieu de générer les tokens les uns après les autres, ils affinent le résultat par itérations à partir du bruit. Des chercheurs expérimentent depuis plusieurs années le transfert des principes de la diffusion vers la génération de texte, et certains résultats paraissent prometteurs. Si Inception a trouvé le moyen d'appliquer ces idées pour accélérer concrètement les modèles de texte, ce pourrait être une vraie percée : non pas une amélioration évolutive, mais un changement de paradigme.

Le scepticisme reste pourtant de mise. Le marché des startups d'IA regorge de déclarations ambitieuses, et loin de toutes résistent à l'épreuve du passage à l'échelle. Montrer un résultat impressionnant en laboratoire est une chose ; déployer la technologie auprès de millions d'utilisateurs sans dégrader la qualité des réponses en est une tout autre. Des acteurs comme OpenAI et Google disposent non seulement d'une infrastructure redoutable, mais aussi d'énormes équipes d'ingénieurs qui peaufinent leurs systèmes depuis des années. Les concurrencer sur leur terrain relève d'un tout autre ordre de difficulté que la publication d'un article scientifique.

Malgré tout, la réputation d'Ermon et son parcours font d'Inception l'une des startups les plus intéressantes du paysage actuel. Le marché de l'infrastructure d'inférence pour l'IA est évalué à des dizaines de milliards de dollars et croît rapidement. Si la technologie d'Inception fonctionne réellement, l'entreprise dispose de plusieurs voies stratégiques : licence auprès de grands fournisseurs, création de son propre service d'API ou, ce qui est également probable, rachat par l'un des géants de la tech.

L'histoire d'Inception reflète aussi une tendance plus large : les frontières entre les différents domaines de l'IA générative s'estompent. Les idées nées dans l'univers de l'image migrent vers le texte, et inversement. La multimodalité cesse d'être un simple terme marketing pour devenir une réalité d'ingénierie. Si le scientifique qui a transformé la génération d'images parvient à influencer le traitement du texte de façon tout aussi radicale, ce sera la meilleure preuve que l'industrie de l'IA est encore loin de la maturité et que les percées les plus intéressantes sont peut-être à venir.

*Meta a été désignée organisation extrémiste et est interdite en Russie.