Adieu le diplôme : comment la « voie sauvage » mène chez OpenAI et Anthropic

Oubliez tout ce qu'on vous a raconté sur la nécessité d'un doctorat pour jouer dans la cour des grands de l'intelligence artificielle. Autrefois, le sésame pour entrer dans le club fermé d'OpenAI ou de DeepMind, c'était une liasse de publications dans des conférences de premier plan comme NeurIPS. Aujourd'hui, les règles ont tellement changé que les universitaires d'hier cèdent de plus en plus souvent leur place à ceux qu'on appelle en Chine les « yeluzi ».

Le terme désigne la « voie sauvage », le parcours de l'autodidacte, et ce sont précisément ces profils qui forment désormais l'ossature des équipes chargées des modèles de nouvelle génération. Longtemps, l'accès à l'industrie de l'IA a semblé protégé par un mur infranchissable de titres académiques. Il fallait passer des années à étudier les mathématiques avancées, rédiger des articles et attendre les relectures, simplement pour décrocher une chance d'entretien.

Mais voilà le paradoxe : les succès les plus retentissants de ces dernières années ne sont pas une victoire de la théorie pure, mais le triomphe du passage à l'échelle (Scaling Laws). Pour créer GPT-4, il s'est avéré moins nécessaire d'inventer un nouveau type de neurone que de disposer de compétences phénoménales en infrastructure, en préparation des données et en optimisation du calcul. C'est un travail de hackers et d'ingénieurs, pas de théoriciens.

Des entreprises comme OpenAI l'ont compris avant les autres. Leurs effectifs comptent de plus en plus de personnes qui ont abandonné l'université, voire n'y sont jamais entrées, mais qui ont passé des années à fouiller le code open source et à participer à des compétitions Kaggle. Ces spécialistes de la « voie sauvage » possèdent une qualité qui manque souvent aux diplômés de Stanford : ils savent faire fonctionner du code avec des ressources limitées.

À une époque où l'entraînement d'un modèle se chiffre en centaines de millions de dollars, la moindre erreur d'ingénieur coûte trop cher. On valorise ceux qui comprennent comment le matériel et le logiciel interagissent au niveau le plus profond. Ce changement de paradigme tient au fait que l'IA est passée du statut de discipline scientifique à celui d'industrie.

L'aviation aussi a d'abord été l'affaire de savants isolés ; aujourd'hui, ce sont d'immenses usines qui construisent les avions. L'IA est entrée dans sa phase « usine ». Pour entraîner un modèle du niveau de Claude 3, nul besoin de réécrire l'architecture du transformer.

Il faut savoir répartir la charge sur des milliers de GPU pour qu'ils ne restent jamais inactifs, pas même une seconde. Voilà pourquoi les ingénieurs infrastructure et les spécialistes des données sont devenus les nouvelles rock stars, avec des salaires désormais alignés sur ceux des chercheurs de pointe. Le format même du développement a aussi changé.

OpenAI et ses concurrents se ferment de plus en plus. Par crainte de la concurrence, ils ne publient plus d'articles détaillés sur leurs méthodes. Dans ce climat de secret, le savoir-faire académique consistant à rédiger de jolis rapports en LaTeX devient inutile.

Ce qui compte, c'est la « cuisine » interne : comment vous débarrassez les données du bruit, quelles astuces vous employez pour l'apprentissage par renforcement (RLHF). Ces connaissances ne s'enseignent pas à l'université ; on ne peut les acquérir que sur le terrain, en travaillant sur des projets réels. Qu'est-ce que cela signifie pour l'avenir ?

Nous assistons à une démocratisation des talents doublée d'une monopolisation des ressources. Le seuil d'entrée en matière de connaissances baisse : plus besoin de consacrer sept ans à une thèse de doctorat. En revanche, les exigences en compétences pratiques augmentent de façon exponentielle.

Si vous pouvez montrer un projet fonctionnel qui résout un problème concret d'optimisation ou de traitement des données, votre GitHub pèsera plus lourd aux yeux d'un recruteur de la Silicon Valley que n'importe quel diplôme. L'essentiel : l'ère des théoriciens de l'IA cède la place à celle des bâtisseurs. Les universités sauront-elles s'adapter à un monde où la pratique a plusieurs années d'avance sur la théorie ?