Les diplômes au rebus : comment le « chemin sauvage » mène à OpenAI et Anthropic

Oubliez tout ce qu'on vous a dit sur la nécessité d'un doctorat pour travailler à la fine pointe de l'intelligence artificielle. Si autrefois un sésame pour le club exclusif d'OpenAI ou DeepMind était une pile de publications aux meilleures conférences comme NeurIPS, aujourd'hui les règles ont tellement changé que les universitaires d'hier cèdent de plus en plus la place à ceux que la Chine appelle « elüzi ». Ce terme signifie « chemin sauvage » ou le chemin de l'autodidacte, et ce sont précisément ces personnes qui deviennent maintenant l'épine dorsale des équipes créant les modèles de prochaine génération.

Pendant longtemps, on a cru que l'accès à l'industrie de l'IA était protégé par un mur infranchissable de titres académiques. Il fallait passer des années à étudier les mathématiques avancées, rédiger des articles et attendre les critiques, juste pour avoir une chance d'entrevue. Mais voici le paradoxe : les succès les plus spectaculaires des dernières années ne sont pas une victoire de la pure théorie, mais un triomphe de l'échelle (Scaling Laws).

Il s'avère que pour créer GPT-4, vous n'avez pas tant besoin d'inventer un nouveau type de neurone que de posséder des compétences phénoménales en infrastructure, préparation de données et optimisation du calcul. C'est du travail pour les hackers et les ingénieurs, pas pour les théoriciens. Des entreprises comme OpenAI l'ont compris avant d'autres.

Dans leurs effectifs, on voit de plus en plus de gens qui ont quitté l'université ou n'y ont jamais étudié, mais qui ont passé des années à fouiller le code ouvert et à participer à des compétitions sur Kaggle. Ces spécialistes de la « voie sauvage » possèdent une qualité que les diplômés de Stanford manquent souvent—ils savent comment faire fonctionner le code dans des conditions de ressources limitées. À une époque où le coût de l'entraînement d'un modèle se mesure en centaines de millions de dollars, toute erreur d'ingénieur est trop coûteuse.

Ici, on valorise ceux qui comprennent comment le « matériel » interagit avec le logiciel au niveau le plus profond. Le changement de paradigme s'est produit parce que l'IA s'est transformée d'une discipline scientifique en un secteur industriel. L'aviation aussi était autrefois le domaine de scientifiques solitaires, mais aujourd'hui les avions sont construits par d'énormes usines.

En IA, la phase des « usines » est arrivée. Pour entraîner un modèle comme Claude 3, vous n'avez pas besoin de réécrire l'architecture du transformateur. Vous devez être capable de répartir la charge entre des milliers de processeurs graphiques pour qu'ils ne restent pas inactifs une seule seconde.

C'est pourquoi les ingénieurs d'infrastructure et les spécialistes des données sont devenus les nouvelles rock stars, et leurs salaires ont rejoint les revenus des chercheurs principaux. De plus, le format de développement lui-même a changé. OpenAI et ses concurrents deviennent de plus en plus fermés.

Ils ne publient plus d'articles détaillés sur leurs méthodes, craignant la concurrence. Dans cette atmosphère de secret, la compétence académique de rédiger de beaux rapports en LaTeX devient inutile. Ce qui devient plus important, c'est la « cuisine » interne : comment exactement vous nettoyez les données du bruit et quelles astuces vous utilisez dans l'entraînement par apprentissage par renforcement (RLHF).

Ces compétences ne s'enseignent pas à l'université ; elles ne peuvent être acquises qu'au combat, en travaillant sur des projets réels. Qu'est-ce que cela signifie pour l'avenir ? Nous assistons à une démocratisation des talents tout en monopolisant simultanément les ressources.

Le seuil d'entrée en termes de connaissances est abaissé : vous n'avez plus besoin de passer sept ans sur une dissertation de doctorat. Cependant, les exigences en compétences pratiques augmentent exponentiellement. Si vous pouvez montrer un projet fonctionnant qui résout un problème spécifique d'optimisation ou de traitement des données, votre GitHub signifiera plus pour un recruteur de la Silicon Valley que n'importe quel diplôme.

En fin de compte : l'ère des théoriciens en IA est remplacée par l'ère des bâtisseurs. Les universités pourront-elles s'adapter à un monde où la pratique est des années devant la théorie?