Le mur des LLM : pourquoi les sceptiques se sont encore trompés de porte

Tous les six mois, l'industrie de l'IA traverse une période de « grande morosité ». D'abord, on nous a dit que GPT-3 était la limite et qu'il n'y avait plus de marge de croissance. Puis on nous a assuré que la prochaine étape exigeait des milliers de milliards de tokens qui n'existent tout simplement pas sur internet.

Aujourd'hui, nouvelle tendance : les données sont épuisées, l'architecture des transformers a fait son temps, chacun peut rentrer chez soi. Cela paraît sérieux et même logique, si l'on regarde le monde par le trou de la serrure. Mais si l'on suit le jeu plus longtemps que la durée d'un cycle de hype, on comprend que nous n'avons pas heurté un mur : nous sommes arrivés au bout d'une ligne droite et nous nous engageons sur une voie rapide.

Le problème des sceptiques, c'est qu'ils raisonnent en une seule dimension. Pour eux, le progrès consiste à verser plus de texte dans un modèle pour obtenir plus d'intelligence. Il est vrai que les données textuelles pour l'entraînement supervisé classique touchent à leur fin. Tout internet a déjà été « digéré » par les réseaux de neurones. Mais l'entraînement sur des données n'est que l'un des six axes le long desquels avance le progrès. Pendant que certains pleurent des bibliothèques vides, les ingénieurs d'OpenAI, de Google et d'Anthropic actionnent à plein régime les cinq autres leviers, que l'on oublie, on ne sait pourquoi, dans les débats publics.

Le premier levier, et sans doute le plus important aujourd'hui, est le calcul pendant l'inférence, ou inference-time compute. Regardez les modèles de la famille o1. Ils ne se contentent pas de fournir une réponse : ils « réfléchissent » avant d'écrire la première lettre. Cela change le paradigme : il n'est plus nécessaire de rendre un modèle dix fois plus gros pour qu'il devienne plus intelligent. On peut le forcer à raisonner plus longtemps sur le problème. C'est comme dans la vie : une personne intelligente n'est pas celle qui a lu le plus de livres, mais celle qui sait analyser l'information en profondeur. Nous passons de la quantité lue à la qualité de la compréhension.

Le deuxième axe est l'efficacité algorithmique. Vous vous souvenez de tous ceux qui se plaignaient de la gloutonnerie des transformers ? Des architectures comme Mamba et Mixture of Experts (MoE) entrent aujourd'hui en scène.

Elles offrent la même puissance pour une consommation de ressources bien moindre. Nous apprenons à construire de meilleurs moteurs, et pas seulement à agrandir le réservoir. S'y ajoute le troisième axe : la multimodalité.

Les modèles cessent d'être de simples « lecteurs de textes ». Ils commencent à voir, entendre et comprendre le monde physique. Quand l'IA apprend à partir de vidéo et d'audio, l'idée que « le texte est épuisé » perd tout sens.

Le monde est un flux infini de données que nous commençons à peine à exploiter.

Les quatrième et cinquième facteurs sont l'utilisation d'outils et l'auto-apprentissage par self-play. Souvenez-vous de la victoire d'AlphaGo sur le champion du monde de go. Elle n'a pas appris uniquement à partir de parties humaines : elle a joué contre elle-même des millions de fois. Cette approche arrive maintenant dans les LLM. Les modèles commencent à générer des données synthétiques, à en vérifier la logique et à apprendre de leurs propres erreurs. Si une IA peut créer des tâches et les résoudre elle-même, elle n'a plus besoin de l'humain comme unique source de connaissances. Cela referme la boucle d'apprentissage et la rend pratiquement infinie.

Nous sommes à un moment où les anciennes métriques de progrès, le nombre de paramètres et la taille du jeu de données, cessent d'être les principales. L'ère de la flexibilité architecturale et de la profondeur intellectuelle s'ouvre. Ceux qui crient aujourd'hui à l'« épuisement de la technologie » n'ont simplement pas remarqué que les règles du jeu ont changé. Nous n'avons pas atteint le plafond : nous venons de finir les fondations et commençons à bâtir les étages. Et à en juger par le rythme d'adoption des agents et des outils, ces étages monteront bien plus vite que personne ne l'imaginait.

L'essentiel : oubliez la « pénurie de données ». La vraie bataille se joue désormais sur la capacité à apprendre à un modèle à réfléchir plus longtemps et plus efficacement, et non à lui faire avaler plus de téraoctets issus de Reddit.