OpenAI révèle l'erreur de prédiction de ses modèles : de 0,99 pour GPT-3.5 à moins de 0,8
Plus un modèle devine correctement le mot suivant dans un texte, plus il est considéré comme « intelligent » : c'est la perplexité, et plus ce nombre est bas, mieux c'est. Jakub Pachocki, scientifique en chef d'OpenAI, propose que tous les laboratoires comparent leurs modèles de cette façon. Le logarithme de la perplexité est d'environ 0,99 pour GPT-3.5, d'environ 0,91 pour GPT-4 et inférieur à 0,8 pour les modèles actuels. À partir de ce niveau, des compétences solides en cybersécurité et en mathématiques sont apparues. Il faut donc surveiller l'entraînement de base au moins autant que les benchmarks.
Traité par IA depuis OpenAI Blog ; édité par Hamidun News
Imaginez la saisie prédictive d'un téléphone : elle est d'autant plus utile qu'elle devine souvent le mot que vous allez taper ensuite. Les grands modèles actuels fonctionnent sur le même principe, à ceci près qu'ils apprennent à partir d'immenses corpus de texte et de code. Jakub Pachocki, scientifique en chef d'OpenAI, a publié un essai dans lequel il propose de mesurer le progrès de l'IA précisément par la qualité de cette prédiction. Cette métrique s'appelle la perplexité, et OpenAI a pour la première fois publié ses chiffres internes sur ce critère, appelant les autres laboratoires à faire de même.
Qu'est-ce que la perplexité, sur un exemple simple
Supposons qu'un modèle voie le début de la ligne de code def add(a, b): return a et doive prédire la suite. S'il choisit presque toujours + b, son erreur de prédiction est faible. S'il devine au hasard, elle est élevée. La perplexité moyenne cette erreur sur un vaste ensemble de textes que le modèle n'a pas vus pendant l'entraînement. En pratique, OpenAI considère le logarithme de la perplexité, aussi appelé entropie croisée. Ce ne sont pas des pourcentages de précision : plus le nombre est bas, meilleure est la prédiction du modèle.
Pachocki décrit le modèle entraîné comme un « compresseur ». Pour bien prédire de nouvelles données, il faut saisir leurs régularités. Ce n'est toutefois pas une archive à la manière de GZIP : le modèle n'est pas tenu de mémoriser le corpus lui-même. Tout le reste (prompts, affinage, apprentissage par renforcement) ne fait qu'extraire les capacités cachées de ce socle. Quelles capacités y figureront exactement, on ne le sait pas à l'avance.
Les chiffres d'OpenAI sur l'ensemble de test principal :
- GPT-3.5, environ 0,99 : dialogue cohérent, base du premier ChatGPT ;
- GPT-4, environ 0,91 : chaînes de raisonnement utiles, à partir desquelles sont nés les modèles de raisonnement ;
- en dessous de 0,8 : compétences notables en cybersécurité et en mathématiques ;
- environ 0,76 : le modèle a commencé à produire des résultats marquants sur des problèmes mathématiques ouverts.
Pachocki raconte que des solutions à des questions qu'il connaissait depuis longtemps apparaissaient les unes après les autres dans un même fil Slack, et qualifie cela de « surréaliste ». Il souligne que personne ne savait à l'avance que les compétences apparaîtraient précisément à ces seuils. Plus tôt encore, GPT-2 avait appris à écrire des paragraphes cohérents, et GPT-3 à apprendre à partir de quelques exemples directement dans la requête.
Pourquoi des limites, et que va-t-il se passer ensuite
La prochaine étape, selon l'auteur, se situe autour de 0,68–0,70. Il reconnaît honnêtement ne pas savoir quelles capacités y émergeront, ni si nous saurons même les tester. Il s'attend en outre à ce que les audits d'alignement habituels deviennent moins efficaces, car les modèles reconnaîtront davantage qu'ils sont testés.
C'est pourquoi OpenAI propose une norme sectorielle. Les laboratoires conviendraient à l'avance d'un premier seuil de perplexité et d'autres mesures, et s'engageraient à ne pas le dépasser tant qu'ils n'auront pas atteint un jalon précis en matière de compréhension et de surveillance du comportement de l'IA. Un exemple de ce jalon : le successeur des moniteurs de chaîne de raisonnement (CoT-moniteurs). Les seuils suivants pourraient ensuite être fixés selon le même principe. Il faudrait aussi des normes communes d'évaluation et des contrôles de sécurité de type red team avant le premier lancement d'un modèle.
L'auteur fait également un pronostic sur le rythme. Pachocki estime que l'IA pourrait accélérer fortement la recherche algorithmique sur le préentraînement, et qu'en 2027 une « avalanche » de découvertes fondamentales est possible, comme ce fut le cas en mathématiques. Les progrès en alignement et en surveillance, selon lui, auront peu de chances de suivre une telle accélération. Le graphique montre une nette cassure en 2026. OpenAI l'explique surtout par les recherches à long terme et les investissements en calcul, et seulement en partie par l'automatisation. Mais la conception des derniers modèles bénéficie déjà de la contribution de l'IA.
Les limites de la métrique
Pachocki énumère lui-même les inconvénients :
- les laboratoires utilisent des ensembles de test et des mélanges de données différents, si bien qu'une comparaison directe n'est pour l'instant pas possible ;
- OpenAI calcule la perplexité sur un échantillon de son code interne, et pour GPT-2 et GPT-3 une telle mesure reflète mal les capacités générales ;
- la perplexité ne correspond pas à une tâche applicative précise, et le raisonnement par chaîne de pensée ne la réduit pas, même s'il renforce fortement le modèle ;
- la limite inférieure des données elles-mêmes est inconnue : on ne peut pas atteindre zéro, et à mesure qu'on s'en approche, le progrès ralentit sur l'échelle, même si chaque petite fraction correspondra à un saut d'intelligence plus important.
Ce que cela signifie en pratique
Pour les développeurs et les chefs de produit, la conclusion est la suivante : les benchmarks saturent vite, et la plupart des anciens tests ont été « soldés » à peu près au niveau de GPT-4. L'indicateur de préentraînement reste un repère plus stable, et OpenAI propose d'en faire un langage commun du secteur. Lorsqu'un laboratoire annonce un nouveau modèle de base, il est pertinent de demander non seulement les scores sur les benchmarks, mais aussi l'erreur de prédiction sur un ensemble de données ouvert.
La métrique deviendra-t-elle une norme dépend des concurrents. La publication de chiffres internes donne à ces derniers une vision claire des positions d'OpenAI, et l'entreprise a sciemment accepté ce risque au nom de normes de sécurité communes.
- 22 nov. 2026Ahrefs : une marque citée dix fois plus sur le web n'obtient que 3,7 fois plus de mentions dans les IA
- 22 nov. 2026Axiom Math : une IA a rédigé en Lean une preuve de 43,1 millions de lignes de code en 24 jours
- 22 nov. 2026Une subvention de Yandex finance un moteur LLM : un modèle de 35B sur RTX 2080 Ti est trois fois plus rapide que llama.cpp
- 22 nov. 2026Le nouveau modèle d'OpenAI, Astra, écrit 40 % plus court, mais son score de réserves chute de 96 à 24
Questions clés sur cet article
Qu'est-ce que la perplexité, sur un exemple simple?
Supposons qu'un modèle voie le début de la ligne de code def add(a, b): return a et doive prédire la suite. S'il choisit presque toujours + b, son erreur de prédiction est faible. S'il devine au hasard, elle est élevée. La perplexité moyenne cette erreur sur un vaste ensemble de textes que le modèle n'a pas vus pendant l'entraînement. En pratique, OpenAI considère le logarithme de la perplexité, aussi appelé entropie croisée.
Pourquoi des limites, et que va-t-il se passer ensuite?
La prochaine étape, selon l'auteur, se situe autour de 0,68–0,70. Il reconnaît honnêtement ne pas savoir quelles capacités y émergeront, ni si nous saurons même les tester. Il s'attend en outre à ce que les audits d'alignement habituels deviennent moins efficaces, car les modèles reconnaîtront davantage qu'ils sont testés. C'est pourquoi OpenAI propose une norme sectorielle.
Que sait-on sur Les limites de la métrique ?
Pachocki énumère lui-même les inconvénients : les laboratoires utilisent des ensembles de test et des mélanges de données différents, si bien qu'une comparaison directe n'est pour l'instant pas possible ; OpenAI calcule la perplexité sur un échantillon de son code interne, et pour GPT-2 et GPT-3 une telle mesure reflète mal les capacités générales ; la perplexité ne correspond pas à une tâche applicative précise, et le raisonnement par chaîne de pensée ne la réduit pas, même s'il renforce…
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.