GPT-4o mini tient 37–38 règles de remplacement de mots à 95 % de précision

Un article publié dans les Hugging Face Daily Papers propose de mesurer la limite d'un modèle de langage en nombre de règles, comme on mesure une capacité mémoire. L'unité de charge est ici une règle du type « remplace le mot A par le mot B » dans un texte dépourvu de sens. Le résultat s'appelle la « capacité d'instruction » (instruction capacity) : le nombre de règles que le modèle applique tant que la part de remplacements corrects ne descend pas sous un seuil donné. Pour GPT-4o mini, le seuil de 95 % de remplacements corrects est atteint à 37–38 règles. Si les mots à remplacer occupent la part maximale du texte, la capacité tombe à 18–19 règles.

Pourquoi les anciens tests ne donnent pas un chiffre unique

On sait depuis longtemps que la qualité baisse quand le nombre de contraintes augmente. Mais on n'arrivait pas encore à exprimer la limite d'un modèle en unités de charge, avec une marge d'erreur. La cause tient aux tests eux-mêmes : leurs instructions diffèrent par leur nature et leur difficulté.

Dans IFEval, par exemple, on demande d'« écrire plus de 400 mots » ou de « mentionner le mot IA trois fois ». FollowBench ajoute à une tâche, une par une, des contraintes de cinq types. IFScale propose de 10 à 500 instructions d'un même type, et les meilleurs des 20 modèles testés n'en exécutent que 68 % à 500.

La vérification est souvent confiée à un autre modèle faisant office de juge, qui surestime le résultat. Dans l'un des travaux cités, à dix instructions, le juge donnait 0,657 contre 0,213 pour la vérification programmatique.

Au final, le nombre d'instructions se mélange à la composition du jeu de test et à une difficulté croissante. L'auteur cherchait une instruction sans ces défauts :

• indivisible, c'est-à-dire impossible à exécuter à moitié ; • indépendante des autres règles par construction de la tâche ; • homogène, pour que la dixième règle ne soit pas plus difficile que la première ; • vérifiable par un programme ; • observable en chaque point de la réponse.

Comment fonctionne la mesure

Le remplacement d'un mot dans un texte dénué de sens répond aux cinq critères. Chaque remplacement n'a qu'un seul résultat correct, et un programme calcule la réponse de référence. La tâche est générée à partir de trois graines aléatoires et se reproduit octet par octet. La réponse est vérifiée ligne par ligne, et les erreurs se répartissent en trois types.

Chaque occurrence du mot à remplacer devient un essai « correct ou non », avec une position connue dans la réponse et un numéro de règle dans la liste. Un seul modèle fournit ainsi des centaines de milliers d'observations, et non une seule note par tâche.

Un modèle statistique prend ensuite le relais. Il mesure d'abord, par intervalles, comment la probabilité d'un remplacement correct dépend de cinq facteurs :

• la longueur du texte ; • la position du mot ; • la densité des remplacements ; • le nombre de règles ; • le numéro de la règle dans la liste.

Ces dépendances sont ensuite décrites par des lois lisses. Une correction du biais d'approximation restitue un niveau de base indépendant du choix de l'encodage. La capacité se calcule comme la solution d'un problème inverse : à quelle charge la probabilité descend-elle au niveau voulu. La marge d'erreur est calculée par la méthode delta et tient compte de la dispersion de difficulté entre les requêtes.

Les résultats de GPT-4o mini

La mesure a nécessité 2958 requêtes et 642 430 essais. Pour chaque facteur de charge, le modèle montre une dégradation régulière. L'auteur décrit séparément les régularités de l'« effondrement » de la réponse : à quelle vitesse et à quel endroit elle se désagrège. Outre la capacité à 95 % de remplacements corrects, il définit une capacité de fatigue et une capacité garantie. Leurs définitions sont plus détaillées dans le corps de l'article que dans l'introduction.

Les chiffres clés :

• environ 37–38 règles avec une part de remplacements corrects de 0,95 ; • environ 18–19 règles à densité de remplacements maximale.

Cet écart de moitié montre que la limite dépend non seulement du nombre de règles, mais aussi de la densité avec laquelle elles se déclenchent dans le texte. Pour qui écrit des prompts, c'est important : une même liste de règles peut être sûre sur un texte clairsemé et peu fiable sur un texte dense.

Le code de l'outil, les données de mesure et le « passeport » du modèle sont ouverts. Chaque nombre du passeport se recalcule à partir des points publiés : le résultat est donc vérifiable.

À quoi cela sert aux ingénieurs

L'auteur voit dans le passeport du modèle l'étalonnage d'un futur « mesureur de charge » pour les prompts. L'idée est d'évaluer la complexité d'un prompt quelconque dans les mêmes unités que la capacité du modèle, et de voir à l'avance s'il tient dans sa limite. Pour l'instant, c'est une ambition pour l'avenir, pas un outil prêt à l'emploi.

Les limites sont tout aussi évidentes. Un seul modèle a été mesuré, GPT-4o mini, et la tâche est artificielle : le remplacement de mots isolés dans un texte sans sens. Les instructions réelles sur le style, le format et l'usage d'outils sont plus complexes. Le benchmark AgentIF, construit sur des prompts d'agents réels, a montré que même les meilleurs modèles n'exécutent entièrement que moins de 30 % des instructions. Le passeport fondé sur le remplacement de mots fournit une échelle basse « pure », mais ne remplace pas ces tests.

Conséquence pratique : si un agent s'appuie sur une longue liste de règles indépendantes dans son prompt système, il vaut mieux comparer leur nombre à la capacité mesurée du modèle et garder une marge. Pour comparer des modèles ou des générations d'une même gamme, la capacité assortie d'une marge d'erreur offre une métrique plus honnête que la note moyenne sur un ensemble hétérogène.