ttok 1.0 passe au tokenizer GPT-5/6 : sept modèles, 44 794 tokens

Simon Willison a publié ttok 1.0. Cet utilitaire en ligne de commande compte les tokens et utilise désormais par défaut le tokenizer de la famille GPT-5/GPT-6, et non plus celui de GPT-4. Le déclencheur est anecdotique. L'auteur avait publié ttok 0.4 et mis à jour l'outil avec `uv tool upgrade ttok`. Il a ensuite passé un fichier dans la nouvelle version et constaté que l'outil comptait les tokens selon le schéma de la génération précédente. Il a choisi de publier la correction de ce réglage par défaut comme une version majeure. Un test indépendant, que Willison cite, montre que sept modèles d'OpenAI ont compté exactement les mêmes 44 794 tokens sur 31 fichiers de test.

Pourquoi le réglage par défaut a changé

Le comptage de tokens est un besoin constant. Il sert à estimer le coût d'une requête, à vérifier qu'un document tient dans la fenêtre de contexte et à découper de longs textes avant de les envoyer au modèle. ttok fait cela depuis la ligne de commande : on lui donne un texte en entrée et il renvoie un nombre. Si l'outil embarque le tokenizer de GPT-4, ses chiffres s'écartent de la réalité. L'erreur est faible, mais elle s'accumule quand on calcule un budget sur des milliers de requêtes.

Willison reconnaît que la 1.0 est en partie une formalité : c'était une bonne occasion de poser enfin un numéro de version rond. Mais le changement du comportement par défaut rompt bel et bien la rétrocompatibilité, si bien qu'un numéro majeur se justifie ici.

Ce que montre l'expérience de William Liu

Willison n'a pas la certitude que GPT-6 utilise le même tokenizer que GPT-5. OpenAI ne l'a pas confirmé. Dans le dépôt tiktoken, l'issue n° 608, que l'auteur qualifie de « en colère », réunit des utilisateurs qui réclament des éclaircissements. William Liu a apporté une réponse indirecte. Dans un commit du dépôt token-count-compare, il décrit une expérience menée sur sept modèles :

• GPT-5.5 ;
• GPT-5.6 dans les variantes Sol, Terra et Luna ;
• GPT-6 dans les variantes Astra, Sol et Luna.

Résultats, selon Liu :

• les sept modèles ont renvoyé 44 794 tokens ;
• les résultats coïncident sur chacun des 31 fichiers de test ;
• GPT-6 n'a pas modifié le comptage des tokens d'entrée sur ce corpus.

C'est sur cette base que Willison a jugé raisonnable de faire de GPT-5/GPT-6 le réglage par défaut.

Où se situe le hic

La preuve reste indirecte. Il s'agit d'une comparaison de compteurs de tokens d'entrée sur un seul jeu de 31 fichiers, et non de la publication du vocabulaire et des règles de découpage. La concordance des totaux et des valeurs fichier par fichier sur un tel corpus plaide fortement pour un tokenizer commun. On ne peut cependant pas encore exclure un écart sur des langues rares, un balisage exotique ou de longues séquences. Tant qu'OpenAI reste silencieuse, la conclusion reste une hypothèse de travail.

Il faut aussi tenir compte de la différence entre tokens d'entrée et tokens de sortie. Le test de Liu porte uniquement sur le comptage en entrée. Il ne dit rien du comportement des modèles lors de la génération.

Comment l'appliquer dès maintenant

Si vous avez installé ttok avec uv, mettez-le à jour avec `uv tool upgrade ttok`. Le comptage par défaut suivra ensuite le schéma GPT-5/GPT-6. Si vous avez établi des budgets ou des limites de contexte à partir de chiffres issus de GPT-4, recalculez-les : sur les mêmes textes, le résultat peut changer. Mieux vaut vérifier les scripts qui reposaient sur l'ancien réglage par défaut. Si la précision est critique pour vous, comparez l'estimation de ttok au champ usage des réponses de l'API sur quelques documents réels. Enfin, mieux vaut attendre la réponse d'OpenAI à l'issue n° 608 avant de considérer la question comme réglée.