Simon Willison met à jour ttok en version 0.4 : le compteur de tokens gagne une option --list-models

Simon Willison a publié ttok 0.4, la première mise à jour de son compteur de tokens en ligne de commande en deux ans environ. Cette version apporte trois changements : un avertissement de la bibliothèque Click est corrigé, la CI est mise à jour et la commande --list-models fait son apparition, qui affiche la liste des modèles disponibles. Sous le capot, on retrouve toujours tiktoken, la bibliothèque de tokenisation open source d'OpenAI. La version reste modeste, mais elle remet en état de marche l'un des outils les plus simples pour gérer la fenêtre de contexte et le budget des requêtes.

Ce qui change dans la 0.4

La mise à jour est surtout technique. L'avertissement de Click s'affichait au lancement de l'utilitaire et polluait la sortie. Il est désormais corrigé. L'auteur a aussi remis de l'ordre dans la CI, c'est-à-dire la compilation et la vérification automatiques du projet. Après deux ans d'inactivité, c'est important : l'outil se construit et se teste de nouveau dans un environnement actuel, au lieu de dépendre de réglages devenus obsolètes depuis longtemps.

La seule nouvelle fonctionnalité de cette version est l'option --list-models. Elle indique les modèles pour lesquels ttok sait compter les tokens. Auparavant, il fallait vérifier le nom du modèle dans la documentation ou dans le code de tiktoken. Désormais, la liste s'obtient directement depuis le terminal.

Comment le lancer

ttok fonctionne avec uvx, c'est-à-dire avec le lancement d'utilitaires Python via uv dans un environnement isolé temporaire. Il n'est pas nécessaire d'installer le paquet au préalable. Voici comment compter les tokens d'un texte quelconque :

``` cat file.txt | uvx ttok ```

Le texte arrive par l'entrée standard et la sortie est le nombre de tokens. Ce format s'intègre bien aux pipelines Unix : on peut envoyer à ttok la sortie d'une autre commande, un log, un dump de dépôt ou le résultat d'une recherche dans des documents.

La version en bref

• Version : ttok 0.4, publiée sur GitHub.
• Auteur : Simon Willison.
• Base : la bibliothèque tiktoken d'OpenAI, en open source.
• Nouvelle commande : --list-models, la liste des modèles disponibles.
• Corrections : avertissement Click, mise à jour de la CI.
• Exécution sans installation : via uvx.
• Mise à jour précédente : il y a environ deux ans.

À quoi ça sert

Les tokens déterminent deux aspects pratiques : la quantité de texte qui tient dans la fenêtre de contexte d'un modèle et le coût d'une requête. Une estimation « à l'œil » d'après le nombre de caractères ou de mots se trompe souvent. L'écart est particulièrement net pour le code, le JSON, les tableaux et les textes qui ne sont pas en anglais, où il y a généralement plus de tokens qu'on ne s'y attend. Un comptage local avec un vrai tokenizer donne un chiffre exact, sans appel à l'API.

Les cas d'usage typiques sont simples. Avant d'envoyer un gros fichier à un modèle, vérifier qu'il tient dans la fenêtre. Estimer le coût du traitement par lots d'un ensemble de documents. Comparer de combien un prompt a raccourci après nettoyage. Intégrer un contrôle de longueur dans un script ou un hook pre-commit, pour qu'un contexte trop long ne parte pas dans la requête.

La limite découle de la base de l'outil. tiktoken décrit les tokenizers d'OpenAI. Pour les modèles d'autres éditeurs, qui ont leurs propres vocabulaires de tokens, le résultat sera approximatif, et il vaut mieux prendre les chiffres exacts auprès du fournisseur. Pour estimer un ordre de grandeur, cela suffit généralement.

Si vous n'avez besoin de ttok qu'occasionnellement, inutile de l'installer : uvx et une ligne dans le terminal suffisent. Si vous l'utilisez régulièrement, la commande --list-models vous évitera de chercher le bon nom de modèle dans la documentation.