Simon Willison actualiza ttok a la versión 0.4: el contador de tokens incorpora --list-models

Simon Willison ha publicado ttok 0.4, la primera actualización en unos dos años de su contador de tokens para la consola. La versión incluye tres cambios: corrige una advertencia de la biblioteca Click, actualiza el CI y añade el comando --list-models, que muestra la lista de modelos disponibles. Por debajo sigue usando tiktoken, la biblioteca de tokenización de código abierto de OpenAI. Es un lanzamiento pequeño, pero devuelve a un estado operativo una de las herramientas más sencillas para controlar la ventana de contexto y el presupuesto de las solicitudes.

Qué cambia en la 0.4

La actualización es, sobre todo, técnica. La advertencia de Click aparecía al ejecutar la utilidad y ensuciaba la salida. Ahora está corregida. El autor también ha puesto al día el CI, es decir, la compilación y la verificación automáticas del proyecto. Tras dos años sin cambios, esto importa: la herramienta vuelve a compilarse y a probarse en un entorno actual, en lugar de depender de configuraciones que llevaban tiempo obsoletas.

La única función nueva de la versión es la opción --list-models. Muestra para qué modelos sabe contar tokens ttok. Antes había que comprobar el nombre del modelo en la documentación o en el código de tiktoken. Ahora la lista se obtiene directamente desde el terminal.

Cómo se ejecuta

ttok funciona con uvx, es decir, con la ejecución de utilidades de Python mediante uv en un entorno aislado y temporal. No hace falta instalar el paquete de antemano. Contar los tokens de cualquier texto se hace así:

``` cat file.txt | uvx ttok ```

El texto llega por la entrada estándar y la salida es el número de tokens. Este formato encaja bien en las tuberías de Unix: se puede enviar a ttok la salida de otro comando, un log, un volcado de un repositorio o el resultado de una búsqueda en documentos.

La versión en breve

• Versión: ttok 0.4, publicada en GitHub.
• Autor: Simon Willison.
• Base: la biblioteca tiktoken de OpenAI, de código abierto.
• Nuevo comando: --list-models, lista de modelos disponibles.
• Correcciones: advertencia de Click, actualización del CI.
• Ejecución sin instalación: mediante uvx.
• Actualización anterior: hace unos dos años.

Dónde resulta útil

Los tokens determinan dos cuestiones prácticas: cuánto texto cabe en la ventana de contexto del modelo y cuánto costará una solicitud. Estimar «a ojo» a partir del número de caracteres o palabras suele fallar. Se nota sobre todo en código, JSON, tablas y textos que no están en inglés, donde normalmente hay más tokens de lo que cabría esperar. Un recuento local con el tokenizer real da una cifra exacta sin llamar a la API.

Los escenarios habituales son sencillos. Antes de enviar un archivo grande a un modelo, comprobar si cabe en la ventana. Calcular el coste del procesamiento por lotes de un conjunto de documentos. Comparar cuánto se ha acortado un prompt tras limpiarlo. Integrar una comprobación de longitud en un script o en un hook de pre-commit para que un contexto demasiado largo no llegue a la solicitud.

La limitación se deriva de la base de la herramienta. tiktoken describe los tokenizadores de OpenAI. Para modelos de otros desarrolladores, que tienen sus propios vocabularios de tokens, el resultado será aproximado, y es mejor obtener las cifras exactas del proveedor. Para estimar órdenes de magnitud, esto suele bastar.

Si solo necesitas ttok de forma ocasional, no hace falta instalarlo: basta con uvx y una línea en el terminal. Si lo usas con regularidad, el comando --list-models te ahorra buscar el nombre correcto del modelo en la documentación.