ttok 1.0 pasa al tokenizador de GPT-5/6: siete modelos dan 44 794 tokens

Simon Willison ha lanzado ttok 1.0. Se trata de una utilidad de línea de comandos para contar tokens que ahora usa por defecto el tokenizador de la familia GPT-5/GPT-6 en lugar del de GPT-4. El motivo fue un detalle menor. El autor publicó ttok 0.4, actualizó con el comando `uv tool upgrade ttok`, pasó un archivo por la nueva versión y vio que la herramienta contaba los tokens con el esquema de la generación anterior. Decidió registrar la corrección del valor por defecto como una versión mayor. Una prueba independiente a la que remite Willison muestra que siete modelos de OpenAI contaron exactamente los mismos 44 794 tokens en 31 archivos de prueba.

Por qué cambió el valor por defecto

Contar tokens es una tarea constante. Sirve para estimar el coste de una petición, comprobar si un documento cabe en la ventana de contexto y recortar textos largos antes de enviarlos al modelo. ttok lo hace desde la línea de comandos: le das un texto y devuelve un número. Si la herramienta lleva integrado el tokenizador de GPT-4, las cifras se alejan de la realidad. El error es pequeño, pero se acumula cuando se calcula el presupuesto de miles de peticiones.

Willison reconoce que la 1.0 es en parte una formalidad: una buena ocasión para poner por fin un número de versión redondo. Pero cambiar el comportamiento por defecto sí rompe la compatibilidad hacia atrás, de modo que un número de versión mayor está justificado.

Qué mostró el experimento de William Liu

Willison no tiene la certeza de que GPT-6 use el mismo tokenizador que GPT-5. OpenAI no lo ha confirmado. En el repositorio de tiktoken hay una issue n.º 608, que el autor califica de «enfadada»: los usuarios exigen claridad. La respuesta indirecta llegó de William Liu. En un commit del repositorio token-count-compare describió un experimento con siete modelos:

• GPT-5.5;
• GPT-5.6 en las variantes Sol, Terra y Luna;
• GPT-6 en las variantes Astra, Sol y Luna.

Resultados, según Liu:

• los siete modelos devolvieron 44 794 tokens;
• los resultados coincidieron en cada uno de los 31 archivos de prueba;
• GPT-6 no cambió el recuento de tokens de entrada en este corpus.

En función de esto, Willison consideró razonable fijar GPT-5/GPT-6 como valor por defecto.

Dónde está el problema

La prueba sigue siendo indirecta. Es una comparación de recuentos de tokens de entrada sobre un único conjunto de 31 archivos, no la publicación del vocabulario ni de las reglas de segmentación. Que coincidan tanto los totales como los valores por archivo en un corpus así apunta con fuerza a un tokenizador común, pero todavía no se puede descartar que haya diferencias en idiomas poco frecuentes, marcado exótico o secuencias largas. Mientras OpenAI guarde silencio, la conclusión sigue siendo una hipótesis de trabajo.

Conviene tener presente también la diferencia entre tokens de entrada y de salida. La prueba de Liu se refiere solo al recuento de la entrada. No dice nada sobre cómo se comportan los modelos al generar.

Cómo aplicarlo ya

Si tiene ttok instalado con uv, actualice con el comando `uv tool upgrade ttok`. A partir de ahí, el recuento por defecto seguirá el esquema de GPT-5/GPT-6. Si calculó presupuestos o límites de contexto con cifras de GPT-4, vuelva a calcularlos: con los mismos textos el resultado puede cambiar. Conviene revisar los scripts que dependían del valor por defecto anterior. Si la precisión es crítica para usted, contraste la estimación de ttok con el campo usage de las respuestas de la API en varios documentos reales. Y antes de dar la cuestión por cerrada, conviene esperar la respuesta de OpenAI a la issue n.º 608.