ttok 1.0 passa a usar o tokenizador do GPT-5/6: sete modelos deram 44 794 tokens

Simon Willison lançou o ttok 1.0. O utilitário de linha de comando para contagem de tokens agora usa por padrão o tokenizador da família GPT-5/GPT-6, e não o do GPT-4. O motivo foi um detalhe pequeno. O autor lançou o ttok 0.4, atualizou com o comando `uv tool upgrade ttok`, passou um arquivo pela nova versão e viu que a ferramenta contava tokens pelo esquema da geração anterior. Ele decidiu tratar a correção do padrão como uma versão major. Um teste independente, citado por Willison, mostra que sete modelos da OpenAI contaram os mesmos 44 794 tokens em 31 arquivos de teste.

Por que o padrão mudou

Contar tokens é uma tarefa constante. É a contagem que permite estimar o custo de uma requisição, verificar se um documento cabe na janela de contexto e dividir textos longos antes de enviá-los ao modelo. O ttok faz isso pela linha de comando: você passa o texto e recebe um número. Se a ferramenta tem o tokenizador do GPT-4 embutido, os números não batem com a realidade. O erro é pequeno, mas se acumula quando você calcula o orçamento de milhares de requisições.

Willison admite que a 1.0 é em parte uma formalidade: um bom pretexto para finalmente ter um número de versão redondo. Mas a mudança no comportamento padrão de fato quebra a compatibilidade com versões anteriores, então um número major é apropriado aqui.

O que mostrou o experimento de William Liu

Willison não tem certeza de que o GPT-6 usa o mesmo tokenizador do GPT-5. A OpenAI não confirmou isso. No repositório do tiktoken há a issue nº 608, que o autor chama de "irritada": os usuários exigem clareza. Uma resposta indireta veio de William Liu. Em um commit no repositório token-count-compare, ele descreveu um experimento com sete modelos:

• GPT-5.5;
• GPT-5.6 nas variantes Sol, Terra e Luna;
• GPT-6 nas variantes Astra, Sol e Luna.

Resultados, segundo Liu:

• todos os sete modelos retornaram 44 794 tokens;
• os resultados coincidiram em cada um dos 31 arquivos de teste;
• o GPT-6 não alterou a contagem de tokens de entrada nesse corpus.

Com base nisso, Willison considerou razoável adotar o GPT-5/GPT-6 como padrão.

Qual é o porém

A evidência continua sendo indireta. Trata-se de uma comparação de contadores de tokens de entrada em um único conjunto de 31 arquivos, e não da publicação do vocabulário e das regras de segmentação. A coincidência das somas e dos valores por arquivo nesse corpus pesa bastante a favor de um tokenizador comum, mas ainda não dá para descartar divergências em idiomas raros, marcações exóticas ou sequências longas. Enquanto a OpenAI não se manifestar, a conclusão continua sendo uma hipótese de trabalho.

Também convém levar em conta a diferença entre tokens de entrada e de saída. O teste de Liu trata apenas da contagem da entrada. Ele não diz nada sobre o comportamento dos modelos na geração.

Como aplicar já

Se você instalou o ttok com o uv, atualize com o comando `uv tool upgrade ttok`. Depois disso, a contagem padrão passará a seguir o esquema do GPT-5/GPT-6. Se você calculou orçamentos ou limites de contexto com números do GPT-4, refaça as contas: nos mesmos textos, o resultado pode mudar. Vale revisar os scripts que dependiam do padrão antigo. Se a precisão é crítica para você, compare a estimativa do ttok com o campo usage nas respostas da API em alguns documentos reais. E é melhor esperar a resposta da OpenAI sobre a issue nº 608 antes de considerar a questão encerrada.