Simon Willison atualiza o ttok para a versão 0.4: contador de tokens ganha o comando --list-models

Simon Willison lançou o ttok 0.4, a primeira atualização do seu contador de tokens para o terminal em cerca de dois anos. A versão traz três mudanças: corrige um aviso da biblioteca Click, atualiza o CI e adiciona o comando --list-models, que exibe a lista de modelos disponíveis. Por baixo dos panos, continua o tiktoken, biblioteca aberta de tokenização da OpenAI. O lançamento é pequeno, mas recoloca em condições de uso uma das ferramentas mais simples para controlar a janela de contexto e o orçamento de requisições.

O que mudou na 0.4

A atualização é basicamente técnica. O aviso do Click aparecia ao executar o utilitário e poluía a saída. Agora ele foi corrigido. O autor também colocou o CI em ordem, ou seja, o processo automático de build e verificação do projeto. Depois de dois anos parado, isso importa: a ferramenta volta a ser compilada e testada em um ambiente atual, em vez de depender de configurações que ficaram obsoletas há tempos.

A única funcionalidade nova da versão é a flag --list-models. Ela mostra para quais modelos o ttok sabe contar tokens. Antes, era preciso conferir o nome do modelo na documentação ou no código do tiktoken. Agora a lista sai direto no terminal.

Como rodar

O ttok funciona com o uvx, isto é, com a execução de utilitários Python via uv em um ambiente isolado e temporário. Não é preciso instalar o pacote antes. Contar os tokens de qualquer texto fica assim:

``` cat file.txt | uvx ttok ```

O texto entra pela entrada padrão e a saída é o número de tokens. Esse formato se encaixa bem em pipelines Unix: dá para enviar ao ttok a saída de outro comando, um log, um dump de repositório ou o resultado de uma busca em documentos.

Resumo do lançamento

• Versão: ttok 0.4, lançamento publicado no GitHub.
• Autor: Simon Willison.
• Base: biblioteca tiktoken, da OpenAI, com código aberto.
• Novo comando: --list-models, lista de modelos disponíveis.
• Correções: aviso do Click, atualização do CI.
• Execução sem instalação: via uvx.
• Atualização anterior: cerca de dois anos atrás.

Onde isso é útil

Os tokens definem duas questões práticas: quanto texto cabe na janela de contexto do modelo e quanto custará a requisição. Estimar "a olho" pelo número de caracteres ou palavras costuma errar. Isso aparece principalmente em código, JSON, tabelas e textos em outros idiomas que não o inglês, que normalmente rendem mais tokens do que se espera. A contagem local com o tokenizer real dá o número exato, sem chamar a API.

Os cenários típicos são simples. Antes de enviar um arquivo grande ao modelo, verificar se ele cabe na janela. Estimar o custo do processamento em lote de um conjunto de documentos. Comparar quanto o prompt encolheu depois de uma limpeza. Embutir a checagem de tamanho em um script ou em um hook de pre-commit, para que um contexto longo demais não seja enviado na requisição.

A limitação decorre da base da ferramenta. O tiktoken descreve os tokenizadores da OpenAI. Para modelos de outros desenvolvedores, que têm vocabulários de tokens próprios, o resultado será aproximado, e os números exatos é melhor obter com o provedor. Para estimar a ordem de grandeza, isso costuma bastar.

Se você só precisa do ttok de vez em quando, não é obrigatório instalá-lo: o uvx e uma linha no terminal resolvem. Se você o usa com regularidade, o comando --list-models poupa a busca pelo nome correto do modelo na documentação.