Perplexity publica tokenizador para redes neurais 5 vezes mais rápido
A Perplexity abriu o código de uma versão reescrita do tokenizador Unigram. O algoritmo roda 5 vezes mais rápido que os tokenizers padrão da Hugging Face e reduz a carga de CPU em produção em 5-6x. Para serviços de AI, isso é crítico: cada milissegundo economizado na tokenização se traduz em economia real com servidores. As empresas já podem baixar o código e integrá-lo sem custos adicionais.
Processado por IA de MarkTechPost; editado por Hamidun News
A Perplexity AI publicou o código aberto do Unigram, um tokenizador para redes neurais. Em desempenho, trata-se de um avanço real: o novo algoritmo é 5x mais rápido que a abordagem tradicional e quase não sobrecarrega a CPU.
Por que um tokenizador rápido é necessário?
O tokenizador é chamado centenas de milhões de vezes por dia em servidores de produção. Aqui, qualquer latência se acumula e vira um prejuízo financeiro considerável.
- 29 de out. de 2026Claude no Houdini no Windows: dois bugs no painel do agente e uma geoda de 31 nós
- 28 de out. de 2026NVIDIA lança Nemotron 3.5 Super VL, de 120B, e os modelos Bolt para agentes locais
- 28 de out. de 2026Modal capta $750 milhões com avaliação de $15,75 bilhões e chega a $1 bilhão de ARR
- 27 de out. de 2026Meta abre o Muse Spark de 816B, e a Reflection lança o Beam sob Apache 2.0
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.