Perplexity publie un tokenizer pour réseaux de neurones : 5 fois plus rapide
Perplexity a publié le code source ouvert d'une version réécrite du tokenizer Unigram. L'algorithme tourne 5 fois plus vite que les tokenizers standard de Hugging Face et réduit la charge processeur en production d'un facteur 5-6x. Pour les services d'AI, l'enjeu est critique : chaque milliseconde gagnée sur la tokenisation se traduit par une économie réelle sur les serveurs. Les entreprises peuvent déjà télécharger le code et l'intégrer sans coûts supplémentaires.
Traité par IA depuis MarkTechPost ; édité par Hamidun News
Perplexity AI a publié le code source ouvert de son tokenizer Unigram pour réseaux de neurones. Côté performances, c'est une véritable percée : le nouvel algorithme tourne 5x plus vite que l'approche traditionnelle et ne sollicite presque pas le processeur.
Pourquoi un tokenizer rapide est-il nécessaire ?
Sur les serveurs de production, le tokenizer est appelé des centaines de millions de fois par jour. Chaque latence à ce niveau s'additionne et finit par coûter très cher.
- 29 oct. 2026Claude dans Houdini sous Windows : deux bugs dans le panneau d'agent et une géode de 31 nœuds
- 28 oct. 2026NVIDIA lance Nemotron 3.5 Super VL (120B) et les modèles Bolt pour agents locaux
- 28 oct. 2026Modal lève 750 millions de dollars à 15,75 milliards de valorisation et atteint 1 milliard de dollars d'ARR
- 27 oct. 2026Meta ouvre Muse Spark (816B), Reflection publie Beam sous Apache 2.0
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.