Perplexity опубликовала токенайзер для нейросетей: в 5 раз быстрее
Perplexity выложила открытый код переписанного токенайзера Unigram. Алгоритм работает в 5 раз быстрее, чем стандартные tokenizers от Hugging Face, и снижает нагрузку на процессор в production на 5-6x. Для AI-сервисов это критично: каждая миллисекунда экономии на токенизации = реальная экономия на серверах. Компании уже могут скачать код и интегрировать без доп. расходов.
AI-обработка оригинала MarkTechPost; редакция Hamidun News
Perplexity AI опубликовала открытый код токенайзера для нейросетей Unigram. По производительности это настоящий прорыв — новый алгоритм работает на 5x быстрее традиционного подхода и почти не нагружает процессор.
Зачем нужен быстрый токенайзер?
Токенайзер вызывается сотни миллионов раз в день на production-серверах. Задержка здесь складывается в серьёзные денежные потери.
- 26 окт. 2026 г.Getty Images объявила о банкротстве ради ухода в частные руки: акции упали на 68%
- 25 окт. 2026 г.a16z впервые посчитала траты на ИИ: платят 4,5% американцев, топ-1% — по $900
- 24 окт. 2026 г.Artificial Analysis запустила Decision Index: Jev 1.13 лидирует с 58 баллами
- 24 окт. 2026 г.Lovable встроил GPT-Live, Claude и Gemini Omni: 9 ИИ-инструментов в одном чате
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.