DeepSeek в 4 раза быстрее: как работает система ATLAS для LLM
Together AI представила ATLAS — адаптивный спекулятор на основе machine learning, который ускоряет LLM inference в 4 раза без ручной настройки. Система автоматически обучается и адаптируется к вашей рабочей нагрузке по мере использования. На DeepSeek-V3.1 достигает 500 токенов в секунду — это в 2.65 раза быстрее стандартного декодинга и превосходит производительность специализированного оборудования Groq.
AI-обработка оригинала Together AI Blog; редакция Hamidun News
Система ATLAS от Together AI позволяет ускорить вывод LLM вроде DeepSeek-V3.1 и Kimi-K2 в 4 раза — до 500 и 460 токенов в секунду соответственно, без ручной настройки.
На какие модели работает ATLAS?
ATLAS ускоряет DeepSeek-V3.1 до 500 токенов в секунду и Kimi-K2 до 460 токенов в секунду, автоматически улучшаясь по мере использования.
Что такое спекулятивный декодинг?
Спекулятивный декодинг — один из мощных способов ускорить генерацию текста на языковых моделях. Вместо стандартного способа, когда модель генерирует по одному токену за раз, спекулятивный декодинг позволяет обрабатывать несколько токенов одновременно.
На сколько ATLAS ускоряет DeepSeek?
ATLAS ускоряет DeepSeek-V3.1 до 500 токенов в секунду — это 4x ускорение. На Kimi-K2 система достигает 460 токенов в секунду.
Какой результат даёт ATLAS на DeepSeek?
На DeepSeek-V3.1 система ATLAS достигает 500 токенов в секунду (примерно 4x ускорение), на Kimi-K2 — 460 токенов в секунду.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.