V
Издание · проверено редакцией
vLLM Blog
Источник AI-новостей. Материалы автоматически отбираются и адаптируются редакцией Hamidun News.
Последние публикации
LLMvLLM Blog
vLLM научил decode-узлы возвращать KV-кэш и ускорил TTFT до 3,3 раза
В vLLM появилась двунаправленная передача KV-кэша: prefill-узлы берут готовый контекст у decode-узлов, и время до первого токена на длинных диалогах падает до 3,3 раза.
LLMvLLM Blog
vLLM заработал на Vera Rubin NVL72: в 7,8 раза выше пропускная способность на GPU
vLLM получил поддержку NVIDIA Vera Rubin NVL72: модели работают с нулевого дня, ядра FlashInfer перенастроены под Rubin, а на AgentX пропускная способность на GPU выросла в 7,8 раза против GB200.