Éditeur · vérifié par la rédaction

vLLM Blog

Source d'actualités IA. Les articles sont sélectionnés et adaptés par la rédaction de Hamidun News.

2 articles dans Hamidun·Dernier: 12 octobre· Actif·vllm.ai ↗
S'abonner

Dernières publications

vLLM apprend aux nœuds decode à renvoyer le KV-cache et réduit le TTFT jusqu'à 3,3 fois
LLMvLLM Blog

vLLM apprend aux nœuds decode à renvoyer le KV-cache et réduit le TTFT jusqu'à 3,3 fois

vLLM gère le transfert bidirectionnel du KV-cache : les nœuds prefill récupèrent le contexte calculé auprès des nœuds decode. Le TTFT baisse jusqu'à 3,3 fois sur les longs dialogues.

12 oct. 2026·3 min
vLLM tourne sur Vera Rubin NVL72 : un débit par GPU multiplié par 7,8
LLMvLLM Blog

vLLM tourne sur Vera Rubin NVL72 : un débit par GPU multiplié par 7,8

vLLM prend en charge NVIDIA Vera Rubin NVL72 : modèles dès le jour 0, noyaux FlashInfer réglés pour Rubin et, sur AgentX, un débit par GPU multiplié par 7,8 face au GB200.

10 oct. 2026·3 min