V
Editorial · verificada por la redacción
vLLM Blog
Fuente de noticias de IA. Los artículos son seleccionados y adaptados por la redacción de Hamidun News.
Últimas publicaciones
LLMvLLM Blog
vLLM enseña a los nodos decode a devolver la KV-cache y reduce el TTFT hasta 3,3 veces
vLLM incorpora transferencia bidireccional de KV-cache: los nodos prefill toman el contexto ya calculado de los nodos decode, y el tiempo hasta el primer token en diálogos largos baja hasta 3,3 veces.
LLMvLLM Blog
vLLM ya funciona en Vera Rubin NVL72: 7,8 veces más rendimiento por GPU
vLLM añade soporte para NVIDIA Vera Rubin NVL72: modelos desde el día 0, kernels FlashInfer ajustados a Rubin y 7,8 veces más rendimiento por GPU que GB200 en AgentX.