V
Editora · verificada pela redação
vLLM Blog
Fonte de notícias de IA. Os artigos são selecionados e adaptados pela redação do Hamidun News.
Últimas publicações
LLMvLLM Blog
vLLM ensina nós de decode a devolver o KV-cache e acelera o TTFT em até 3,3 vezes
O vLLM ganhou transferência bidirecional de KV-cache: nós de prefill buscam o contexto pronto nos nós de decode, e o tempo até o primeiro token em diálogos longos cai em até 3,3 vezes.
LLMvLLM Blog
vLLM roda no Vera Rubin NVL72 com throughput por GPU 7,8 vezes maior
O vLLM ganhou suporte ao NVIDIA Vera Rubin NVL72: modelos rodam desde o dia 0, kernels do FlashInfer foram ajustados para o Rubin e o throughput por GPU no AgentX subiu 7,8x sobre o GB200.