EAGLE 3.1: Cómo corregir la inestabilidad en la decodificación especulativa en LLMs
EAGLE 3.1 lanzada conjuntamente por EAGLE team, vLLM y TorchSpec. El nuevo algoritmo de decodificación especulativa resuelve problemas de instabilidad en la inf
◐ Escuchar artículo
EAGLE 3.1 lanzada conjuntamente por EAGLE team, vLLM y TorchSpec. El nuevo algoritmo de decodificación especulativa resuelve problemas de instabilidad en la inferencia de producción de LLMs. Se ha corregido un error crítico de desviación de atención que reducía la velocidad de generación de tokens.