Dos ingenieros integraron SGLang con IBM Spyre en una semana y multiplicaron el rendimiento por 3,6

Integrar un nuevo acelerador con un servidor de modelos de lenguaje puede convertirse fácilmente en un proyecto de ingeniería por derecho propio. Hay que coordinar la gestión de memoria, los cálculos de atención y el procesamiento de solicitudes, y después comprobar que el conjunto sea realmente más rápido que la solución original. Un equipo de dos ingenieros informó de que había integrado SGLang con IBM Spyre en menos de una semana con ayuda de agentes de IA. El plugin quedó en unas 1500 líneas y el rendimiento fue 3,6 veces superior al de la implementación de referencia de inferencia en PyTorch con torch-spyre. Los autores presentan estos resultados en el blog de PyTorch.

El interés práctico está en cómo se organizó el trabajo. Los ingenieros ya contaban con soporte de hardware y con el ejemplo de otra integración. A los agentes les proporcionaron código existente e interfaces concretas a las que debían conectarlo. Para un equipo que traslada la inferencia a otro hardware, es un ejemplo útil de cómo acotar la tarea y aprovechar desarrollos previos.

Cómo se construyó la integración

Spyre es el acelerador de IBM para inferencia empresarial. La biblioteca torch-spyre lo registra como dispositivo de PyTorch y lo conecta con torch.compile. Así, parte de las funciones de interacción con el hardware ya está disponible a través de los mecanismos estándar de PyTorch.

El segundo pilar fue la integración existente de Spyre con vLLM. De ella se tomaron las implementaciones de atención, la gestión de las formas de los tensores, la agrupación de entradas por tamaño y el enfoque para asignar memoria a la caché KV. Esta caché almacena datos intermedios para que el modelo no tenga que volver a calcularlos al generar cada token siguiente.

SGLang aportó los puntos de integración: registro del dispositivo, implementación de atención, gestión de la caché KV y selección de operaciones de cálculo. Los agentes de IA adaptaron el código a estas interfaces. El planificador de solicitudes y el bucle principal de servicio ya estaban disponibles como componentes de SGLang.

También hicieron falta cuatro pequeños parches en el propio SGLang. Dos permitieron utilizar rutas de ejecución existentes sin dependencias de CUDA; los otros dos registraron el dispositivo Spyre y una implementación de atención que funciona sin Triton. Según los autores, algunos de estos cambios también serán útiles para otros aceleradores.

Por qué el servidor necesita recordar el inicio de una solicitud

Imaginemos un asistente empresarial: cada solicitud comienza con la misma instrucción larga, seguida de la pregunta de un empleado. Si el servidor puede reutilizar los cálculos de ese inicio común, no tiene que procesar de nuevo esa parte en cada consulta.

En SGLang, RadixCache se encarga de compartir prefijos. En esta integración, el mecanismo funcionó sin cambios específicos para Spyre: el planificador decide qué reutilizar antes de enviar el trabajo al acelerador. Es un ejemplo ilustrativo de cómo una función del servidor puede trasladarse a otro hardware junto con la lógica general de servicio.

El ahorro de código también tuvo una explicación concreta. La integración existente de vLLM para Spyre ocupaba unas 3500 líneas. Los autores atribuyen aproximadamente dos tercios de la diferencia con el nuevo plugin a la reutilización de la clase base de atención de SGLang. Por tanto, comparar únicamente el tamaño de los plugins dice poco sobre la productividad de la IA: una parte sustancial del resultado se debió a la arquitectura de las bibliotecas.

Qué comprobar antes de llevarlo a producción

La mejora de rendimiento de 3,6 veces corresponde a la comparación con la implementación de referencia en PyTorch. En una comparación independiente con vLLM sobre Spyre, SGLang obtuvo resultados similares en las cargas medidas para Granite 3.3 8B y Gemma 4 26B A4B. Todavía no hay base para extrapolar estas conclusiones a cualquier modelo y patrón de solicitudes.

La integración inicial también se apoya en el compilador, el entorno de ejecución y las operaciones de hardware existentes. Los autores señalan el soporte de formas dinámicas y de Triton como próximos pasos. Para ejecutar el ejemplo, es necesario instalar y configurar previamente el entorno de Spyre, torch-spyre, el plugin de SGLang y los parches de compatibilidad.

Para los desarrolladores, lo útil es la forma de plantear la tarea al agente: proporcionar una implementación funcional de las operaciones, definir la interfaz de destino y comprobar el resultado en hardware real. Los responsables de producto deberían reservar tiempo adicional para las pruebas de carga y el mantenimiento. Llegar a una integración inicial en una semana es un resultado convincente, pero la capacidad de dar servicio a un producto concreto deberá confirmarse con mediciones propias.