Modal lanza Spindle: en sus pruebas, el coste del ajuste fino cayó hasta un 80%

Un equipo entrena a un agente para que escriba código: recibe una tarea, modifica archivos, ejecuta pruebas y vuelve para que se evalúe su trabajo. Durante todo ese tiempo, los aceleradores reservados para actualizar el modelo pueden quedarse esperando el siguiente lote de datos. La factura del alquiler sigue creciendo. Modal propone ocupar esas pausas con otros experimentos: su nuevo servidor Spindle permite que varias ejecuciones compartan hardware. Según las pruebas de la propia empresa, los costes se redujeron entre un 20 y un 80% frente a Tinker, en función de la tarea y la configuración.

Es una herramienta útil para los equipos que ajustan modelos abiertos con frecuencia y comparan numerosas variantes. Pero la cuestión principal es cuánto trabajo pueden concentrar en las GPU por las que pagan. Pasar de una tarifa por tokens a una facturación por horas no garantiza, por sí solo, ningún ahorro.

Cómo comparten varios experimentos las mismas GPU

Spindle es un servidor de código abierto con una API compatible con Tinker, de Thinking Machines. El desarrollador define el bucle de entrenamiento en Python: cómo calcular la pérdida, por qué recompensar al agente y en qué entorno ejecutar las tareas. El servidor, desplegado en el espacio de trabajo del equipo en Modal, se encarga del entrenamiento distribuido. Se factura por tiempo de GPU.

Imaginemos que un equipo prueba cuatro formas de evaluar las respuestas de un agente de búsqueda. Cada variante debe buscar documentos, leerlos y elaborar una respuesta. Mientras la primera ejecución está buscando, el servidor realiza un paso de entrenamiento de la segunda. Después llega el turno de la tercera. Así, las pausas de un experimento se convierten en tiempo de trabajo para otro.

Para ello, Spindle admite multi-LoRA: varias ejecuciones utilizan un modelo base común y adaptadores entrenables independientes. También permite entrenar todos los parámetros del modelo. Los cálculos para generar respuestas y actualizar los pesos están separados, por lo que se pueden elegir aceleradores distintos para cada función y ajustar sus recursos de forma independiente.

La compatibilidad se demostró con un agente de búsqueda basado en gpt-oss-20b que trabaja con informes financieros y herramientas de búsqueda y lectura. Según Modal, para migrar el script existente desde Tinker bastó con cambiar la dirección del servidor y la clave de acceso. Es un buen ejemplo de migración, aunque todavía no demuestra la compatibilidad con cualquier código de usuario.

Dónde se logró ahorrar y dónde se agotó la capacidad disponible

En la prueba de matemáticas, un solo cliente dejaba largas pausas entre los pasos de entrenamiento. Cuando cuatro clientes empezaron a alternar su trabajo, la utilización del servidor de entrenamiento alcanzó aproximadamente el 88%. Añadir más clientes en esa configuración ya reducía de forma apreciable el rendimiento de cada ejecución: tenían que competir por los recursos compartidos.

La variación de precios muestra hasta qué punto el resultado depende de la tarea. En matemáticas, Modal redujo el coste estimado por millón de tokens de salida de 9,77 a 1,99 dólares con ocho clientes. En el agente de búsqueda, el ahorro fue más modesto: de 5,06 a 3,80 dólares. En las tareas de programación de SWE-Gym con un contexto de 256.000 tokens, la empresa comunicó una reducción de 15,04 a 5,82 dólares.

Son mediciones del proveedor, realizadas con distintos equipos y cantidades de clientes simultáneos. No deben convertirse en una promesa de descuento para cualquier proyecto. Además, la reducción del coste vino acompañada de un mayor tiempo de finalización de las ejecuciones individuales. Para un equipo con un plazo estricto para obtener un modelo, ese intercambio podría no compensar.

Qué comprobar antes de migrar el entrenamiento

El interés práctico de Spindle reside en la posibilidad de adaptar el servidor a cada tarea. Por ejemplo, Modal describe cómo ampliar el contexto de un modelo de 16.000 a 256.000 tokens mediante cambios de configuración y un aumento del paralelismo de contexto. Sin embargo, modificar dos ajustes en un ejemplo no significa que disponer de un contexto largo salga gratis: siguen siendo necesarias unas GPU adecuadas y pruebas de estabilidad.

Conviene empezar por migrar un experimento reproducible. Primero, comparar la calidad con el mismo conjunto de tareas; después, ejecutar varias variantes a la vez y medir el coste del entrenamiento completado, el tiempo de espera y la utilización de los aceleradores. Unos tokens baratos sirven de poco si el resultado que se necesita llega demasiado tarde.

Spindle sigue en beta. El código abierto permite modificar el servidor, pero el despliegue descrito utiliza la infraestructura de Modal. Para un equipo con una cola constante de experimentos, es una razón para comprobar si compartir la capacidad de las GPU resulta rentable. Para las ejecuciones individuales esporádicas, la ventaja aún está por demostrar. Las configuraciones y los resultados están publicados en el anuncio de Modal.