Modal lance Spindle : dans ses tests, les coûts de fine-tuning chutent jusqu'à 80 %

Une équipe entraîne un agent à écrire du code : il reçoit une tâche, modifie des fichiers, lance des tests et revient chercher son évaluation. Pendant tout ce temps, les accélérateurs alloués à la mise à jour du modèle peuvent attendre le prochain lot de données. La facture de location, elle, continue de grimper. Modal propose de combler ces pauses avec d'autres expériences : son nouveau serveur Spindle permet à plusieurs runs de partager le matériel. Selon les tests de l'entreprise elle-même, les coûts par rapport à Tinker ont baissé de 20 à 80 % selon la tâche et la configuration.

C'est un outil utile pour les équipes qui affinent régulièrement des modèles ouverts et comparent de nombreuses variantes. Mais la question centrale est de savoir combien de travail on parvient à faire tenir sur les GPU payés. Le simple passage d'une tarification au token à une facturation à l'heure ne garantit pas d'économies.

Comment plusieurs expériences se partagent les mêmes GPU

Spindle est un serveur open source avec une API compatible avec Tinker de Thinking Machines. Le développeur définit en Python la boucle d'entraînement : comment calculer l'erreur, quoi récompenser chez l'agent, dans quel environnement exécuter les tâches. L'entraînement distribué est pris en charge par le serveur déployé dans l'espace de travail de l'équipe sur Modal. La facturation se fait au temps GPU.

Imaginons qu'une équipe teste quatre façons d'évaluer les réponses d'un agent de recherche. Chaque variante doit chercher des documents, les lire et composer une réponse. Pendant que le premier run est occupé à chercher, le serveur exécute une étape d'entraînement du deuxième. Vient ensuite le tour du troisième. Les pauses d'une expérience deviennent ainsi le temps de travail d'une autre.

Pour cela, Spindle prend en charge le multi-LoRA : plusieurs runs utilisent un modèle de base commun et des adaptateurs entraînables distincts. L'entraînement de tous les paramètres du modèle est également disponible. Les calculs de génération des réponses et de mise à jour des poids sont séparés ; on peut donc choisir des accélérateurs différents pour chacun et ajuster séparément le volume de ressources.

La compatibilité a été démontrée sur un agent de recherche avec gpt-oss-20b, qui travaille avec des états financiers et des outils de recherche et de lecture. D'après Modal, il a suffi de remplacer l'adresse du serveur et la clé d'accès pour migrer un script Tinker existant. C'est un bon exemple de migration, même s'il ne prouve pas encore la compatibilité de n'importe quel code utilisateur.

Où sont apparues les économies et où la marge s'est arrêtée

Dans le test mathématique, un seul client laissait de longues pauses entre les étapes d'entraînement. Lorsque quatre clients se sont mis à alterner leur travail, l'utilisation du serveur d'entraînement a atteint environ 88 %. Au-delà, dans cette configuration, l'ajout de clients dégradait nettement le débit de chaque run : il fallait se disputer les ressources communes.

L'écart de prix montre bien que le résultat dépend de la tâche. En mathématiques, Modal a obtenu une baisse du coût estimé d'un million de tokens de sortie de 9,77 à 1,99 dollar avec huit clients. Pour l'agent de recherche, l'économie a été plus modeste : de 5,06 à 3,80 dollars. Sur les tâches de programmation SWE-Gym avec un contexte de 256 000 tokens, l'entreprise fait état d'une baisse de 15,04 à 5,82 dollars.

Ce sont des mesures du fournisseur, avec du matériel et un nombre de clients parallèles variables. On ne peut pas en faire une promesse de remise pour n'importe quel projet. De plus, la baisse des coûts s'est accompagnée d'une fin plus lente des runs individuels. Pour une équipe soumise à un délai strict pour obtenir un modèle donné, cet arbitrage peut s'avérer défavorable.

Que vérifier avant de migrer l'entraînement

L'intérêt pratique de Spindle réside dans la possibilité d'adapter le serveur à sa tâche. Par exemple, Modal décrit l'extension du contexte du modèle de 16 000 à 256 000 tokens via la configuration et l'augmentation du parallélisme de traitement du contexte. Toutefois, deux paramètres modifiés dans l'exemple ne signifient pas que le long contexte vient gratuitement : des GPU adaptés et une vérification de la stabilité restent nécessaires.

Il vaut mieux commencer par migrer une expérience reproductible. Comparez d'abord la qualité sur un même jeu de tâches, puis lancez plusieurs variantes simultanément et mesurez le coût d'un entraînement terminé, le temps d'attente et l'utilisation des accélérateurs. Des tokens bon marché n'aident guère si le résultat attendu arrive trop tard.

Spindle est encore en bêta. Le code ouvert permet d'améliorer le serveur, mais le déploiement décrit repose sur l'infrastructure de Modal. Pour une équipe avec une file d'expériences permanente, c'est une raison de vérifier l'économie d'une charge GPU mutualisée. Pour des runs isolés et rares, l'avantage reste à démontrer. Les configurations et les résultats sont publiés dans l'annonce de Modal.