Together AI lance Post-Training : RL et SFT sur B200 à $9 par GPU-heure

Together AI ouvre Together Post-Training. Le service permet d'entraîner ses propres modèles, aussi bien par RL avec des récompenses issues d'un environnement que par SFT sur des données annotées, sans avoir à monter soi-même l'infrastructure. Au lancement, quatre modèles ouverts sont disponibles : Muse Spark Open, GLM 5.3, Kimi K3 et Qwen 3.8-27B. Pendant les huit premières semaines, une heure de B200 coûte $9. La version bêta tournait depuis avril ; le service est désormais ouvert à tous.

Comment fonctionne le service

Contrairement au service de fine-tuning classique de Together, c'est ici l'utilisateur qui définit toute la boucle d'entraînement. Il peut brancher n'importe quelles données, environnements et harnais d'agents, et ajouter ses propres étapes, comme la journalisation ou des benchmarks externes. Les calculs s'exécutent sur des Model Resources, c'est-à-dire des GPU dédiés qui ne sont pas en concurrence avec les requêtes d'autres clients. Une même ressource héberge une ou plusieurs Training Sessions, chacune correspondant à une expérience distincte sur un seul modèle de base. Au sein d'une session, un Trainer gère les passes avant et arrière, et un Generator produit les rollouts de la politique.

Principaux paramètres du service :

• modes : LoRA, y compris plusieurs adaptateurs sur une même capacité GPU, et fine-tuning complet des poids pour une partie des modèles ;
• fonctions de perte intégrées : cross-entropy, GRPO, CISPO, DPPO, avec en plus la possibilité de calculer sa propre loss en local et d'envoyer les gradients au Trainer ;
• RL asynchrone pour maintenir la charge des GPU lors de longs rollouts d'agents ;
• pour le SFT, la ressource peut être lancée avec zéro générateur, afin de ne pas payer pour rien ;
• facturation à la GPU-minute ;
• migration depuis des scripts Tinker en remplaçant une seule ligne d'import : import together.post_training.tinker as tinker.

Où se cachent la vitesse et les économies

Selon les auteurs, le principal risque technique du RL tient au désaccord entre les moteurs d'entraînement et d'inférence. Si les mêmes poids produisent des sorties légèrement différentes à cause d'écarts de calcul numérique, une exécution peut décrocher ou s'effondrer. Together affirme éliminer les sources de dérive de la politique avec des méthodes standard comme Rollout Routing Replay et avec ses propres développements pour la stabilité de l'entraînement.

La majeure partie du temps en RL passe dans la génération des rollouts, et Together s'appuie ici sur sa pile d'inférence. Pour les agents multi-étapes, le cache et le routage réduisent les calculs répétés et maintiennent la mémoire dans les limites. Côté entraînement, l'accélération vient d'un parallélisme optimisé et du packing de séquences. La société affirme qu'en passant à l'échelle les expériences, le coût de l'entraînement tombe sous la tarification au token. Le document ne contient aucune mesure indépendante : il s'agit d'une déclaration du fournisseur lui-même.

Le problème de l'après-entraînement est traité à part. Dedicated Model Inference propose désormais du multi-LoRA serving : les adaptateurs peuvent être échangés sur un même déploiement GPU, au lieu d'un déploiement séparé pour chaque exécution. Together promet aussi que la qualité du checkpoint est conservée lors du passage de l'échantillonnage multi-LoRA à un modèle fusionné en FP4.

Ce que disent les premiers clients

Deel indique que de vraies expériences de RL ont démarré en quelques heures, et que jusqu'à cinq exécutions parallèles tournaient sur une seule capacité GPU. Jack & Jill ont affiné un modèle qui prédit quels candidats un responsable du recrutement voudra voir. Selon les évaluations hors ligne, il égale un modèle fermé, mais le modèle ouvert coûte moins cher à servir. Collinear AI travaille avec le service depuis la bêta d'avril et lance des exécutions de RL agentique à pleine échelle. Toutes les citations sont fournies par Together elle-même.

Ce qu'il faut en retenir pour les équipes

Si vous avez déjà un agent reposant sur un modèle fermé et une métrique de qualité claire, le service permet de vérifier s'il est possible de le remplacer par un modèle ouvert spécialisé. L'entrée à bas coût tient à la période de remise : $9 par GPU-heure de B200 pendant huit semaines. Pour tester une idée, un cookbook sur GitHub propose des exemples de GRPO sur GSM8K, de DPO comme custom loss et de plusieurs LoRA sur une même ressource.

Pour ceux qui utilisent Tinker, la migration prendra quelques minutes. Avant de basculer, comparez vos métriques hors ligne sur plusieurs modèles de base et calculez le coût total de service en FP4. Pour les entreprises sans expertise en RL, Together propose des ingénieurs en forward deployment.

Ils aident à choisir le modèle et le harnais d'agent, à constituer les données et les environnements, puis à publier un endpoint optimisé.