Together AI lanza Post-Training: RL y SFT en B200 a 9 dólares por hora de GPU

Together AI ha abierto el servicio Together Post-Training. Permite entrenar modelos propios tanto con RL, usando recompensas del entorno, como con SFT sobre datos etiquetados, sin tener que montar la infraestructura por cuenta propia. En el lanzamiento hay cuatro modelos abiertos disponibles: Muse Spark Open, GLM 5.3, Kimi K3 y Qwen 3.8-27B. Durante las primeras ocho semanas, la hora de B200 cuesta $9. La versión beta funcionaba desde abril y ahora el servicio está abierto a todos.

Cómo funciona el servicio

A diferencia del servicio de fine-tuning habitual de Together, aquí es el usuario quien define todo el ciclo de entrenamiento. Se pueden conectar cualquier dato, entorno y arnés de agentes, y añadir pasos propios, como el registro de métricas o benchmarks externos. Los cálculos se ejecutan en Model Resources, es decir, GPU dedicadas que no compiten con las solicitudes de otros usuarios. Dentro de un mismo recurso caben una o varias Training Sessions, y cada una corresponde a un experimento independiente sobre un único modelo base. Dentro de la sesión trabajan un Trainer, para los pasos hacia delante y hacia atrás, y un Generator, para los rollouts de la política.

Parámetros principales del servicio:

• modos: LoRA, incluidos varios adaptadores sobre la misma capacidad de GPU, y ajuste fino completo de los pesos para una parte de los modelos;
• funciones de pérdida integradas: cross-entropy, GRPO, CISPO y DPPO, además de la opción de calcular el propio loss en local y enviar los gradientes al Trainer;
• RL asíncrono para mantener ocupadas las GPU durante rollouts largos de agentes;
• para SFT, el recurso puede lanzarse con cero generadores, para no pagar de más;
• facturación por minutos de GPU;
• migración de scripts de Tinker cambiando una sola línea de importación: import together.post_training.tinker as tinker.

Dónde se esconden la velocidad y el dinero

Según los autores, el principal riesgo técnico del RL es el desajuste entre los motores de entrenamiento y de inferencia. Si los mismos pesos producen salidas ligeramente distintas por diferencias en los cálculos numéricos, la ejecución puede degradarse o colapsar. Together afirma que elimina las fuentes de deriva de la política con métodos estándar como Rollout Routing Replay y con desarrollos propios para la estabilidad del entrenamiento.

La mayor parte del tiempo en RL se va en generar rollouts, y aquí Together se apoya en su propio stack de inferencia. Para los agentes de varios pasos funcionan el almacenamiento en caché y el enrutamiento, que reducen los cálculos repetidos y mantienen la memoria dentro de sus límites. En el lado del entrenamiento, la aceleración procede de un paralelismo optimizado y del empaquetado de secuencias. La compañía sostiene que, al escalar los experimentos, el coste del entrenamiento baja por debajo del precio por token. El material no incluye mediciones independientes: es una afirmación del propio proveedor.

Por separado se ha resuelto el problema posterior al entrenamiento. Dedicated Model Inference incorpora multi-LoRA serving: los adaptadores pueden intercambiarse en un único despliegue de GPU, en lugar de desplegar uno aparte para cada ejecución. Together también promete que la calidad del checkpoint se mantiene al pasar del muestreo multi-LoRA al modelo fusionado en FP4.

Qué dicen los primeros clientes

Deel cuenta que sus experimentos reales de RL arrancaron en un par de horas y que, sobre una sola capacidad de GPU, llegaron a ejecutarse hasta cinco corridas en paralelo. Jack & Jill ajustaron un modelo que predice qué candidatos querrá ver un responsable de contratación. En las evaluaciones offline igualó a un modelo cerrado, pero el abierto es más barato de servir. Collinear AI trabaja con el servicio desde la beta de abril y lanza ejecuciones de RL de agentes a gran escala. Todas las citas las facilita la propia Together.

Conclusión práctica para los equipos

Si ya tiene un agente sobre un modelo cerrado y una métrica de calidad clara, el servicio permite comprobar si puede sustituirse por un modelo abierto especializado. La entrada barata la da el periodo de descuento: $9 por hora de GPU B200 durante ocho semanas. Para probar la idea hay un cookbook en GitHub con ejemplos de GRPO en GSM8K, DPO como custom loss y varias LoRA en un mismo recurso.

Para quienes usan Tinker, la migración llevará minutos. Antes de pasarse, conviene comparar las métricas offline propias en varios modelos base y calcular el coste total de servir en FP4. Para las empresas sin experiencia en RL, Together ofrece ingenieros desplegados junto al cliente (forward-deployed).

Ayudan a elegir el modelo y el arnés de agentes, a reunir datos y entornos y, después, a publicar un endpoint optimizado.