Together AI lança o Post-Training: RL e SFT em B200 por US$ 9 a hora de GPU

A Together AI abriu o serviço Together Post-Training. Ele permite treinar modelos próprios tanto com RL, usando recompensas do ambiente, quanto com SFT, usando dados rotulados, sem precisar montar a infraestrutura por conta própria. No lançamento, há quatro modelos abertos disponíveis: Muse Spark Open, GLM 5.3, Kimi K3 e Qwen 3.8-27B. Nas primeiras oito semanas, uma hora de B200 custa US$ 9. A versão beta funciona desde abril e agora o serviço está aberto a todos.

Como o serviço funciona

Ao contrário do serviço comum de fine-tuning da Together, aqui o usuário define todo o ciclo de treinamento. É possível conectar quaisquer dados, ambientes e harnesses de agentes, além de adicionar etapas próprias, como logging ou benchmarks externos. O processamento roda em Model Resources, ou seja, GPUs dedicadas que não competem com as requisições de outros clientes. Um mesmo recurso comporta uma ou mais Training Sessions, e cada uma corresponde a um experimento separado sobre um único modelo base. Dentro da sessão, o Trainer cuida das passagens direta e reversa, e o Generator faz os rollouts da política.

Principais parâmetros do serviço:

• modos: LoRA, inclusive com vários adaptadores na mesma capacidade de GPU, e fine-tuning completo dos pesos para parte dos modelos;
• funções de perda embutidas: cross-entropy, GRPO, CISPO e DPPO, além da opção de calcular o próprio loss localmente e enviar os gradientes ao Trainer;
• RL assíncrono para manter as GPUs ocupadas em rollouts longos de agentes;
• no SFT, o recurso pode ser iniciado com zero geradores, para não pagar por capacidade desnecessária;
• cobrança por GPU-minuto;
• migração de scripts do Tinker trocando uma linha de importação: import together.post_training.tinker as tinker.

Onde estão a velocidade e a economia

Segundo os autores, o principal risco técnico do RL é o descompasso entre os motores de treinamento e de inferência. Se os mesmos pesos produzem saídas ligeiramente diferentes por causa de diferenças nos cálculos numéricos, a execução pode perder desempenho ou até desandar. A Together afirma eliminar as fontes de drift da política com métodos padrão, como Rollout Routing Replay, e com desenvolvimentos próprios de estabilidade de treinamento.

A maior parte do tempo no RL vai para a geração de rollouts, e aqui a Together se apoia no seu stack de inferência. Para agentes de vários passos, entram em ação cache e roteamento, que reduzem cálculos repetidos e mantêm o uso de memória sob controle. No lado do treinamento, o ganho de velocidade vem de paralelismo otimizado e do empacotamento de sequências. A empresa afirma que, ao escalar os experimentos, o custo de treinamento fica abaixo do preço por token. O material não traz medições independentes: trata-se de uma declaração do próprio fornecedor.

O problema do pós-treinamento também foi tratado à parte. O Dedicated Model Inference ganhou multi-LoRA serving: os adaptadores podem ser trocados em um único deploy de GPU, em vez de exigir um deploy separado para cada execução. A Together também promete que a qualidade do checkpoint se mantém na passagem do sampling multi-LoRA para o modelo mesclado em FP4.

O que dizem os primeiros clientes

A Deel relata que experimentos reais de RL começaram a rodar em poucas horas e que a mesma capacidade de GPU chegou a executar até cinco rodadas em paralelo. A Jack & Jill fez o fine-tuning de um modelo que prevê quais candidatos um gestor de contratação vai querer ver. Em avaliações offline, ele se igualou a um modelo fechado, mas o modelo aberto sai mais barato de operar. A Collinear AI usa o serviço desde o beta de abril e executa rodadas de RL agêntico em escala total. Todas as citações foram fornecidas pela própria Together.

Conclusão prática para as equipes

Se você já tem um agente rodando em um modelo fechado e uma métrica de qualidade clara, o serviço permite testar se dá para substituí-lo por um modelo aberto especializado. A porta de entrada barata vem do período promocional: US$ 9 por GPU-hora de B200 durante oito semanas. Para validar a ideia, há um cookbook no GitHub com exemplos de GRPO no GSM8K, DPO como custom loss e vários LoRAs em um mesmo recurso.

Para quem já usa o Tinker, a migração leva minutos. Antes de migrar, compare suas métricas offline em alguns modelos base e calcule o custo final de servir o modelo em FP4. Para empresas sem experiência em RL, a Together oferece engenheiros forward-deployed.

Eles ajudam a escolher o modelo e o harness do agente, montar dados e ambientes e, depois, publicar um endpoint otimizado.