Together AI запустила Post-Training: RL и SFT на B200 по $9 за GPU-час

Together AI открыла сервис Together Post-Training. Он позволяет обучать собственные модели и через RL с наградами из среды, и через SFT на размеченных данных, без самостоятельной сборки инфраструктуры. На запуске доступны четыре открытые модели: Muse Spark Open, GLM 5.3, Kimi K3 и Qwen 3.8-27B. Первые восемь недель час работы B200 стоит $9. Бета-версия работала с апреля, и теперь сервис доступен всем.

Как устроен сервис

В отличие от обычного сервиса fine-tuning у Together, здесь весь цикл обучения определяет пользователь. Можно подключать любые данные, окружения и агентные обвязки, добавлять собственные шаги вроде логирования или внешних бенчмарков. Вычисления идут на Model Resources, то есть выделенных GPU, которые не конкурируют с чужими запросами. Внутри одного ресурса помещается одна или несколько Training Sessions, и каждая соответствует отдельному эксперименту на одной базовой модели. Внутри сессии работают Trainer для прямого и обратного проходов и Generator для роллаутов политики.

Основные параметры сервиса:

• режимы: LoRA, в том числе несколько адаптеров на одной GPU-мощности, и полное дообучение весов для части моделей;
• встроенные функции потерь: cross-entropy, GRPO, CISPO, DPPO, плюс возможность считать свой loss локально и отправлять градиенты в Trainer;
• асинхронный RL для загрузки GPU при длинных агентных роллаутах;
• для SFT ресурс можно запускать с нулём генераторов, чтобы не платить за лишнее;
• биллинг по GPU-минутам;
• миграция со скриптов на Tinker заменой одной строки импорта: import together.post_training.tinker as tinker.

Где спрятаны скорость и деньги

Главный технический риск RL, по словам авторов, в рассогласовании движков обучения и инференса. Если одни и те же веса из-за различий в численных расчётах дают чуть разные выходы, прогон может просесть или развалиться. Together заявляет, что устраняет источники дрейфа политики стандартными методами вроде Rollout Routing Replay и собственными разработками по стабильности обучения.

Большая часть времени в RL уходит на генерацию роллаутов, и здесь Together опирается на свой инференс-стек. Для многошаговых агентов работают кеширование и маршрутизация, которые снижают повторные вычисления и держат память в рамках. На стороне обучения ускорение дают оптимизированный параллелизм и упаковка последовательностей. Компания утверждает, что при масштабировании экспериментов стоимость обучения опускается ниже токенового прайсинга. Независимых замеров в материале нет, это заявление самого вендора.

Отдельно решена проблема после обучения. В Dedicated Model Inference появился multi-LoRA serving: адаптеры можно менять на одном GPU-деплое вместо отдельного развёртывания под каждый прогон. Together также обещает, что качество чекпоинта сохраняется при переходе от multi-LoRA-сэмплинга к объединённой модели в FP4.

Что говорят первые клиенты

Deel сообщает, что реальные RL-эксперименты запустились за пару часов, а на одной GPU-мощности шло до пяти параллельных прогонов. Jack & Jill дообучили модель, предсказывающую, каких кандидатов захочет увидеть менеджер по найму. По офлайн-оценкам она сравнялась с закрытой моделью, но открытую дешевле обслуживать. Collinear AI работает с сервисом с апрельской беты и запускает полномасштабные агентные RL-прогоны. Все цитаты приведены самой Together.

Практический вывод для команд

Если у вас уже есть агент на закрытой модели и понятная метрика качества, сервис позволяет проверить, можно ли заменить её специализированной открытой. Дешёвый вход обеспечивает период скидки: $9 за GPU-час B200 в течение восьми недель. Для проверки идеи есть cookbook на GitHub с примерами GRPO на GSM8K, DPO как custom loss и несколькими LoRA на одном ресурсе. Тем, кто сидит на Tinker, перенос займёт минуты. Прежде чем переходить, сравните свои офлайн-метрики на нескольких базовых моделях и посчитайте итоговую стоимость обслуживания в FP4. Для компаний без RL-экспертизы Together предлагает forward-deployed инженеров. Они помогают выбрать модель и агентную обвязку, собрать данные и окружения, а затем выпустить оптимизированный эндпоинт.