Агенты Together AI за сутки ускорили открытые LLM до 2,6 раза по токенам в секунду

Together AI, которая обслуживает триллионы токенов в сутки, представила Together Compiler (TKCC) — систему, где ИИ-агенты постоянно подбирают оптимизации для запуска моделей (инференса) под конкретную модель, видеокарты и текущий трафик. Проблема в том, что вручную это уже не потянуть: архитектуры моделей разные, железо разное, а нагрузка меняется каждый день. Представьте, что вы хотите проверить одну правку в ядре внимания.

Обычно ради этого приходится перезапускать движок вроде vLLM, SGLang или TRT-LLM, а полный старт занимает 467 секунд, почти 8 минут. TKCC запускает движок один раз и подменяет код на лету, так что проверка стартует за 9 секунд. Результат: менее чем за 24 часа система выжала до 2,6 раза больше токенов в секунду (TPS, главная метрика скорости инференса) на открытых моделях Kimi K3, GLM 5.

3, MiniMax M3.1-Flash и DeepSeek v4.1-Flash.

А токены на видеокарту — это прямая себестоимость сервиса.

Почему трафик не стоит на месте

Команда приводит наблюдения из продакшна. Рабочие часы одной страны дают промпты длиннее, чем другой: 97 тысяч токенов против 70 тысяч, то есть в 1,4 раза. После выхода новой модели люди сначала общаются с ней в чате и оценивают её, а примерно через две недели длина промптов вырастает на 80%: пользователи переходят на агентные сценарии. Ещё бывают всплески: промпты внезапно удваиваются, а доля попаданий в кеш падает.

Каждый такой сдвиг меняет, какая оптимизация выигрывает. У MoE-моделей важна неравномерная загрузка экспертов, у разреженного внимания — реальные данные на входе. Фиксированные эвристики и классические ML-компиляторы с этим справляются плохо. Среди десяти самых популярных открытых LLM на OpenRouter нет двух с одинаковой архитектурой, а железо варьируется от H100 и B200 до B300, NVL72 и Groq.

Как устроен Together Compiler

На вход система получает форму трафика, модель и железо. Несколько агентов генерируют варианты оптимизаций для движка инференса и обмениваются идеями через общую «доску сообщений».

Первая идея — «постоянные движки». Узкое место прежних агентных систем — скорость экспериментов, и в таблице Together видно почему: загрузка весов, прогрев JIT-ядер и автотюнинг съедают минуты на каждую пробу. Постоянный движок стартует один раз и горячо подменяет кандидата на прямой проход модели. В итоге экспериментов проходит в 252 раза больше, чем у базовых агентных систем.

Вторая идея — баланс между скоростью и точностью измерений. Тест отдельных ядер на случайных данных быстр, но обманчив: у MoE и sparse-attention победитель зависит от реального распределения входов. Поэтому движки двухуровневые. «Быстрые» грузят несколько слоёв и годятся для частых замеров с малым шумом. «Медленные» грузят много слоёв и проверяют, держится ли выигрыш на реальных данных.

Третья часть — собственная модель стоимости для выбора параллелизма (TP, EP, DCP и других схем разбиения модели по GPU). Она сочетает паспортные характеристики железа, микробенчмарки и замеры реальных прямых проходов и быстро отсекает слабые конфигурации. По графикам авторов, выбор по спецификациям проигрывает измеренной раскладке, а лучшая раскладка зависит от числа одновременных запросов.

Что получилось по цифрам

• До 2,6 раза больше токенов в секунду относительно лучших опубликованных конфигураций в бенчмарке SemiAnalysis InferenceX (AgentX).
• Рекорды для низкой задержки при батче 1: 1111 токенов/с на MiniMax M3.1-Flash и 1205 на DeepSeek v4.1-Flash. Конфигурацию параллелизма для них выбирала собственная модель стоимости, а не рекомендация InferenceX.
• На каноническом тесте мегаядер, Llama 1B с батчем 1, TKCC на 1,7 раза быстрее открытых мегаядер и сохраняет преимущество при росте длины последовательности (на H100 и B200).
• Вне LLM: на открытых кодовых базах для прогноза погоды, дифференциальных уравнений, временных рядов и биологии TKCC нашёл больший прирост, чем Claude Code с командой /goal, на трёх из четырёх моделей.

Что это значит для практиков

Для тех, кто держит свой инференс, сигнал такой: оптимизация — это не разовый подбор конфига, а постоянная перекомпиляция под дрейф трафика. Больше токенов на той же карте означает либо меньший парк GPU, либо больший запас по нагрузке.

Оговорки есть. Цифры получены самой Together на её задачах, независимой проверки пока нет. Для Trainium2 использовали синтетический многоходовой датасет, поскольку реализация пока не поддерживает высокую конкурентность при ограниченной памяти HBM. Станет ли TKCC доступным продуктом, неизвестно. Но два принципа можно брать уже сейчас: не перезапускайте движок ради каждого теста и проверяйте оптимизации на реальных данных, а не на случайных.