Together AI расширила платформу: обучение моделей на 100B+ параметрах

Платформа fine-tuning Together AI получила значительное обновление. Теперь разработчики могут обучать самые крупные открытые модели — с сотнями миллиардов параметров.

Гигантские модели в обучении В 2025 году вышло множество моделей с 100+ миллиардами параметров.

DeepSeek-R1, Qwen3-235B и Llama 4 Maverick показывают результаты, близкие к лучшим проприетарным моделям на некоторых задачах. Fine-tuning позволяет настроить эти гиганты на конкретные задачи компании — но раньше это было сложно, затратно и требовало глубокого опыта в ML инженерии. Together AI оптимизировала архитектуру своей платформы так, чтобы обучение больших моделей стало простым и доступным по цене.

Компания добавила поддержку последних версий крупнейших моделей: DeepSeek: V3, R1 и их базовые версии Qwen: Qwen3-235B и Qwen3-Coder-480B с контекстом до 32K токенов Meta Llama: Llama 4 Scout и Llama 4 Maverick OpenAI: gpt-oss-120b в качестве пилота Стандартная поддержка: контекст 16K токенов для SFT (Supervised Fine-Tuning) и 8K для DPO (Direct Preference Optimization). Некоторые модели получают большие контексты. После завершения обучения разработчик может развернуть Dedicated Endpoint для инференса или скачать промежуточные чекпоинты для анализа.

Расширенные контексты для обучения

Долгие документы, большие кодовые базы, цепочки рассуждений AI-агентов — всё это требует модели, которая понимает расширенные контексты. Проблема: если обучающие примеры короче, чем реальные задачи, модель может растеряться в продакшене. Together AI добавила поддержку больших контекстов прямо в процесс обучения. Это устраняет несовпадение между тренировкой и применением. Например, Qwen3-235B теперь может обучаться с контекстом до 32K токенов для SFT задач. Это особенно полезно для обучения моделей на редактирование больших файлов, написание документации и анализ длинных переписок.

Интеграция и новые методы обучения

Платформа улучшила интеграцию с Hugging Face Hub — крупнейшим хранилищем открытых моделей и датасетов. Теперь разработчики могут одним кликом загружать модели из Hub, запускать обучение и выгружать результат обратно. Это сокращает время от идеи до готовой обученной модели. Добавлены также новые DPO опции — методы обучения, которые делают моделей более отзывчивыми к человеческим предпочтениям. DPO требует меньше данных, чем старые подходы, и часто дает лучший результат на реальных задачах.

Что это значит

Обучение крупных моделей переходит от эксклюзивной, дорогой задачи в массовый инструмент. Стартапы, исследовательские лабы и компании среднего размера теперь могут адаптировать DeepSeek, Qwen или Llama под свои задачи, не требуя бюджета в миллионы долларов. Это ускоряет внедрение AI и снижает зависимость от закрытых моделей. *Meta признана экстремистской организацией и запрещена в РФ.