Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @Chinazhidx→ оригинал

Открытая DaisyRose-27B решает 12% задач Terminal-Bench вместо 5,6%

RadixArk выложила открытую модель DaisyRose-27B, которую 18 дней дообучали на 144 видеокартах H200 работать в терминале как разработчик. На тесте Terminal-Bench 4.1 доля задач, решённых с первой попытки, выросла с 5,6% до 12,0% (у GPT-6 Luna — 15,2%). Каждое из 1 200 обучающих заданий целилось в конкретную ошибку базовой Qwen3.8-27B. Вывод: частые провалы своего агента можно превратить в учебный набор, а Apache 2.0 разрешает брать модель в продукт.

AI-обработка оригинала X: @Chinazhidx; редакция Hamidun News
Открытая DaisyRose-27B решает 12% задач Terminal-Bench вместо 5,6%
Источник: X: @Chinazhidx. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @Chinazhidx ↗
Главный редактор
Ключевой факт #1Обучающий стек загружает GPU на 37% против 16% у аналога на Megatron
Ключевой факт #216 800 токенов/с против 8 300; GPU-времени на ту же работу уходит на 57% меньше
Ключевой факт #3Запускается на одной RTX 5090 или NVIDIA DGX Spark

Представьте агента, которому поручили в терминале починить упавшую сборку: найти ошибку в логах, поправить конфиг, перезапустить тесты и не сломать соседний сервис. Большинство открытых моделей на таких задачах пока буксуют. Стартап RadixArk выпустил свою первую модель с открытыми весами, DaisyRose-27B, и вдвое поднял её результат на Terminal-Bench 4.1: доля задач, которые агент решает с первой попытки (метрика pass@1), выросла с 5,6% до 12,0%. Для сравнения, у GPT-6 Luna этот показатель равен 15,2%. Главная идея в том, что модель учили не на общей смеси данных, а на заданиях, каждое из которых целилось в конкретную ошибку базовой модели. Для разработчика это практический сигнал: слабые места агента можно превращать в обучающий материал.

Эксперимент, который превратился в продукт

По словам сооснователя и технического директора Banghua Zhu, проект начинался не как релиз модели, а как проверка инфраструктуры на прочность. Команда хотела выяснить, выдержит ли её система обучение агентов на контексте в миллион токенов, можно ли поднять загрузку GPU и можно ли удешевить песочницы, в которых агенты запускают код. Результаты оказались лучше ожиданий, и из стресс-теста выросла модель.

Основой стала Qwen3.8-27B. Её дообучали с подкреплением (reinforcement learning) через фреймворк Miles: модель пробует решить задачу, получает оценку и подстраивается. Вместе с Eigent AI команда собрала 1 200 тщательно отобранных заданий. Это похоже на подготовку не по общему учебнику, а по списку собственных промахов: репетитор подбирает упражнения именно под них.

Задачи были длинными. Одна попытка могла идти до 1,5 часа, включать больше 100 вызовов инструментов и выдавать больше 256 тысяч токенов. Всё обучение заняло 18 дней на 144 GPU NVIDIA H200.

Что показали цифры

Самое наглядное достижение связано с инфраструктурой. По данным RadixArk, собственный тренировочный бэкенд достиг 37% MFU, то есть использовал железо на 37% от теоретического максимума. У сопоставимого open-source тренера на базе Megatron было 16%. Скорость составила 16 800 токенов в секунду против 8 300 на тех же 144 GPU. В итоге для той же нагрузки нужно на 57% меньше GPU-времени. Тем, кто платит за аренду H200 по часам, это прямая экономия.

Что до качества, DaisyRose-27B обошла базовую Qwen3.8-27B на всех семи опубликованных бенчмарках. Самый заметный рост на Terminal-Bench 4.1: больше чем вдвое, с 5,6% до 12,0%. Остальные приросты скромнее:

  • DeepSWE v1.1: с 42,2 до 46,2;
  • SWE-Bench Pro v2: с 91,3 до 94,7;
  • GPQA Diamond: с 89,2 до 90,7.

Показательно, что прирост есть и на GPQA Diamond, тесте на научные вопросы, хотя обучение шло на агентских задачах.

Зачем это разработчикам и основателям

Первый вывод: качество агента можно поднимать небольшим набором задач, если каждая нацелена на реальную слабость модели. Тысяча двести заданий — это не интернет-масштаб, а объём, который по силам собрать небольшой команде с партнёром. Если у вас есть логи, где ваш агент стабильно ошибается, из них можно сделать собственные тренировочные задачи.

Второй вывод: узкое место длинных агентских прогонов часто в тренировочном стеке, а не в самой модели. Когда та же работа требует на 57% меньше GPU-времени, итерации дешевеют, и можно проверить больше гипотез.

Третий: лицензия Apache 2.0 разрешает коммерческое использование, а 27 миллиардов параметров делают модель посильной по железу. По заявлению авторов, она запускается на одной RTX 5090 или на NVIDIA DGX Spark, так что агента можно тестировать локально, без аренды кластера.

Оговорки

Все цифры пока опубликованы самой RadixArk, независимых прогонов нет. Сравнение с Megatron-тренером сделано на собственной нагрузке компании, и на других задачах разрыв может отличаться. Результат 12,0% на Terminal-Bench всё ещё означает, что подавляющее большинство задач с первой попытки не решается, поэтому для продакшна без человеческого контроля такой агент пока не готов. Неизвестно и то, как модель поведёт себя на задачах, не похожих на отобранные 1 200. Но как пример того, что точечное дообучение и эффективная инфраструктура дают заметный выигрыш при скромном бюджете, DaisyRose-27B заслуживает внимания.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: эксперимент, который превратился в продукт?

По словам сооснователя и технического директора Banghua Zhu, проект начинался не как релиз модели, а как проверка инфраструктуры на прочность. Команда хотела выяснить, выдержит ли её система обучение агентов на контексте в миллион токенов, можно ли поднять загрузку GPU и можно ли удешевить песочницы, в которых агенты запускают код. Результаты оказались лучше ожиданий, и из стресс-теста выросла модель. Основой стала Qwen3.8-27B.

Что известно по теме: что показали цифры?

Самое наглядное достижение связано с инфраструктурой. По данным RadixArk, собственный тренировочный бэкенд достиг 37% MFU, то есть использовал железо на 37% от теоретического максимума. У сопоставимого open-source тренера на базе Megatron было 16%. Скорость составила 16 800 токенов в секунду против 8 300 на тех же 144 GPU. В итоге для той же нагрузки нужно на 57% меньше GPU-времени. Тем, кто платит за аренду H200 по часам, это прямая экономия.

Что известно по теме: зачем это разработчикам и основателям?

Первый вывод: качество агента можно поднимать небольшим набором задач, если каждая нацелена на реальную слабость модели. Тысяча двести заданий — это не интернет-масштаб, а объём, который по силам собрать небольшой команде с партнёром. Если у вас есть логи, где ваш агент стабильно ошибается, из них можно сделать собственные тренировочные задачи. Второй вывод: узкое место длинных агентских прогонов часто в тренировочном стеке, а не в самой модели.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…