Recursive_SI Юаньдуна Тяня выпустила Flint-40B-A2B: модель собрана меньше чем за 4 месяца

Стартап Recursive_SI, к созданию которого причастен Юаньдун Тянь, выпустил первую модель: Flint-40B-A2B. Это MoE-модель для агентского программирования, рассчитанная на запуск на локальном железе. С майского анонса компании до готовой модели прошло меньше четырёх месяцев разработки. Главный поворот в процессе: модель строила автоматизированная исследовательская система Eureka Machine, и ИИ участвовал во всём цикле. Судя по названию, на каждый токен активны около 2 млрд параметров из 40 млрд, поэтому скорость ближе к малым моделям. • Eureka Machine — собственная разработка Recursive • 4-битная версия весит порядка 20 ГБ • Целевой сценарий: кодинг-агенты без облака

AI-обработка оригинала Jiqizhixin (机器之心); редакция Hamidun News
Recursive_SI Юаньдуна Тяня выпустила Flint-40B-A2B: модель собрана меньше чем за 4 месяца
Источник: Jiqizhixin (机器之心). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникJiqizhixin (机器之心) ↗
Главный редактор
Ключевой факт #1Eureka Machine — собственная разработка Recursive
Ключевой факт #24-битная версия весит порядка 20 ГБ
Целевой сценарийкодинг-агенты без облака

Recursive_SI, компания, в создании которой участвовал Юаньдун Тянь, показала первую модель. Flint-40B-A2B — это быстрая модель для агентского программирования, рассчитанная на запуск на локальном железе. Она построена по архитектуре «смесь экспертов» (MoE): всего 40 млрд параметров, из которых на каждый токен работают около 2 млрд. От майского анонса стартапа до выхода модели прошло около пяти месяцев, а сама разработка с нуля заняла меньше четырёх. Всё это время в работе участвовал ИИ: модель создавалась с помощью внутренней системы автоматизированных исследований Eureka Machine.

Что скрывается в названии 40B-A2B

Обозначение A2B в MoE-моделях принято читать как число активных параметров. Для Flint это значит следующее. Хранить придётся все 40 млрд весов, но вычислений на токен потребуется примерно как у модели на 2 млрд. Для локального запуска это удобное сочетание. Узкое место домашних и офисных машин — обычно память и её пропускная способность, а не пиковые вычисления. Если модель на каждом шаге читает из памяти лишь малую долю весов, скорость генерации получается заметно выше, чем у плотной модели сопоставимого размера.

Простая арифметика показывает, где проходит граница. В 4-битном квантовании 40 млрд параметров занимают порядка 20 ГБ, в 8-битном — около 40 ГБ. Первый вариант помещается на рабочую станцию с мощной видеокартой или на ноутбук с большим объёмом унифицированной памяти. Второй требует уже серьёзной сборки. Для агента, который десятки раз за сессию читает репозиторий, запускает тесты и правит файлы, скорость отклика важнее лишних пунктов на бенчмарке. Именно на неё и сделана ставка.

Исследователь, который работает без перерыва

Самое интересное в релизе — способ создания. Eureka Machine компания называет собственной автоматизированной исследовательской системой, и по заявлению Recursive она участвовала в разработке модели на всём протяжении. Идея в том, что часть рутины современного ML-цикла уходит к ИИ: подбор экспериментов, запуск и анализ прогонов, проверка гипотез. Человек остаётся постановщиком задач и арбитром.

Для стартапа это вопрос выживания, а не эксперимент ради эксперимента. У небольшой команды нет армии исследователей, как у крупных лабораторий. Если автоматизация сжимает цикл «гипотеза — эксперимент — вывод», то и четыре месяца от чистого листа до рабочей модели выглядят реалистичной целью. Название компании, Recursive_SI, намекает на более амбициозную цель: ИИ, который помогает улучшать ИИ.

Ключевые параметры релиза:

  • модель: Flint-40B-A2B;
  • архитектура: MoE, около 40 млрд параметров всего и около 2 млрд активных на токен;
  • назначение: агентское программирование;
  • среда запуска: локальное оборудование;
  • срок разработки: меньше четырёх месяцев с нуля;
  • инструмент создания: Eureka Machine, собственная система автоматизированных исследований Recursive.

На что смотреть тем, кто выбирает локального кодинг-агента

Локальные кодинговые модели интересны командам, которые не хотят отправлять исходники во внешние API: из-за требований безопасности, стоимости токенов или просто задержек. Flint целится именно в эту нишу, где у каждой модели есть конкретные конкуренты среди открытых MoE-решений.

Практическая проверка проста. Во-первых, измерьте реальную скорость на своём железе, в токенах в секунду при длинном контексте, потому что агентские сценарии быстро раздувают историю диалога. Во-вторых, прогоните модель не на синтетических задачах, а на собственных репозиториях: правка бага, рефакторинг, написание тестов. В-третьих, посмотрите, как она держит цепочки инструментов, когда шагов много и одна ошибка тянет за собой остальные.

Отдельно стоит следить за тем, что Recursive покажет дальше. Если Eureka Machine действительно сократила цикл разработки модели до нескольких месяцев, следующие релизы стартапа выйдут быстро. Тогда главным продуктом окажется не отдельная модель, а сама система, которая их выпускает.

Вопросы и ответы по материалу

Что известно по теме: что скрывается в названии 40B-A2B?

Обозначение A2B в MoE-моделях принято читать как число активных параметров. Для Flint это значит следующее. Хранить придётся все 40 млрд весов, но вычислений на токен потребуется примерно как у модели на 2 млрд. Для локального запуска это удобное сочетание. Узкое место домашних и офисных машин — обычно память и её пропускная способность, а не пиковые вычисления. Если модель на каждом шаге читает из памяти лишь малую долю весов, скорость генерации получается заметно выше, чем у плотной модели сопоставимого размера. Простая арифметика показывает, где проходит граница. В 4-бит

Что известно по теме: исследователь, который работает без перерыва?

Самое интересное в релизе — способ создания. Eureka Machine компания называет собственной автоматизированной исследовательской системой, и по заявлению Recursive она участвовала в разработке модели на всём протяжении. Идея в том, что часть рутины современного ML-цикла уходит к ИИ: подбор экспериментов, запуск и анализ прогонов, проверка гипотез. Человек остаётся постановщиком задач и арбитром. Для стартапа это вопрос выживания, а не эксперимент ради эксперимента. У небольшой команды нет армии исследователей, как у крупных лабораторий. Если автоматизация сжимает цикл «гипоте

Что известно по теме: на что смотреть тем, кто выбирает локального кодинг-агента?

Локальные кодинговые модели интересны командам, которые не хотят отправлять исходники во внешние API: из-за требований безопасности, стоимости токенов или просто задержек. Flint целится именно в эту нишу, где у каждой модели есть конкретные конкуренты среди открытых MoE-решений. Практическая проверка проста. Во-первых, измерьте реальную скорость на своём железе, в токенах в секунду при длинном контексте, потому что агентские сценарии быстро раздувают историю диалога. Во-вторых, прогоните модель не на синтетических задачах, а на собственных репозиториях: правка бага, рефакто

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Автономные AI-агенты

Делегируйте ресёрч, код и рутину автономному AI-агенту

Интеллектуальная агентная среда NomadNet Agent (agent.nomadnet.ai) выполняет многошаговые задачи: глубокий веб-ресёрч, анализ данных, написание кода и автоматизацию браузера.

Запустить NomadNet Agent →Платформа NomadNet AI
Что вы думаете?
Загружаем комментарии…