Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @RealMarvelX→ оригинал

Схема Карпати: 15 ИИ-агентов тестируют правки обучения LLM по 5 минут и откатывают неудачи

Настройку обучения LLM обычно делают вручную: поменял один параметр, подождал, сравнил. В схеме по мотивам autoresearch Карпати это поручили 15 ИИ-агентам: каждый тестирует одну правку до 5 минут и смотрит, упал ли val_bpb (бит на байт текста, меньше — лучше). Неудачные правки откатываются, а в описанном запуске лимит времени остановил 7 экспериментов. Вывод: одна правка на эксперимент, жёсткий бюджет и откат — шаблон для агентных пайплайнов.

AI-обработка оригинала X: @RealMarvelX; редакция Hamidun News
Схема Карпати: 15 ИИ-агентов тестируют правки обучения LLM по 5 минут и откатывают неудачи
Источник: X: @RealMarvelX. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @RealMarvelX ↗
Главный редактор
Ключевой факт #1Hypothesis предлагает идею, Judge решает, что оставить
Ключевой факт #2Log Keeper пишет все попытки в program.md для следующих гипотез
Агенты-специалистыLR Tuner, Data Mixer, Optimizer, Kernel Fuser

Обучение языковой модели настраивают примерно как рецепт: чуть изменил скорость обучения, поменял нормализацию, подкрутил смесь данных и ждёшь результата. Исследователь делает это руками, по одной правке за раз, и на перебор уходят дни. Автор поста в X описал схему по мотивам проекта autoresearch Андрея Карпати, которая превращает этот процесс в конвейер из 15 ИИ-агентов.

Каждый агент проверяет одну правку не дольше 5 минут и смотрит на метрику val_bpb: это число бит, которое модель тратит на один байт проверочного текста. Чем оно меньше, тем лучше модель предсказывает текст. Если число упало, правка остаётся, если нет, её откатывают.

Важная оговорка: это пересказ одного автора, а не официальная документация. Ссылки на репозиторий и итоговых цифр улучшения в посте нет, поэтому детали стоит сверять с первоисточником.

Как устроен конвейер

У каждого агента узкая роль. Агент Hypothesis предлагает следующий эксперимент. Специалисты Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention и Kernel Fuser отвечают каждый за свой кусок обучения: инициализацию весов, скорость обучения, нормализацию, оптимизатор, состав данных, механизм внимания и ускорение вычислений. Trainer запускает обучение. Batch Sizer и Ablator проверяют настройки и выделяют, какая именно правка что дала. Evaluator считает результат, Judge решает, оставить ли изменение, Reverter откатывает неудачное, а Log Keeper записывает каждую попытку.

Работа идёт в пять этапов:

  • Splitter режет идею на правки по одной на эксперимент. Иначе непонятно, что именно улучшило модель.
  • Параллельно стартуют 15 запусков. По посту, они идут на Opus 5.5, а на каждый Trainer получает бюджет в 5 минут. Подтверждения этой детали в самом посте нет, так что считать её точным составом стека не стоит.
  • Проверка смотрит, снизился ли val_bpb за выделенное время.
  • Judge и Reverter оставляют удачные правки и убирают остальные.
  • Log Keeper записывает все попытки в файл program.md.

Память и дисциплина

Самая практичная часть здесь — файл program.md. Туда попадают все попытки, включая провальные. Следующий агент-гипотеза читает журнал и не предлагает то, что уже не сработало. Это защита от главной беды автоматических экспериментов: система ходит по кругу и повторяет одни и те же неудачи.

В описанном запуске 7 экспериментов остановил лимит времени, а отвергнутые изменения в следующую версию не попали. Сколько всего правок прошло проверку и насколько снизился val_bpb, в посте не сказано. Поэтому оценить, выигрывает ли схема у ручной настройки, нельзя.

Что из этого взять себе

Даже без повторения всей схемы в ней есть три правила, которые работают в любых агентных пайплайнах:

  • Одна правка — один эксперимент. Если менять сразу пять вещей, результат невозможно объяснить.
  • Жёсткий бюджет времени. Пятиминутный лимит не даёт одному зависшему запуску занять ресурсы остальных и делает эксперименты сравнимыми.
  • Автоматический откат и журнал. Судья с правом отмены и общая память неудач дешевле, чем разбор того, что агенты сломали за ночь.

Есть и ограничения. Пять минут обучения показывают, помогает ли правка на раннем этапе, но не гарантируют, что она не навредит на длинной дистанции. Правка, выигрывающая на маленьком бюджете, иногда проигрывает при полном обучении. Параллельные запуски 15 агентов тоже стоят денег на вычисления. Кроме того, много специализированных агентов означает много разных промптов и точек отказа. Возможно, часть ролей можно объединить без потери качества, но по этому посту такой вывод не сделать.

Для основателей и продактов смысл простой. Исследовательская рутина — перебор гиперпараметров, проверка абляций, ведение журнала — хорошо ложится на мультиагентный конвейер, если есть чёткая числовая метрика и быстрая проверка. Где метрика размыта, агент-судья начнёт ошибаться. Где она однозначна, как val_bpb, автоматизация исследований становится вполне инженерной задачей.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен конвейер?

У каждого агента узкая роль. Агент Hypothesis предлагает следующий эксперимент. Специалисты Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention и Kernel Fuser отвечают каждый за свой кусок обучения: инициализацию весов, скорость обучения, нормализацию, оптимизатор, состав данных, механизм внимания и ускорение вычислений. Trainer запускает обучение. Batch Sizer и Ablator проверяют настройки и выделяют, какая именно правка что дала.

Что известно по теме: память и дисциплина?

Самая практичная часть здесь — файл program.md. Туда попадают все попытки, включая провальные. Следующий агент-гипотеза читает журнал и не предлагает то, что уже не сработало. Это защита от главной беды автоматических экспериментов: система ходит по кругу и повторяет одни и те же неудачи. В описанном запуске 7 экспериментов остановил лимит времени, а отвергнутые изменения в следующую версию не попали. Сколько всего правок прошло проверку и насколько снизился val_bpb, в посте не сказано.

Что известно по теме: что из этого взять себе?

Даже без повторения всей схемы в ней есть три правила, которые работают в любых агентных пайплайнах: Одна правка — один эксперимент. Если менять сразу пять вещей, результат невозможно объяснить. Жёсткий бюджет времени. Пятиминутный лимит не даёт одному зависшему запуску занять ресурсы остальных и делает эксперименты сравнимыми. Автоматический откат и журнал. Судья с правом отмены и общая память неудач дешевле, чем разбор того, что агенты сломали за ночь. Есть и ограничения.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…