Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РазборAPI / Продукт · В работуTG: @data_secrets (Data Secrets)→ оригинал

Почти 1000 ИИ-агентов за 3 месяца выпустили 936 статей на своём препринт-сервере

AlphaXiv дал почти 1000 ИИ-агентам из 35 лабораторий собственный препринт-сервер (площадку для статей до рецензии) и на три месяца оставил их без присмотра. Агенты сами придумывали гипотезы, ставили эксперименты и выпустили 936 статей с кодом и данными, а люди выдавали лишь вычисления и бюджеты. Для создателей долгоживущих агентов это редкий тест автономности, хотя качество работ ещё надо проверять.

AI-обработка оригинала TG: @data_secrets (Data Secrets); редакция Hamidun News
Почти 1000 ИИ-агентов за 3 месяца выпустили 936 статей на своём препринт-сервере
Источник: TG: @data_secrets (Data Secrets). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @data_secrets (Data Secrets) ↗
Главный редактор
Ключевой факт #1Агенты обменялись 9500 сообщениями в 229 чатах, которые создали сами
Ключевой факт #2Нашли несколько ошибок в ранее опубликованных работах людей
Ключевой факт #3Основали Journal of Agent Research с рецензентами и редакторами

Обычно агентов проверяют на коротких задачах: починить баг, собрать отчёт, пройти по сайту. AlphaXiv поставил другой опыт. Команда сделала препринт-сервер, то есть площадку вроде arXiv, где статьи выкладывают до официальной рецензии, и пустила туда только ИИ-агентов. Почти 1000 агентов из 35 лабораторий, среди которых Stanford, MIT и ETH Zurich, с августа по ноябрь сами выбирали темы, ставили эксперименты и писали работы. Итог за три месяца: 936 статей, к каждой приложены код и данные. Для всех, кто строит агентов, способных работать неделями без человека, это редкий пример такой системы в деле.

Как был устроен эксперимент

Люди участвовали минимально: выдавали вычислительные мощности, назначали бюджеты и задавали общие темы. Конкретные гипотезы, методы и выводы агенты определяли самостоятельно.

Представьте кафедру, где все сотрудники — ИИ, а заведующий только подписывает смету и называет направления. Допустим, один агент предполагает, что размер фрагментов текста влияет на качество поиска в RAG-системе. Он запускает опыты, выкладывает статью с кодом и данными, а другой агент может скачать этот код, повторить расчёт и написать критику. Приложенные код и данные делают проверку возможной для любого читателя, будь то человек или агент.

Среди работ нашлись интересные. Одна из них посвящена тому, как передавать факты от одной модели к другой через посторонний обучающий текст. Подробности в первоисточнике изложены кратко, поэтому о силе этого результата судить рано.

Как агенты организовали научную жизнь

Самая необычная часть проекта — общение. За три месяца агенты обменялись примерно 9500 сообщениями в 229 чатах, и чаты они создали сами. Там обсуждали нормы публикации, объявляли планы исследований и критиковали работы друг друга. Получилась среда с правилами и обратной связью, а лента статей оказалась лишь одной из её частей.

Затем агенты основали собственный журнал Journal of Agent Research. В нём были рецензенты и редакторы, и привычный для людей цикл «подача, оценка, решение» воспроизвёлся целиком.

Авторы называют ещё два факта. Во-первых, агенты нашли несколько ошибок в ранее опубликованных работах людей. Во-вторых, часть результатов они получили независимо и раньше, чем похожие статьи людей вышли на arXiv. Это не доказывает, что агенты обогнали науку. Скорее такие совпадения говорят о том, что многие идеи лежат на поверхности, и автоматические исследователи находят их быстро.

Что из этого следует практикам

Первый вывод касается архитектуры. Для долгой работы агентам пригодилось общее пространство: хранилище результатов с кодом и данными и каналы для переписки. Если вы строите мультиагентную систему, проверьте, как в ней устроены публикация промежуточных результатов и взаимная проверка. В этом эксперименте рецензенты и редакторы выполняли роль контроля качества.

Второй вывод касается управления. Люди направляли агентов через ресурсы и общие темы и обходились без пошаговых инструкций. Для продуктовых команд это рабочая модель: вместо жёсткого сценария вы задаёте рамки по деньгам и направлению.

Есть и ограничения. В описании нет оценки того, сколько из 936 статей действительно значимы, как часто результаты удавалось воспроизвести и какая доля работ оказалась шумом. О количестве найденных ошибок людей сказано только «несколько». Участвовали агенты из лабораторий-партнёров, и неизвестно, как система поведёт себя на другой выборке. Поэтому пока это демонстрация возможного, а не доказательство того, что агенты заменят исследовательские группы.

Для индустрии главное в другом. Автономная работа длиной в месяцы уже реальна, и вместе с ней появляются задачи, которых у коротких агентов не было: как проверять большой поток результатов, как не дать системе размножать ошибки и кто отвечает за выводы. Прежде чем переносить эти идеи в свои продукты, стоит прочитать первоисточник на alphaxiv.org.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как был устроен эксперимент?

Люди участвовали минимально: выдавали вычислительные мощности, назначали бюджеты и задавали общие темы. Конкретные гипотезы, методы и выводы агенты определяли самостоятельно. Представьте кафедру, где все сотрудники — ИИ, а заведующий только подписывает смету и называет направления. Допустим, один агент предполагает, что размер фрагментов текста влияет на качество поиска в RAG-системе.

Что известно по теме: как агенты организовали научную жизнь?

Самая необычная часть проекта — общение. За три месяца агенты обменялись примерно 9500 сообщениями в 229 чатах, и чаты они создали сами. Там обсуждали нормы публикации, объявляли планы исследований и критиковали работы друг друга. Получилась среда с правилами и обратной связью, а лента статей оказалась лишь одной из её частей. Затем агенты основали собственный журнал Journal of Agent Research. В нём были рецензенты и редакторы, и привычный для людей цикл «подача, оценка, решение» воспроизвёлся целиком.

Что известно по теме: что из этого следует практикам?

Первый вывод касается архитектуры. Для долгой работы агентам пригодилось общее пространство: хранилище результатов с кодом и данными и каналы для переписки. Если вы строите мультиагентную систему, проверьте, как в ней устроены публикация промежуточных результатов и взаимная проверка. В этом эксперименте рецензенты и редакторы выполняли роль контроля качества. Второй вывод касается управления. Люди направляли агентов через ресурсы и общие темы и обходились без пошаговых инструкций.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…