Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуWired→ оригинал

Больше 100 ИИ-агентов собирали фэнтези-команду Премьер-лиги и не обошли средний балл

Журналист Wired поручил ИИ-агентам собрать команду в фэнтези-футболе, где очки идут за матчи реальных игроков Премьер-лиги. Одни агенты читали новости, другие разбирали результаты, третьи запускали модели, четвёртые критиковали выбор, и советы стали лучше. Рост до 100+ агентов добавил лишь счёт за API, а средний балл участников команда не обошла. Для прогнозов важнее роли агентов, чем их число.

AI-обработка оригинала Wired; редакция Hamidun News
Больше 100 ИИ-агентов собирали фэнтези-команду Премьер-лиги и не обошли средний балл
Источник: Wired. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникWired ↗
Главный редактор
Ключевой факт #1В Prophet Arena лучшим прогнозистом стал GPT-5, за ним Grok 4
Ключевой факт #2В Prediction Arena модели с $10 000 за 57 дней стабильно теряли деньги
Ключевой факт #3Суперпрогнозисты пока сильнее ИИ, но в Metaculus Cup модели иногда выигрывали

Фэнтези-футбол — игра, в которой болельщик собирает виртуальную команду из реальных игроков Премьер-лиги и получает очки за то, как эти люди сыграли в настоящих матчах. Нужно угадать, кто выйдет в старте, кто травмирован и у кого выгодный календарь, то есть по сути сделать прогноз на основе свежих новостей. Обозреватель Wired Уилл Найт поручил эту задачу рою ИИ-агентов: он дал Codex собрать систему, где несколько программ-помощников читают новости, считают и спорят друг с другом, а потом выбирают состав. Больше 100 агентов не дали выигрыша, а средний балл других игроков команда так и не превзошла. Для тех, кто строит агентные системы, это наглядный урок о том, что реально улучшает прогноз, а за что вы просто платите по счёту за API.

Как устроен эксперимент

Несколько лет назад Найт пробовал инструмент Института Алана Тьюринга, который выбирал составы по историческим данным лиги. Советы получались странными: система не знала про травмы игроков и смену тренера. В этот раз, по пути к родственникам, он попросил Codex собрать «обвязку» (harness) — набор инструкций и кода, который проводит агентов через этапы: проверить свежие новости, запустить модель и выдать прогноз. Перед этим Codex получил пару научных статей по теме.

Первый вариант собирал и анализировал заметно больше информации, чем смог бы человек, но выдавал нелепые решения. Например, Эрлинга Холанда он оставлял на скамейке. Тогда Найт разделил работу на роли: одни агенты читают новости и блоги, другие разбирают недавние результаты, третьи запускают статистические модели, четвёртые критикуют предложения остальных. Советы стали лучше.

Дальше он решил, что больше значит умнее, и довёл число агентов до сотни с лишним. Заметного эффекта это не дало, зато вырос счёт за API. Для инженера это знакомый урок: если добавлять однотипных исполнителей без новых источников информации, качество упирается в архитектуру, а расходы на токены продолжают расти.

Что говорят исследователи прогнозов

Профессор Чикагского университета Хайфэн Сюй изучает применение ИИ на рынках. По его словам, новые модели прогнозируют лучше, потому что могут обработать огромный объём информации о реальном мире и выстроить более сложные системы из нескольких частей. Его группа проверяла модели на рынках предсказаний вроде Kalshi и Polymarket: кто выиграет чемпионат НБА, с кем встретится Дональд Трамп. Иногда модели без специальных подсказок обгоняли среднего человека.

Из этой работы вырос бенчмарк Prophet Arena. В первых тестах лучше всех справился GPT-5, следом шли Grok 4, Claude Sonnet, Gemini и Llama. Сюй считает, что лучше всего работает собственная обвязка, где у каждого агента своя задача: читать новости, собирать данные, анализировать картину целиком. Это совпадает с опытом Найта.

Другой бенчмарк, Prediction Arena, придумали исследователи Гарварда и компании Arcada Labs. Моделям выдали по $10 000 для ставок на рынках предсказаний на 57 дней. Они стабильно теряли деньги, хотя со временем результаты улучшались.

Где ИИ всё ещё проигрывает

Лучшие люди-эксперты, так называемые суперпрогнозисты, пока часто впереди. По версии Сюя, они читают меньше, зато глубже понимают, какая динамика стоит за новостью. При этом их преимущество, похоже, сокращается: на турнире Metaculus Cup ИИ иногда обыгрывал даже сильнейших людей. Скоро должны подвести итоги ForecastBench — они могут дать ещё одно сравнение. Найт предполагает, что крупные лаборатории начнут использовать предсказание будущего как новый способ измерять прогресс моделей.

Ограничения тоже есть. Это колонка, а не контролируемое исследование: команда Найта играла несколько недель, выборка маленькая, и средний балл она так и не превысила. Сам автор не собирается использовать советы системы в своих реальных выборах. Сравнение моделей в Prophet Arena относится к раннему этапу, когда лидером был GPT-5, и рейтинг мог измениться.

Практический вывод

Для разработчиков и продактов урок такой. Во-первых, прогнозам на новостях нужны внешние данные и роли: сборщик фактов, аналитик, критик. Одна модель с длинным промптом справляется хуже. Во-вторых, масштабирование числа агентов нужно проверять метриками, а не верой: 100+ агентов не оправдали затрат. В-третьих, критик, который проверяет предложения других, — недорогая часть конструкции, которую стоит попробовать в первую очередь.

Наконец, Найт намекает на смену ролей в трейдинге: лучшие специалисты могут стать руководителями ИИ-агентов, а не соревноваться с ними напрямую. Пока это гипотеза, но направление понятное. А фэнтези-лиге автор желает ещё немного человеческого азарта: выигрывать без помощи ботов всё-таки приятнее.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен эксперимент?

Несколько лет назад Найт пробовал инструмент Института Алана Тьюринга, который выбирал составы по историческим данным лиги. Советы получались странными: система не знала про травмы игроков и смену тренера. В этот раз, по пути к родственникам, он попросил Codex собрать «обвязку» (harness) — набор инструкций и кода, который проводит агентов через этапы: проверить свежие новости, запустить модель и выдать прогноз. Перед этим Codex получил пару научных статей по теме.

Что известно по теме: что говорят исследователи прогнозов?

Профессор Чикагского университета Хайфэн Сюй изучает применение ИИ на рынках. По его словам, новые модели прогнозируют лучше, потому что могут обработать огромный объём информации о реальном мире и выстроить более сложные системы из нескольких частей. Его группа проверяла модели на рынках предсказаний вроде Kalshi и Polymarket: кто выиграет чемпионат НБА, с кем встретится Дональд Трамп. Иногда модели без специальных подсказок обгоняли среднего человека. Из этой работы вырос бенчмарк Prophet Arena.

Что известно по теме: где ИИ всё ещё проигрывает?

Лучшие люди-эксперты, так называемые суперпрогнозисты, пока часто впереди. По версии Сюя, они читают меньше, зато глубже понимают, какая динамика стоит за новостью. При этом их преимущество, похоже, сокращается: на турнире Metaculus Cup ИИ иногда обыгрывал даже сильнейших людей. Скоро должны подвести итоги ForecastBench — они могут дать ещё одно сравнение. Найт предполагает, что крупные лаборатории начнут использовать предсказание будущего как новый способ измерять прогресс моделей. Ограничения тоже есть.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…