Seldon Vault turned Asimov's psychohistory into a multi-agent AI forecasting service

Seldon Vault — это бесплатный мультиагентный сервис, который каждый день публикует прогнозы мировых событий и потом проверяет, насколько они оказались точными. Проект вдохновлён психоисторией из «Основания» Айзека Азимова, но собран из вполне реальных компонентов: LLM, потоков новостей, байесовских обновлений и открытых наборов данных.

Как устроен Seldon Vault Сервис работает не как один «оракул», а как маленькое аналитическое бюро.

Сначала он собирает сигналы из открытых источников, после чего отдельный процессор отсеивает шум и решает, что считать срочной новостью, а что — долгим структурным трендом. На этом первом этапе используется недорогая модель, чтобы не тратить ресурсы на всё подряд и не раздувать поток бессмысленных гипотез. Такой фильтр нужен, чтобы свежая новость не получала тот же вес, что и случайный вброс.

мировые СМИ, Reddit, Telegram и Bluesky предсказательные рынки Polymarket и Metaculus макроданные FRED и индекс Fear & Greed базы конфликтов, катастроф и геополитических событий После фильтрации сигналы уходят сразу семи аналитикам: один смотрит на геополитику, другой — на экономику, третий — на технологии, дальше подключаются социология, климат, военная аналитика и кибербезопасность. Один и тот же инфоповод они трактуют по-разному, а затем предлагают свои прогнозы с вероятностями. Финальный арбитр собирает из этого набора топ-5 выводов и публикует двуязычные карточки прогноза с оценкой вероятности в диапазоне от 5% до 95%.

Скептик, каскады и метрики Самая интересная часть архитектуры — отдельный агент-скептик.

Его задача не помогать аналитикам, а ломать их выводы: искать контрпримеры, проверять факты через внешний поиск и находить слабые места в рассуждениях. В статье автор называет это институционализированным сомнением — идеей, что системе полезнее сначала доказать собственную неправоту, чем преждевременно объявить себя правой. Фактически это встроенный механизм самокритики, который режет красивый, но слабый анализ до того, как он попадёт в финальную ленту.

Аналитик обязан искать причины, по которым он неправ, прежде чем докладывать начальству, что он прав.

Ещё одна идея в Seldon Vault — каскадные нарративы. Если система видит несколько связанных прогнозов, она строит причинно-следственную цепочку: например, новые экспортные санкции могут привести к дефициту чипов, задержкам производств и охлаждению смежных рынков. Когда первое событие в такой цепочке сбывается, вероятности остальных пересчитываются автоматически.

Чтобы один триггер не раскачивал всю модель, влияние затухает на каждом шаге и ограничивается несколькими уровнями глубины. Прогнозы, пережившие эту проверку, не замораживаются навсегда. Каждые шесть часов сервис прогоняет новый цикл, пересматривает вероятности по байесовской логике и ограничивает дневной сдвиг, чтобы не реагировать истерично на каждый громкий заголовок.

Параллельно система считает Brier Score — базовую метрику точности вероятностных прогнозов — и копит статистику по каждому агенту. Эта обратная связь возвращается в промпты, чтобы модели со временем лучше калибровали уверенность.

Где система спотыкается Автор проекта прямо пишет, что слабых мест хватает.

Первая проблема — галлюцинации LLM: модель может уверенно сослаться на событие, которого не было, и если внешний поиск не заметит ошибку, она попадёт в итоговый прогноз. Вторая — привычка моделей и людей тянуться к безопасной зоне 45–55%. Формально это выглядит аккуратно, но на практике слишком много «50%» превращают прогнозирование в вежливую форму фразы «не знаю». Есть и более фундаментальные ограничения. Чёрные лебеди по определению плохо поддаются предсказанию на основе исторических паттернов, а новости, Reddit или Telegram показывают не саму реальность, а уже чью-то отфильтрованную версию происходящего. Поэтому даже богатый набор источников не гарантирует объективности. Сам автор честно признаёт: сервис запущен совсем недавно, и только через несколько месяцев накопленный Brier Score покажет, умеет ли эта схема ловить тренды лучше случайности.

Что это значит

Seldon Vault интересен не обещанием «предсказать будущее», а попыткой превратить LLM-прогнозы в проверяемую систему с ролями, конфликтом мнений и метрикой качества. Если такой подход переживёт первые месяцы и сохранит адекватную точность, у аналитических команд появится полезный инструмент для мониторинга рисков и слабых сигналов. Для рынка это важнее, чем ещё один чат-бот с уверенными, но непроверяемыми ответами в корпоративной аналитике и медиа.