Верстак TSFLab повысил долю выполненных агентами задач на 20–163% в прогнозировании рядов

Исследователи из группы D2I представили TSFLab — «верстак» для работы ИИ-агентов с прогнозированием временных рядов (TSF). Это инфраструктура, которая находится вне самого агента: она не меняет ни модель, ни её обвязку (harness) и подключается к любому совместимому кодинг-агенту. В экспериментах по воспроизведению статей и бенчмаркингу верстак повысил долю выполненных задач на 20–163% и снизил расход свежих токенов на каждую выполненную задачу на 11–66% по сравнению с базовыми конфигурациями.

Почему агентам тяжело в TSF

Авторы начинают с проблемы самой области. Публикаций по прогнозированию рядов становится всё больше, а код выкладывают редко: из 1707 статей на arXiv с 2020 года ссылку на код даёт примерно каждая пятая. Исследователям, особенно новичкам, приходится вручную заново реализовывать базовые методы и собирать конвейеры оценки. Независимые реализации при этом могут расходиться в настройках экспериментов, а их трудно поддерживать.

Библиотеки с готовыми методами тоже не успевают за потоком работ. По данным статьи, одна из них выросла с 18 до 41 метода, хотя с 2024 года вышло более 1200 новых статей. В апреле 2026 года её авторы объявили, что больше не поддерживают проект из-за нехватки сопровождающих.

Прямое применение кодинг-агентов упирается в две проблемы. Первая — медленно обновляемые знания: модель знает только то, что было в обучающих данных, а повторный веб-поиск в крупных проектах дорог по токенам. Найденные источники могут быть неполными или ненадёжными, и непроверенные ошибки перетекают в дальнейшую работу. В качестве примера авторы приводят официальный код одной модели, где при оценке по ошибке отбрасывался последний тестовый батч, а это повлияло на настройки многих последующих исследований.

Вторая проблема — несогласованные настройки. Агенты, которые конфигурируют эксперименты независимо, опираются на разные источники. В итоге получаются разные постановки, реализации и несопоставимые результаты, а команды зря повторяют эксперименты.

Из чего состоит верстак

Главное отличие от прежних работ в том, что верстак находится вне агента. Существующие агенты для TSF развивают собственную обвязку и не получают автоматической пользы от появления более новых агентов. Верстак же можно подключить к любому совместимому агенту и пользоваться его растущими возможностями. Агент-воспроизводитель добавляет в верстак проверенные реализации, агент-бенчмаркер использует их, а третий агент берёт готовые бенчмарки для разработки новых методов.

В TSFLab четыре модуля. TSF-Domain Guide знакомит агента с типовыми процедурами, протоколами оценки и известными ловушками: вводные инструкции дополняют 17 навыков под конкретные задачи. Например, при добавлении нового датасета навык просит определить временные поля, прогнозируемые переменные и частоту, а затем проверить, оценивается ли прогноз по одной цели или по всем переменным. Так метрики остаются согласованными между методами.

Knowledge Structurer раскладывает существующие модели на переиспользуемые блоки и собирает методы, блоки и датасеты в единую структуру. Для каждого элемента есть «карточка знаний», которую читают по уровням: сводка, карточка, исходники. Сводки нужны для отбора, карточки описывают возможности, параметры, интерфейсы и ограничения, а в исходниках лежат статьи и эталонный код. Агент берёт столько деталей, сколько требует решение, и не читает весь код и данные. В верстак интегрированы 323 модели и 93 датасета, а общие компоненты вынесены в 71 блок; 263 метода используют хотя бы один из них.

Experiment Workflower запускает эксперименты, заявленные агентом, через единый раннер. Он проверяет конфигурации и сообщает результаты по единым протоколам. Recursive Improver отвечает за самоподдержку: он регулярно проверяет каждый метод по статье и официальному коду и объединяет проверенные методы, блоки, датасеты и выводы в общий верстак. Обновляется он независимо от релизов самих агентов.

Что показали эксперименты

Эксперименты охватывали воспроизведение, бенчмаркинг и пилотное исследование разработки методов. В первых двух задачах верстак поднял долю выполненных задач на 20–163% и сократил расход свежих токенов на выполненную задачу на 11–66% для всех базовых конфигураций. В пилоте разработки методов агенты с верстаком тратили на 32,8–73,6% меньше свежих токенов и на 9,2–68,8% меньше времени, чем в остальных режимах.

Авторы подчёркивают, что верный результат здесь — задача, выполненная ровно так, как требовалось, а стоимость считается на выполненную задачу. Для команд, которые строят исследовательских агентов, вывод практический: общий проверяемый слой знаний и единый запуск экспериментов экономят токены и делают результаты разных агентов сопоставимыми. Код опубликован в репозитории D2I-Group/TSFLab на GitHub.