Учёные предложили метод TSF: LLM помогает точнее прогнозировать промышленные процессы

Исследователи опубликовали на arXiv фреймворк Task-Semantic Field Factorization (TSF) — метод, при котором большая языковая модель (LLM) заранее размечает промышленные данные семантическим контекстом, а сама модель прогнозирования временных рядов продолжает работать в обычном режиме.

Какую проблему решает TSF

В процессной промышленности прогнозирование временных рядов и «мягкие датчики» (soft sensing) нужны, чтобы оценивать показатели качества, которые сложно измерить онлайн напрямую. Проблема в том, что размеченных данных мало, режимы работы часто меняются, а переобучение модели или перестройка пайплайна под каждый новый сценарий стоит дорого. При этом на предприятиях обычно уже есть таблицы переменных и технологические регламенты — с названиями, единицами измерения и физическим смыслом каждого параметра, — но стандартные модели временных рядов обычно воспринимают входные данные как безымянные числовые столбцы, не используя эту текстовую документацию.

Насколько выросла точность

TSF строит «семантическое поле» из регламентов процесса и описаний переменных ещё до обучения, используя LLM только офлайн — на этапе подготовки. Во время обучения и инференса текущее числовое окно активирует соответствующую переменным семантику, поэтому смысловая информация участвует в каждом прогнозе.

• Средняя ошибка прогноза (MAE) снижается на 6,4% в улучшенных сценариях
• В лучших случаях снижение MAE достигает 25,5%
• Метод добавляет всего около 1,8–3,0 тысяч параметров
• Дополнительная задержка инференса — менее 0,008 мс на шаг

Что это значит

Авторы показывают, что документацию промышленных процессов, которая обычно просто лежит в архивах предприятия, можно превратить в измеримый прирост точности прогноза — причём почти без увеличения вычислительной стоимости. Это делает подход пригодным для лёгкого встраивания в уже работающие промышленные модели, а не только для новых пилотных проектов.

Частые вопросы

Что такое soft sensing?

Это техника оценки показателей качества процесса, которые сложно или дорого измерить напрямую онлайн, — вместо прямого датчика используются косвенные данные и модель, которая предсказывает нужный параметр. Именно на таких задачах, наряду с прогнозированием временных рядов, тестировали TSF.

Насколько TSF тяжелее для встраивания в продакшн?

Метод добавляет лишь 1,8–3 тысячи параметров и менее 0,008 мс задержки на шаг инференса, поэтому его можно встроить в уже развёрнутые модели прогнозирования без существенных изменений инфраструктуры.