TabWM учится предсказывать правки в базе данных: F1 вырос с 0,016 до 0,685

Исследователи представили TabWM (Tabular World Model) — модель, которая по истории выполнений в незнакомой системе предсказывает, как новое действие изменит её реляционную базу данных. На 512 отложенных «мирах» полный F1 по правкам вырос с 0,016 без наблюдаемых выполнений до 0,685 при 64 примерах в контексте. Обновлять параметры модели для этого не нужно: динамика выводится прямо из контекста. Для предобучения авторы построили WorldRel — генератор исполняемых реляционных миров.

От снимка состояния к динамике

Классическое реляционное обучение работает со снимком базы: по текущим таблицам и связям между ними оно предсказывает какое-то свойство. Для аналитики этого хватает. Для принятия решений нет, потому что там вопрос другой: что станет с базой после конкретного действия? Ответ зависит от правил конкретной системы. Бизнес-логика, триггеры, ограничения и код приложения в самих таблицах не видны, а именно они определяют, какие строки появятся, какие изменятся и какие значения получат.

Авторы предлагают смотреть на каждую такую систему как на отдельный реляционный «мир» и спрашивать, можно ли понять её поведение по наблюдаемым запускам. TabWM получает в контекст выполнения из незнакомого мира и должен предсказать разреженные структурированные правки, которые вызовет новое действие. Дообучения на этом мире нет.

Как измеряют точность

Метрика жёсткая. Правка считается верной, только если совпали три компонента: операция, реляционное расположение и значение. Угадать, что «где-то что-то добавится», недостаточно. Результаты на отложенных мирах, которых модель не видела при обучении:

• 512 отложенных миров в тестовом наборе;
• полный F1 по правкам 0,016 без наблюдаемых выполнений;
• полный F1 0,685 при 64 выполнениях в контексте;
• обучение на синтетических мирах из генератора WorldRel;
• адаптация к новому миру без обновления параметров.

Рост с 0,016 до 0,685 показывает, что модель действительно использует контекст. Без примеров она почти ничего не угадывает, и это ожидаемо: правила мира ей неоткуда взять. С 64 примерами она восстанавливает большую часть структуры изменений.

Воображаемые будущие и выбор действий

Главная практическая идея в том, что предсказания TabWM — это явные реляционные правки, а не скрытые векторы. Правки можно применить к базе, получить следующее состояние и предсказывать дальше. Так модель разворачивает цепочку из нескольких шагов и сравнивает кандидатные последовательности действий до того, как хоть одно из них выполнено.

Авторы сообщают, что более широкий поиск по этим предсказанным будущим повышает реализованную отдачу выбранных последовательностей. В переданном описании нет численных значений этого прироста, поэтому оценить его масштаб нельзя. Нужно также учитывать, что при рекурсивном применении ошибки накапливаются: при полном F1 0,685 на один шаг длинные цепочки будут расходиться с реальностью. Насколько сильно, покажут сами эксперименты в статье.

Отдельный вопрос касается переноса. Миры в тесте исполняемые и сгенерированы по тем же принципам, что и обучающие. Как модель поведёт себя на живой корпоративной базе с годами накопленных исключений, из аннотации не видно.

Где это можно применить

Для команд, которые строят агентов поверх баз данных и бизнес-систем, работа предлагает понятную схему. Если у вас есть логи выполнений, то по ним можно обучить или настроить модель динамики и использовать её как дешёвый симулятор. Агент сможет проверять кандидатные действия на предсказанных правках, а не на продакшене.

Практически стоит проверить три вещи. Сколько выполнений нужно вашей системе, чтобы качество вышло на плато: 64 в бенчмарке — это ориентир, а не гарантия. Насколько точны правки на редких ветках логики. И как быстро растёт ошибка на цепочках из пяти–десяти действий. Если ответы приемлемы, такой подход даёт способ сравнивать планы без побочных эффектов, а это самый дорогой дефицит у агентов, работающих с реальными данными.