AI4Fire: SQL-инструмент поднял точность LLM по базам пожаров с 16% до 88%

Шесть базовых языковых моделей, пять задач управления лесными пожарами, два режима запуска. Так устроен AI4Fire, новый бенчмарк с arXiv, а расширенный прогон добавляет ещё 29 моделей. Главный результат: подключение SQL-инструмента только для чтения подняло точность работы с базой данных у каждой из шести базовых моделей с максимум 16% до минимум 88%. В прогнозировании потребности в персонале картина обратная: ни одна модель не обыграла повторение сегодняшней цифры.

Как устроено сравнение

Авторы исходят из того, что завышенные оценки в этой области стоят дорого: речь об имуществе и жизнях. Поэтому каждую задачу прогоняют в двух вариантах. В «голом» (bare) режиме модель получает только входные данные задачи. В «заземлённом» (grounded) к ним добавляется один элемент, специфичный для задачи. Для детекции дыма это кадр без дыма с той же камеры. Для работы с базой данных это SQL-инструмент. Все запуски идут zero-shot, без дообучения и примеров.

Парное сравнение даёт чистую оценку вклада каждой добавки. По словам авторов, они нашли в литературе 138 работ о задачах, связанных с пожарами, и ни одна не сочетает такой набор моделей, охват задач и парные запуски. Опубликованы промпты, ответы, оценки, код и запись обзора литературы.

• Базовых моделей: 6, плюс 29 в расширенном прогоне
• Задач по лесным пожарам: 5
• Режим: zero-shot, bare и grounded
• Работ в обзоре литературы: 138
• SQL-задача: с ≤16% до ≥88% у каждой базовой модели

Где добавка работает, а где нет

Первый вывод авторов: заземление помогает сильнее всего там, где добавка сама несёт ответ. Модель с доступом к базе только через чтение SQL-запросами берёт нужное из таблиц, а не вспоминает или угадывает. Разрыв между 16% и 88% говорит о том, что без инструмента задачу фактически нельзя решить.

Второй вывод отрезвляет. В прогнозе численности персонала простые правила оказались трудно обыграть: ни одна базовая модель не превзошла повторение сегодняшнего значения. Две open-weight модели в основном копировали медиану похожих прошлых дней с пожарами. Это более слабый прогноз, чем у наивного правила. Модель выглядит так, будто рассуждает, а на деле воспроизводит усреднённый шаблон, который хуже вчерашней цифры.

Ловушки в публичных данных

Третий вывод касается самих датасетов. В одном из публичных релизов колонка с индексом пожарной опасности идеально разделяет отложенную выборку. Это утечка: высокий скор модели на таком наборе почти ничего не говорит о её способностях. В другом наборе у 67 аэрокадров пожаров метки «тление» или «без огня» выведены из обрезанного (clipped) максимума температуры. Если сенсор упёрся в потолок шкалы, метка отражает ограничение прибора, а не реальность.

Каждая из этих ошибок завышает результат, и именно такие оценки авторы называют опасными для отрасли.

Что делать командам, которые внедряют LLM в пожарные службы

Перед любым пилотом поставьте простое базовое правило, например повторение текущей численности, и требуйте, чтобы модель его побеждала. Если не побеждает, подключать её к планированию рано. Там, где ответ лежит в данных, выдавайте модели инструмент доступа, а не полагайтесь на её память: SQL только для чтения даёт большой выигрыш при минимальном риске порчи данных. Публичные датасеты перед использованием проверяйте на утечки признаков и на происхождение меток. Достаточно спросить, может ли одна колонка предсказать целевую переменную и не получена ли метка из сигнала с насыщением.

Осторожность тоже нужна. Все запуски zero-shot, а выводы касаются конкретного набора из пяти задач. Результаты дообученных или специализированных систем могут отличаться. Но открытые ответы и код позволяют перепроверить цифры и добавить собственные модели.