AI4Fire: ferramenta SQL eleva a precisão de LLMs em bases de incêndios de 16% para 88%

Seis modelos de linguagem de base, cinco tarefas de gestão de incêndios florestais, dois modos de execução. Assim é estruturado o AI4Fire, novo benchmark publicado no arXiv, cuja rodada ampliada inclui mais 29 modelos. O principal resultado: conectar uma ferramenta SQL somente leitura elevou a precisão no trabalho com banco de dados em cada um dos seis modelos de base, de no máximo 16% para no mínimo 88%. Na previsão da necessidade de pessoal, o quadro é o oposto: nenhum modelo superou a repetição do número de hoje.

Como a comparação foi montada

Os autores partem do princípio de que avaliações infladas nesta área têm custo alto: o que está em jogo são patrimônio e vidas. Por isso, cada tarefa é executada em duas variantes. No modo "puro" (bare), o modelo recebe apenas os dados de entrada da tarefa. No modo ancorado (grounded), soma-se a eles um elemento específico da tarefa. Para detecção de fumaça, é um quadro sem fumaça da mesma câmera. Para o trabalho com banco de dados, é uma ferramenta SQL. Todas as execuções são zero-shot, sem ajuste fino e sem exemplos.

A comparação pareada isola com clareza a contribuição de cada elemento adicional. Segundo os autores, eles encontraram na literatura 138 trabalhos sobre tarefas relacionadas a incêndios, e nenhum combina um conjunto de modelos, uma cobertura de tarefas e execuções pareadas como esse. Foram publicados os prompts, as respostas, as avaliações, o código e o registro da revisão de literatura.

• Modelos de base: 6, mais 29 na rodada ampliada
• Tarefas de incêndios florestais: 5
• Modo: zero-shot, bare e grounded
• Trabalhos na revisão de literatura: 138
• Tarefa SQL: de ≤16% para ≥88% em cada modelo de base

Onde o elemento adicional funciona e onde não

A primeira conclusão dos autores: o grounding ajuda mais quando o próprio elemento adicional contém a resposta. Um modelo com acesso ao banco apenas por consultas SQL de leitura busca o que precisa nas tabelas, em vez de recordar ou adivinhar. A distância entre 16% e 88% indica que, sem a ferramenta, a tarefa na prática não tem solução.

A segunda conclusão é um balde de água fria. Na previsão do efetivo de pessoal, as regras simples se mostraram difíceis de superar: nenhum modelo de base superou a repetição do valor de hoje. Dois modelos open-weight basicamente copiaram a mediana de dias passados parecidos com incêndios. É uma previsão mais fraca que a da regra ingênua. O modelo parece raciocinar, mas na prática reproduz um padrão médio, pior que o número de ontem.

Armadilhas nos dados públicos

A terceira conclusão diz respeito aos próprios datasets. Em um dos lançamentos públicos, a coluna com o índice de perigo de incêndio separa perfeitamente a amostra de validação. Isso é vazamento: uma pontuação alta do modelo em um conjunto assim diz quase nada sobre suas capacidades. Em outro conjunto, 67 imagens aéreas de incêndios têm rótulos "brasa" ou "sem fogo" derivados de um valor máximo de temperatura truncado (clipped). Se o sensor bateu no teto da escala, o rótulo reflete a limitação do instrumento, e não a realidade.

Cada um desses erros infla o resultado, e são justamente avaliações assim que os autores consideram perigosas para o setor.

O que fazer em equipes que adotam LLMs em serviços de combate a incêndios

Antes de qualquer piloto, defina uma regra de base simples, como repetir o efetivo atual, e exija que o modelo a supere. Se não superar, ainda é cedo para conectá-lo ao planejamento. Onde a resposta está nos dados, dê ao modelo uma ferramenta de acesso em vez de confiar na memória dele: SQL somente leitura rende um ganho grande com risco mínimo de corromper dados. Antes de usar datasets públicos, verifique se há vazamento de atributos e qual é a origem dos rótulos. Basta perguntar se uma única coluna consegue prever a variável-alvo e se o rótulo não foi derivado de um sinal saturado.

Também é preciso cautela. Todas as execuções são zero-shot, e as conclusões valem para esse conjunto específico de cinco tarefas. Os resultados de sistemas com ajuste fino ou especializados podem ser diferentes. Mas as respostas abertas e o código permitem reconferir os números e incluir modelos próprios.