LLMs escrevem planos de obras viárias para o WisDOT: 14B é pouco melhor que 7B

O departamento de transportes de Wisconsin (WisDOT) exige, para cada zona de obras viárias, um plano de gerenciamento de tráfego, o Transportation Management Plan, ou TMP. É o documento que define como evitar riscos tanto para os trabalhadores quanto para os motoristas sem precisar bloquear a via inteira. Os autores de um preprint no arXiv (cs.

CL, 2610.10650) tentaram automatizar a elaboração desse plano. Eles pegaram vários modelos de linguagem abertos em duas escalas, 7B/8B e 14B parâmetros, fizeram fine-tuning com o arquivo de documentos do sistema WisTMP e os implantaram localmente.

O fine-tuning elevou de forma significativa a qualidade nas métricas padrão de geração de texto. Mas o ganho ao passar de 7B/8B para 14B foi pequeno, e as justificativas para um projeto específico e o cálculo de custos continuaram sendo pontos fracos.

Como o sistema foi montado

Os TMPs são preparados manualmente, e a qualidade do documento depende da experiência de cada engenheiro. É um trabalho trabalhoso: para cada projeto, é preciso escolher as estratégias de gerenciamento de tráfego, descrevê-las e explicar por que elas se adequam àquele caso.

Os autores não tinham um conjunto de treinamento pronto, então montaram o próprio. Os documentos históricos do WisTMP estavam em PDF. Eles foram convertidos em pares estruturados de pergunta e resposta em formato JSON, em que a pergunta corresponde a uma seção do plano e a resposta traz o texto escrito pelos especialistas. Assim surgiu um dataset de domínio para supervised fine-tuning.

Outra decisão diz respeito à segurança. Os modelos não são chamados por APIs externas; eles rodam localmente. Para um órgão público, essa é uma condição prática: os dados sobre projetos e infraestrutura não saem da instituição.

O que os experimentos mostraram

Os autores compararam modelos de diferentes escalas antes e depois do fine-tuning e analisaram os resultados em três níveis: métricas gerais de texto, seções individuais do plano e estratégias específicas de gerenciamento de tráfego.

Principais observações do artigo:

• o fine-tuning melhora significativamente os resultados nas métricas padrão de geração de texto;
• o desempenho geral dos modelos é avaliado como forte;
• as LLMs tendem à geração excessiva: propõem mais estratégias do que o necessário;
• os modelos têm dificuldade para escrever justificativas ligadas a um projeto específico;
• as estimativas de custo saem imprecisas;
• escalar de 7B/8B para 14B traz um ganho limitado.

O último ponto é o mais interessante para quem põe isso em prática. Se o 14B é pouco melhor que modelos menores, vale mais a pena usar um modelo compacto para uma tarefa tão restrita. Ele custa menos na inferência e é mais simples de implantar em hardware local. A qualidade esbarra não no tamanho da rede, mas nos dados e em quanto eles refletem as particularidades do projeto.

As queixas sobre estimativas de custo e justificativas também têm explicação. O texto de uma estratégia pode ser montado a partir de um modelo do arquivo, mas o custo depende do volume de obra, da região e dos preços atuais. Um modelo treinado em documentos passados não enxerga essas informações. A adequação a um projeto específico exige dados de entrada que talvez simplesmente não estejam no texto da pergunta.

Como aplicar esses resultados

Os autores formulam a conclusão com cautela: há potencial para aumentar a eficiência na preparação de TMPs, mas os problemas persistem. É uma avaliação honesta. Hoje, um cenário razoável é o modelo preparar um rascunho e o engenheiro revisá-lo.

Para órgãos públicos e empreiteiras, o trabalho traz algumas lições práticas:

• começar com um modelo aberto pequeno e implantação local, em vez de correr atrás de tamanho;
• investir no arquivo: pares limpos e estruturados de pergunta e resposta extraídos de PDFs antigos rendem mais do que bilhões de parâmetros a mais;
• deixar o cálculo de custos com uma pessoa ou com um módulo determinístico separado;
• revisar manualmente as estratégias excedentes: o modelo peca por excesso de cautela e infla o plano;
• incluir os parâmetros do projeto na requisição; do contrário, as justificativas ficam genéricas.

Os autores prometem publicar o código e um vídeo de demonstração na página do projeto TMP-LLM. Quando estiverem disponíveis, será possível verificar o quanto a abordagem se transfere para documentos de outros estados. Por enquanto, é um caso bem delimitado sobre onde as LLMs já economizam tempo na burocracia da engenharia e onde ainda não se dispensa o especialista.