Des LLM rédigent les plans de chantier routier du WisDOT : le 14B ne fait presque pas mieux que le 7B

Le département des transports du Wisconsin (WisDOT) exige un plan de gestion de la circulation, le Transportation Management Plan (TMP), pour chaque zone de travaux routiers. Ce document décrit comment éviter de mettre en danger les ouvriers comme les automobilistes, sans pour autant fermer toute la route. Les auteurs d'un preprint publié sur arXiv (cs.

CL, 2610.10650) ont tenté d'automatiser sa rédaction. Ils ont pris plusieurs modèles de langage ouverts de deux tailles, 7B/8B et 14B paramètres, les ont affinés sur l'archive de documents du système WisTMP et les ont déployés en local.

L'affinage a nettement amélioré la qualité selon les métriques standard de génération de texte. Mais le passage de 7B/8B à 14B n'a apporté qu'un gain modeste, et les justifications propres à chaque projet ainsi que le calcul des coûts restent des points faibles.

Comment le système est construit

Les TMP sont préparés à la main, et la qualité du document dépend de l'expérience de l'ingénieur concerné. Le travail est fastidieux : pour chaque projet, il faut choisir les stratégies de gestion de la circulation, les décrire et expliquer pourquoi elles conviennent précisément à ce chantier.

Les auteurs ne disposaient pas d'un jeu de données d'entraînement prêt à l'emploi et l'ont donc constitué eux-mêmes. Les documents historiques de WisTMP étaient stockés en PDF. Ils ont été convertis en paires « question-réponse » structurées au format JSON : la question correspond à une section du plan, la réponse contient le texte rédigé par les spécialistes. Cela a donné un jeu de données spécialisé pour le supervised fine-tuning.

Un choix distinct tient à la sécurité. Les modèles ne sont pas appelés via des API externes : ils tournent en local. Pour un organisme public, c'est une condition pratique : les données sur les projets et sur l'infrastructure ne sortent pas.

Ce que montrent les expériences

Les auteurs ont comparé des modèles de différentes tailles avant et après affinage, en analysant les résultats à trois niveaux : les métriques globales de texte, les sections individuelles du plan et les stratégies concrètes de gestion de la circulation.

Principales observations de l'article :

• l'affinage améliore nettement les résultats sur les métriques standard de génération de texte ;
• le résultat global des modèles est jugé solide ;
• les LLM ont tendance à la génération excessive : ils proposent plus de stratégies que nécessaire ;
• les modèles peinent à rédiger des justifications liées à un projet précis ;
• les estimations de coûts sont imprécises ;
• le passage de 7B/8B à 14B n'apporte qu'un gain limité.

Le dernier point est le plus intéressant pour les praticiens. Si le 14B ne fait presque pas mieux que les modèles plus petits, il est plus rentable de choisir un modèle compact pour une tâche aussi étroite. Il coûte moins cher en inférence et se déploie plus facilement sur du matériel local. La qualité dépend moins de la taille du réseau que des données, et de la mesure dans laquelle elles reflètent les spécificités du projet.

Les critiques sur les devis et les justifications s'expliquent aussi. Le texte d'une stratégie peut être assemblé à partir d'un modèle tiré de l'archive, alors que le coût dépend des volumes de travaux, de la région et des prix courants. Un modèle entraîné sur des documents passés ne voit pas ces informations. L'adaptation à un projet précis exige des données d'entrée qui peuvent tout simplement ne pas figurer dans le texte de la question.

Comment exploiter ces résultats

Les auteurs formulent leur conclusion avec prudence : il existe un potentiel pour gagner en efficacité dans la préparation des TMP, mais des problèmes subsistent. C'est une évaluation honnête. Le scénario raisonnable aujourd'hui ressemble à un brouillon préparé par le modèle et relu par l'ingénieur.

Pour les administrations et les entreprises du secteur, ces travaux suggèrent plusieurs conclusions pratiques :

• commencer par un petit modèle ouvert et un déploiement local, plutôt que de courir après la taille ;
• investir dans l'archive : des paires « question-réponse » propres et structurées, tirées d'anciens PDF, rapportent plus que des milliards de paramètres supplémentaires ;
• laisser le calcul des coûts à un humain ou à un module déterministe distinct ;
• vérifier à la main les stratégies superflues : le modèle se couvre et gonfle le plan ;
• inclure les paramètres du projet dans la requête, faute de quoi les justifications resteront génériques.

Les auteurs promettent de publier le code et une vidéo de démonstration sur la page du projet TMP-LLM. Quand ils seront disponibles, il sera possible de vérifier dans quelle mesure l'approche se transpose aux documents d'autres États. Pour l'instant, c'est une étude de cas soignée qui montre où les LLM font déjà gagner du temps dans la bureaucratie d'ingénierie, et où l'on ne peut pas se passer d'un spécialiste.