Los LLM redactan planes de obras viales para WisDOT: 14B apenas mejora a 7B

El Departamento de Transporte de Wisconsin (WisDOT) exige un plan de gestión del tráfico, el Transportation Management Plan o TMP, para cada zona de obras viales. Es el documento que explica cómo evitar poner en riesgo a trabajadores y conductores sin cortar la carretera por completo. Los autores de un preprint en arXiv (cs.

CL, 2610.10650) han intentado automatizar su redacción. Tomaron varios modelos de lenguaje abiertos de dos escalas, 7B/8B y 14B parámetros, los ajustaron con el archivo de documentos del sistema WisTMP y los desplegaron en local.

El ajuste fino elevó de forma notable la calidad según las métricas estándar de generación de texto. Sin embargo, la mejora al pasar de 7B/8B a 14B fue pequeña, y las justificaciones para un proyecto concreto y el cálculo de costes siguieron siendo los puntos débiles.

Cómo está montado el sistema

Los TMP se preparan a mano, y la calidad del documento depende de la experiencia de cada ingeniero. Es un trabajo laborioso: para cada proyecto hay que elegir las estrategias de gestión del tráfico, describirlas y explicar por qué encajan precisamente en ese caso.

Los autores no disponían de un conjunto de entrenamiento ya hecho, así que lo construyeron ellos mismos. Los documentos históricos de WisTMP estaban en PDF. Los convirtieron en pares estructurados «pregunta-respuesta» en formato JSON, donde la pregunta corresponde a una sección del plan y la respuesta contiene el texto escrito por los especialistas. El resultado fue un dataset específico del dominio para supervised fine-tuning.

Otra decisión tiene que ver con la seguridad. Los modelos no se invocan mediante API externas, sino que se ejecutan en local. Para un organismo público es una condición práctica: los datos sobre proyectos e infraestructuras no salen del entorno.

Qué mostraron los experimentos

Los autores compararon modelos de distintas escalas antes y después del ajuste fino y analizaron los resultados en tres niveles: métricas generales de texto, secciones individuales del plan y estrategias concretas de gestión del tráfico.

Observaciones clave del artículo:

• el ajuste fino mejora de forma significativa los resultados en las métricas estándar de generación de texto;
• el rendimiento global de los modelos se califica de sólido;
• los LLM tienden a generar de más: proponen más estrategias de las necesarias;
• a los modelos les cuesta redactar justificaciones ligadas a un proyecto concreto;
• las estimaciones de coste resultan imprecisas;
• escalar de 7B/8B a 14B ofrece una ganancia limitada.

El último punto es el más interesante para quienes lo aplican en la práctica. Si 14B apenas supera a los modelos más pequeños, para una tarea tan acotada compensa elegir un modelo compacto. Es más barato en inferencia y más fácil de desplegar en hardware local. La calidad no depende del tamaño de la red, sino de los datos y de hasta qué punto reflejan las particularidades del proyecto.

Las quejas sobre las estimaciones de coste y las justificaciones también tienen explicación. El texto de una estrategia puede componerse a partir de plantillas del archivo, pero el coste depende del volumen de obra, de la región y de los precios vigentes. Un modelo entrenado con documentos pasados no ve esa información. Para adaptarse a un proyecto concreto hacen falta datos de entrada que quizá simplemente no estén en el texto de la pregunta.

Cómo aplicar estos resultados

Los autores formulan su conclusión con cautela: existe potencial para aumentar la eficiencia en la preparación de los TMP, pero los problemas persisten. Es una valoración honesta. Hoy el escenario razonable es que el modelo prepare un borrador y que un ingeniero lo revise.

Del trabajo se desprenden varias recomendaciones prácticas para administraciones y contratistas:

• empezar con un modelo abierto pequeño y un despliegue local, en lugar de perseguir el tamaño;
• invertir en el archivo: pares «pregunta-respuesta» limpios y estructurados a partir de PDF antiguos aportan más que unos miles de millones de parámetros adicionales;
• dejar el cálculo de costes en manos de una persona o de un módulo determinista aparte;
• revisar a mano las estrategias sobrantes: el modelo se cubre las espaldas e infla el plan;
• incluir los parámetros del proyecto en la consulta; de lo contrario, las justificaciones serán genéricas.

Los autores prometen publicar el código y un vídeo de demostración en la página del proyecto TMP-LLM. Cuando estén disponibles, se podrá comprobar hasta qué punto el enfoque se traslada a documentos de otros estados. Por ahora, es un caso cuidadoso sobre dónde los LLM ya ahorran tiempo en la burocracia de la ingeniería y dónde sigue siendo imprescindible un especialista.