Un pipeline con LLM convierte datasheets en grafos de conocimiento con una precisión del 98,8%

Un grupo de investigadores ha publicado en arXiv un preprint sobre un pipeline que convierte los datasheets de componentes electrónicos en grafos de conocimiento jerárquicos. Con 20 documentos de distinta longitud y diferentes tipos de componentes, la proporción de propiedades fieles al documento (property faithfulness) fue del 98,8%. Con un procesamiento ingenuo de la misma tarea en una sola pasada, esa cifra es del 76,1%. Es decir, casi una cuarta parte de los parámetros que el enfoque base extraía del documento no estaba respaldada por el propio documento.

Por qué una sola consulta no basta

Un datasheet es difícil de leer para una máquina. Es largo y heterogéneo, y los parámetros se reparten entre tablas, gráficos y texto. Los autores señalan un detalle incómodo: aunque el documento quepa entero en la ventana de contexto del modelo, el procesamiento en una sola pasada omite especificaciones relevantes. Para un ingeniero no se trata de una métrica abstracta. Un límite de tensión, corriente o rango de temperatura que pasa inadvertido puede acabar en la elección de un componente equivocado y en el rediseño de la placa.

Cómo funciona el pipeline

El pipeline trabaja en tres etapas: extracción de propiedades por fragmentos (chunk-based property extraction), enrutamiento jerárquico y refinamiento iterativo. El LLM se encarga de extraer la información y de razonar sobre su semántica. Sin embargo, el modelo no edita el grafo directamente: genera instrucciones, estas se validan y un código local determinista las aplica al grafo.

Este diseño tiene dos efectos:

• cada consulta lleva menos contexto que si se procesara el documento completo;
• las representaciones intermedias siguen siendo trazables y cada propiedad conserva un enlace a su fuente (provenance).

El resultado es un grafo con propiedades organizadas semánticamente y vinculadas al texto del datasheet. Puede usarse para búsquedas y razonamientos posteriores.

Las cifras

Sin un patrón de referencia completo de propiedades etiquetadas para los 20 documentos, medir la exhaustividad es complicado. Por eso los autores introdujeron la métrica inter-graph completeness, que compara entre sí la cobertura semántica de dos grafos. Los resultados:

• fidelidad de las propiedades: 98,8% con el framework propuesto frente al 76,1% del esquema base de una sola pasada; es decir, la proporción de propiedades no fieles bajó del 23,9% al 1,2%, unas 20 veces;
• cobertura directa: el framework abarca por completo el 83,6% de las propiedades fieles del esquema base;
• cobertura inversa: el esquema base abarca por completo apenas el 10,5% de las propiedades del framework;
• muestra: 20 datasheets con distintos tipos de componentes y extensiones de documento.

El segundo par de cifras indica que la mejora en precisión no se ha logrado a costa de perder cobertura. El grafo contiene casi todo lo que encuentra el enfoque de una sola pasada, y mucho más.

Dónde puede resultar útil y qué salvedades hay

La utilidad práctica es evidente para los equipos que construyen sistemas de búsqueda y de verificación de compatibilidad sobre bases de datos de componentes. Si las propiedades están en un grafo con referencia a su fuente, un ingeniero o un agente puede comprobar rápidamente de dónde sale un valor y contrastarlo con el documento. Para la verificación automática de un diseño esto es importante: un error en un parámetro extraído se replica después en todas las comprobaciones.

El patrón central también puede trasladarse fuera de la electrónica. El LLM propone cambios en la estructura, un validador los comprueba y un código convencional los ejecuta. Así, los errores del modelo no llegan directamente al almacenamiento.

También hay salvedades. Una muestra de 20 documentos es pequeña. La métrica de exhaustividad es relativa: compara dos grafos entre sí y no mide la cobertura frente a un patrón de referencia completo. El resumen del preprint no revela ni los modelos utilizados ni el coste y el tiempo de procesamiento de cada datasheet. Esos parámetros determinarán si el enfoque sirve para procesar de forma masiva catálogos de miles de documentos. Por ahora, el resultado indica que un procesamiento por etapas, con pasos verificables, es más fiable que una única consulta grande al modelo.