Pipeline com LLM transforma datasheets em grafos de conhecimento com 98,8% de precisão

Pesquisadores publicaram no arXiv um preprint sobre um pipeline que transforma datasheets de componentes eletrônicos em grafos de conhecimento hierárquicos. Em 20 documentos de tamanhos variados e com diferentes tipos de componentes, a proporção de propriedades fiéis ao documento (property faithfulness) foi de 98,8%. No processamento ingênuo da mesma tarefa, em passagem única, o índice é de 76,1%. Ou seja, quase um quarto dos parâmetros que a abordagem baseline extraía do documento não era confirmado pelo próprio documento.

Por que uma única consulta não basta

O datasheet é um formato ruim para leitura por máquina. É longo e heterogêneo, e os parâmetros ficam espalhados entre tabelas, gráficos e texto corrido. Os autores apontam um detalhe incômodo: mesmo quando o documento inteiro cabe na janela de contexto do modelo, o processamento em passagem única deixa escapar especificações relevantes. Para o engenheiro, isso não é uma métrica abstrata. Um limite de tensão, de corrente ou de faixa de temperatura que passa despercebido leva à escolha errada do componente e ao retrabalho da placa.

Como funciona o pipeline

O pipeline tem três etapas: extração de propriedades por trechos (chunk-based property extraction), roteamento hierárquico e refinamento iterativo. O LLM cuida da extração de informação e do raciocínio semântico. Ele, porém, não edita o grafo diretamente. O modelo gera instruções, essas instruções são validadas e um código local determinístico as aplica ao grafo.

Essa arquitetura traz dois efeitos:

• cada consulta usa menos contexto do que o processamento do documento inteiro;
• as representações intermediárias continuam rastreáveis, e cada propriedade mantém uma referência à sua fonte (provenance).

O resultado é um grafo com propriedades organizadas semanticamente e vinculadas ao texto do datasheet. Ele pode ser usado em buscas e raciocínios posteriores.

Os números

Sem um gabarito completo de propriedades anotadas para os 20 documentos, avaliar a completude é difícil. Por isso, os autores criaram a métrica inter-graph completeness, que compara a cobertura semântica entre dois grafos. Os resultados:

• fidelidade das propriedades: 98,8% no framework proposto contra 76,1% na abordagem baseline de passagem única, ou seja, a proporção de propriedades não fiéis ao documento caiu de 23,9% para 1,2%, uma redução de cerca de 20 vezes;
• cobertura direta: o framework cobre integralmente 83,6% das propriedades fiéis ao documento da abordagem baseline;
• cobertura inversa: a abordagem baseline cobre integralmente apenas 10,5% das propriedades do framework;
• amostra: 20 datasheets com diferentes tipos de componentes e extensões de documento.

O segundo par de números mostra que o ganho de precisão não veio à custa de perda de cobertura. O grafo contém quase tudo o que a abordagem de passagem única encontra, e muito mais.

Onde isso é útil e quais as ressalvas

A utilidade prática é clara para equipes que constroem busca e verificação de compatibilidade sobre bases de componentes. Se as propriedades estão em um grafo com vínculo à fonte, o engenheiro ou o agente pode conferir rapidamente de onde veio um valor e compará-lo com o documento. Para a verificação automática de um projeto, isso é essencial: um erro em um parâmetro extraído se replica depois por todas as checagens.

O padrão central também pode ser adotado fora da eletrônica. O LLM propõe alterações na estrutura, um validador as confere e um código comum as executa. Assim, os erros do modelo não chegam diretamente ao armazenamento.

Há ressalvas. A amostra de 20 documentos é pequena. A métrica de completude é relativa: compara dois grafos entre si e não mede a cobertura em relação a um gabarito completo. O resumo do artigo não revela os modelos usados, nem o custo e o tempo de processamento de cada datasheet. Esses parâmetros vão determinar se a abordagem serve para processar em massa catálogos com milhares de documentos. Por ora, o resultado indica que o processamento em etapas, com passos verificáveis, é mais confiável do que uma única consulta grande ao modelo.