LLM-конвейер превращает даташиты в графы знаний с точностью 98,8%

Исследователи опубликовали на arXiv препринт о конвейере, который превращает даташиты на электронные компоненты в иерархические графы знаний. На 20 документах разной длины и с разными типами компонентов доля достоверных свойств (property faithfulness) составила 98,8%. У наивной однопроходной обработки той же задачи этот показатель равен 76,1%. То есть почти четверть параметров, которые базовый подход извлекал из документа, не подтверждалась самим документом.

Почему одного запроса недостаточно

Даташит неудобен для машинного чтения. Он длинный и неоднородный, а параметры разбросаны по таблицам, графикам и тексту. Авторы указывают на неприятную деталь: даже если документ целиком помещается в контекстное окно модели, однопроходная обработка пропускает релевантные спецификации. Для инженера это не абстрактная метрика. Незамеченное ограничение по напряжению, току или температурному диапазону превращается в неверный выбор компонента и переделку платы.

Как устроен пайплайн

Конвейер работает в три этапа: извлечение свойств по фрагментам (chunk-based property extraction), иерархическая маршрутизация и итеративное уточнение. LLM отвечает за извлечение информации и семантические рассуждения. Модель при этом не правит граф напрямую. Она формирует инструкции, их проверяют, а применяет к графу детерминированный локальный код.

Такая схема даёт два эффекта:

• на каждый запрос приходится меньше контекста, чем при обработке документа целиком;
• промежуточные представления остаются прослеживаемыми, а каждое свойство сохраняет ссылку на источник (provenance).

На выходе получается граф с семантически организованными свойствами, привязанными к тексту даташита. Его можно использовать для последующего поиска и рассуждений.

Цифры

Без полного эталона размеченных свойств по 20 документам оценить полноту непросто. Поэтому авторы ввели метрику inter-graph completeness, которая сравнивает семантическое покрытие двух графов между собой. Результаты:

• достоверность свойств: 98,8% у предложенного фреймворка против 76,1% у однопроходной базовой схемы, то есть доля недостоверных свойств упала с 23,9% до 1,2%, примерно в 20 раз;
• прямое покрытие: фреймворк полностью охватывает 83,6% достоверных свойств базовой схемы;
• обратное покрытие: базовая схема полностью охватывает лишь 10,5% свойств фреймворка;
• выборка: 20 даташитов с разными типами компонентов и объёмами документов.

Вторая пара цифр показывает, что выигрыш в точности не куплен потерей охвата. Граф содержит почти всё, что находит однопроходный подход, и много сверх того.

Где это пригодится и какие оговорки

Практическая польза ясна командам, которые строят поиск и проверку совместимости по базам компонентов. Если свойства лежат в графе с привязкой к источнику, инженер или агент может быстро проверить, откуда взято значение, и сверить его с документом. Для автоматической верификации проекта это существенно: ошибка в извлечённом параметре дальше тиражируется по всем проверкам.

Основной паттерн можно перенять и вне электроники. LLM предлагает правки структуры, валидатор их проверяет, а обычный код исполняет. Тогда ошибки модели не попадают в хранилище напрямую.

Оговорки тоже есть. Выборка из 20 документов невелика. Метрика полноты относительная: она сравнивает два графа друг с другом и не меряет охват относительно полного эталона. В аннотации не раскрыты ни используемые модели, ни стоимость и время обработки одного даташита. Эти параметры определят, пригоден ли подход для массовой обработки каталогов в тысячи документов. Пока же результат показывает, что поэтапная обработка с проверяемыми шагами надёжнее одного большого запроса к модели.