IBS Software построила двуязычную AI-модель NER для грузовой логистики на Bedrock

AWS Machine Learning Blog опубликовал технический разбор о том, как компания IBS Software построила двуязычную систему распознавания именованных сущностей (NER) для грузовой логистики, используя token-based дистилляцию знаний на платформе Amazon Bedrock.

Что такое NER и зачем он логистике

Named Entity Recognition (NER) — задача обработки естественного языка, при которой модель находит и классифицирует в тексте конкретные сущности: названия компаний, адреса, номера контейнеров, даты, названия портов. В грузовой логистике документы (накладные, таможенные декларации, инструкции) часто поступают на разных языках, и ручное извлечение таких данных — трудоёмкий и подверженный ошибкам процесс.

Как работает token-based дистилляция знаний

Дистилляция знаний (knowledge distillation) — техника, при которой более компактная модель обучается воспроизводить поведение крупной модели, сохраняя большую часть точности при существенно меньших вычислительных затратах. Token-based подход применяет дистилляцию на уровне отдельных токенов текста, что особенно важно для задачи NER, где точность разметки каждого слова в предложении критична.

• Технология — двуязычная (bilingual) модель NER для грузовой логистики
• Метод обучения — token-based дистилляция знаний (knowledge distillation)
• Платформа — Amazon Bedrock, с использованием возможностей дистилляции знаний AWS
• Автор кейса — компания IBS Software

Использование дистилляции знаний вместо развёртывания полноразмерной большой языковой модели позволяет IBS Software получить приемлемую точность распознавания сущностей при более низкой стоимости инференса — что критично для логистических компаний, обрабатывающих большие объёмы документов ежедневно.

Что это значит

Кейс IBS Software показывает практический паттерн для отраслей с узкоспециализированными и многоязычными данными: не обязательно держать в продакшене тяжёлую универсальную модель — компактная дистиллированная модель, обученная под конкретную задачу вроде NER, может решать её эффективнее и дешевле.