AWS: дообучение моделей Amazon Nova повысило точность извлечения данных из email до 94,77%

На AWS Machine Learning Blog опубликован кейс о дообучении моделей Amazon Nova с помощью сервиса Amazon SageMaker AI для извлечения данных из корпоративной электронной почты: точность выросла до 94,77%, а расходы на обработку сократились на 50%.

Что такое Amazon Nova

Amazon Nova — семейство базовых мультимодальных моделей от AWS, представленное на конференции re:Invent в конце 2024 года. В линейку входят текстовые модели разного размера — Micro, Lite, Pro и Premier, — а также модели генерации изображений и видео Canvas и Reel. Все модели доступны через сервис Amazon Bedrock и позиционируются AWS как более дешёвая и быстрая альтернатива моделям сторонних поставщиков при сопоставимом качестве на типовых корпоративных задачах вроде классификации текста, суммаризации и извлечения данных.

Почему готовая модель ошибается в письмах

Без дополнительного обучения модель общего назначения часто путает похожие по смыслу поля во входящей почте — например, адрес доставки и адрес выставления счёта, номер заказа и номер обращения в поддержку. Каждая компания формулирует запросы и оформляет письма по-своему, а типовая модель этих особенностей не знает. Дообучение (fine-tuning) через Amazon SageMaker AI решает именно эту проблему: модель обучается на реальных примерах писем конкретной организации и запоминает её собственные шаблоны данных — форматы номеров, расположение полей, специфическую отраслевую терминологию.

• Точность извлечения данных из писем достигла 94,77%
• Расходы на обработку одного письма снизились на 50%
• Дообучение выполнено через сервис Amazon SageMaker AI
• Модель научили различать похожие по структуре поля и распознавать паттерны конкретной компании

Кому пригодится точность выше 94%

Извлечение данных из входящей почты — рутинная задача для служб поддержки, логистических компаний, страховых и финансовых отделов, которые ежедневно вручную разбирают заказы, счета, заявки и претензии. При точности порядка 95% большую часть таких писем можно передать модели полностью автоматически, оставив людям только сложные или спорные случаи, а вдвое меньшая стоимость обработки делает автоматизацию оправданной даже при больших объёмах входящей корреспонденции. Похожий подход применим не только к почте, но и к любым полуструктурированным документам — накладным, анкетам, формам обратной связи.

Как устроен процесс дообучения в SageMaker AI

Amazon SageMaker AI — управляемый сервис AWS для полного цикла работы с моделями машинного обучения: от подготовки данных и запуска обучения до развёртывания и мониторинга в проде. Для дообучения языковой модели вроде Nova компании нужно собрать набор размеченных примеров — реальных писем с уже вручную проставленными полями, — и передать его в SageMaker AI, который запускает процесс тонкой настройки весов модели под эту конкретную задачу. В отличие от обучения модели с нуля, fine-tuning требует несравнимо меньше данных и вычислительных ресурсов, потому что модель уже умеет понимать язык — её нужно лишь донастроить на специфику одной узкой задачи.

Что это значит

Кейс AWS показывает практическую пользу дообучения для узких корпоративных задач: сравнительно небольшая по меркам индустрии модель Nova после fine-tuning на собственных данных компании способна конкурировать по точности с более дорогими универсальными моделями, при этом обходясь заметно дешевле в эксплуатации. Для бизнеса это значит, что путь к экономии на автоматизации рутины лежит не только через покупку более мощной модели, а через дообучение уже доступной на её собственных данных.

Кейс AWS показывает практическую пользу дообучения для узких корпоративных задач: сравнительно небольшая по меркам индустрии модель Nova после fine-tuning на собственных данных компании способна конкурировать по точности с более дорогими универсальными моделями, при этом обходясь заметно дешевле в эксплуатации. Для бизнеса это значит, что путь к экономии на автоматизации рутины лежит не только через покупку более мощной модели, а через дообучение уже доступной на её собственных данных.