Amazon показал пайплайн на Nova, SAM 3 и Textract для автоматического скрытия PII на фото

AWS Machine Learning Blog представил многошаговый пайплайн для автоматического скрытия персональных данных на изображениях, работой которого управляет модель Amazon Nova.

Как устроен пайплайн

В основе решения — контекстное визуальное рассуждение Amazon Nova, которое координирует работу нескольких взаимодополняющих инструментов вместо одного универсального алгоритма. Nova направляет запросы к двум специализированным системам и объединяет их результаты в единый процесс редактирования изображения.

• Оркестратор пайплайна — Amazon Nova, контекстное визуальное рассуждение
• Сегментация — открытая модель Segment Anything Model (SAM 3) от Meta
• Где развёрнута SAM 3 — на платформе Amazon SageMaker AI, попиксельная сегментация
• Распознавание текста — Amazon Textract, оптическое распознавание символов (OCR)
• Сложные случаи — отпечатки пальцев, удостоверения личности, автомобильные номера в произвольной ориентации

Зачем нужны сразу два дополнительных инструмента

SAM 3 от Meta отвечает за попиксельную сегментацию — точное выделение областей изображения, которые нужно скрыть, вплоть до нестандартных объектов вроде отпечатка пальца на документе. Amazon Textract, в свою очередь, распознаёт текст на изображении, находя фрагменты вроде номеров документов или подписей, которые сегментация по форме объекта могла бы пропустить. Nova связывает эти два источника сигналов в единое решение о том, какие именно области нужно отредактировать, чтобы результат был одновременно полным и юридически комплаентным.

Авторы отдельно подчёркивают, что пайплайн рассчитан на редкие и сложные случаи — изображения, где персональные данные расположены не по стандартному шаблону: под углом, частично перекрыты или относятся к нетипичным типам данных, таким как отпечатки пальцев.

Что это значит

Связка визуального рассуждения Nova с открытой сегментацией SAM 3 и OCR-движком Textract показывает, как современные пайплайны для комплаенса всё чаще строятся не на одной модели, а на оркестрации нескольких специализированных систем, каждая из которых закрывает свой класс ошибок.