Amazon Nova научили забывать: как rDPO снижает сверхосторожность без потери качества

Amazon Web Services 7 июля 2026 года опубликовала статью о технике Reverse Direct Preference Optimization (rDPO) — методе выборочного «машинного забывания», который лежит в основе новой функции Customizable Content Moderation Settings (CCMS) в линейке моделей Amazon Nova.

Почему осторожность модели — тоже проблема?

Чрезмерная осторожность языковой модели — явление, которое в индустрии называют over-deflection, — стала одной из ключевых операционных проблем для корпоративных заказчиков AI. Модель, обученная избегать вредоносных тем, нередко отказывается и на вполне безвредные запросы: вопросы по медицине, юридические сценарии, художественный контекст с конфликтом или насилием.

Жёсткие модерационные фильтры помогают избежать злоупотреблений, но создают трение для легитимных сценариев. Фармацевтическая компания хочет обсуждать побочные эффекты препаратов, юридическая фирма — анализировать материалы дел, издательство — работать с художественной прозой. Одни и те же ограничения не подходят всем.

Классическое решение — донастройка (fine-tuning) на новых примерах — обходится дорого и несёт риски: новые паттерны могут «размыть» уже существующие навыки, а полное переобучение модели занимает значительные ресурсы. Команда Amazon Nova искала способ убрать нежелательное поведение точечно, не затрагивая остальной функционал.

Как работает Reverse Direct Preference Optimization

Direct Preference Optimization (DPO) — один из ведущих методов выравнивания языковых моделей: вместо явного цикла обучения с подкреплением модель учится предпочитать одни ответы другим, используя парные данные предпочтений. Метод эффективен, хорошо масштабируется и стал стандартом в post-training pipeline.

rDPO переворачивает эту логику. Вместо того чтобы усиливать желательные ответы, он целенаправленно ослабляет нежелательные поведенческие паттерны — в данном случае избыточные отказы. Amazon утверждает, что метод позволяет снизить over-deflection и при этом сохранить общее качество модели.

Ключевые параметры нового инструмента:

• Метод: Reverse Direct Preference Optimization (rDPO)
• Продукт: функция CCMS (Customizable Content Moderation Settings) в Amazon Nova
• Задача: точечное «забывание» нежелательных паттернов без деградации качества
• Аудитория: корпоративные клиенты AWS, настраивающие поведение моделей
• Публикация: AWS Machine Learning Blog, июль 2026 года

Что это даёт корпоративным клиентам

CCMS реализует rDPO как готовый корпоративный инструмент. Вместо единого глобального порога модерации заказчик может адаптировать поведение модели под конкретный отраслевой контекст: снижать ограничения там, где это оправдано бизнесом и регуляторной средой, не меняя поведение в других сценариях.

AWS анонсирует также публикацию практических руководств для команд, которые хотят самостоятельно применять техники preference optimization в экспериментах с Amazon Nova. Это снижает порог входа для корпоративных ML-команд, которым нужна тонкая настройка модели без полного переобучения.

Шаг вписывается в более широкий тренд: крупные AI-провайдеры постепенно уходят от монолитных систем безопасности к параметризированным порогам, адаптируемым под конкретную отрасль. Гибкая модерация становится требованием рынка, а не опциональным улучшением.

Что это значит

rDPO от Amazon — свидетельство того, что машинное забывание (machine unlearning) переходит из академических работ в промышленный AI-инструментарий. Способность точечно «стирать» нежелательные реакции без полного переобучения становится ценным активом для корпоративных клиентов с разнородными регуляторными и отраслевыми требованиями.