Amazon Nova aprende a olvidar: cómo rDPO reduce el exceso de cautela sin perder calidad

El 7 de julio de 2026, Amazon Web Services publicó un artículo sobre Reverse Direct Preference Optimization (rDPO), un método de «desaprendizaje automático» selectivo que sustenta la nueva función Customizable Content Moderation Settings (CCMS) de la familia de modelos Amazon Nova.

¿Por qué la cautela de un modelo también es un problema?

La cautela excesiva de un modelo de lenguaje, que en la industria se conoce como over-deflection, se ha convertido en uno de los principales problemas operativos para los clientes corporativos de IA. Un modelo entrenado para evitar temas dañinos suele rechazar también solicitudes totalmente inofensivas: preguntas médicas, escenarios jurídicos, contextos literarios con conflicto o violencia.

Los filtros de moderación estrictos ayudan a evitar abusos, pero generan fricción en los usos legítimos. Una farmacéutica quiere hablar de los efectos secundarios de sus fármacos, un despacho de abogados quiere analizar documentación de casos, una editorial quiere trabajar con ficción. Las mismas restricciones no sirven para todos.

La solución clásica, el ajuste fino (fine-tuning) con nuevos ejemplos, es cara y entraña riesgos: los nuevos patrones pueden «diluir» las capacidades existentes, y reentrenar el modelo por completo requiere muchos recursos. El equipo de Amazon Nova buscó una forma de eliminar el comportamiento no deseado de manera puntual, sin tocar el resto de la funcionalidad.

Cómo funciona Reverse Direct Preference Optimization

Direct Preference Optimization (DPO) es uno de los principales métodos de alineamiento de modelos de lenguaje: en lugar de un ciclo explícito de aprendizaje por refuerzo, el modelo aprende a preferir unas respuestas sobre otras a partir de datos de preferencias por pares. El método es eficaz, escala bien y se ha convertido en estándar en el pipeline de post-entrenamiento.

rDPO invierte esta lógica. En lugar de reforzar las respuestas deseables, debilita de forma deliberada los patrones de comportamiento no deseados; en este caso, las negativas excesivas. Amazon afirma que el método permite reducir el over-deflection y, a la vez, conservar la calidad general del modelo.

Parámetros clave de la nueva herramienta:

• Método: Reverse Direct Preference Optimization (rDPO)
• Producto: la función CCMS (Customizable Content Moderation Settings) en Amazon Nova
• Objetivo: «olvido» puntual de patrones no deseados sin degradar la calidad
• Público: clientes corporativos de AWS que configuran el comportamiento de los modelos
• Publicación: AWS Machine Learning Blog, julio de 2026

Qué aporta a los clientes corporativos

CCMS implementa rDPO como una herramienta corporativa lista para usar. En lugar de un único umbral global de moderación, el cliente puede adaptar el comportamiento del modelo a un contexto sectorial concreto: reducir las restricciones donde lo justifiquen el negocio y el entorno regulatorio, sin cambiar el comportamiento en otros escenarios.

AWS anuncia además la publicación de guías prácticas para los equipos que quieran aplicar por su cuenta técnicas de optimización de preferencias en experimentos con Amazon Nova. Esto reduce la barrera de entrada para los equipos de ML corporativos que necesitan un ajuste fino del modelo sin reentrenarlo por completo.

El paso encaja en una tendencia más amplia: los grandes proveedores de IA abandonan poco a poco los sistemas de seguridad monolíticos y avanzan hacia umbrales parametrizados, adaptables a cada sector. La moderación flexible se está convirtiendo en una exigencia del mercado, no en una mejora opcional.

Qué significa

El rDPO de Amazon es una prueba de que el desaprendizaje automático (machine unlearning) pasa de los artículos académicos a las herramientas industriales de IA. La capacidad de «borrar» de forma puntual reacciones no deseadas sin un reentrenamiento completo se vuelve un activo valioso para los clientes corporativos con requisitos regulatorios y sectoriales heterogéneos.