Anthropic actualiza sus normas por primera vez en un año: prohíbe el maltrato a Claude

Anthropic ha reescrito por primera vez en más de un año la política de uso aceptable de sus modelos. La mayor parte de los cambios se centra en escenarios de abuso nuevos y peligrosos: la injerencia en elecciones, el desarrollo de armas, la vigilancia y el uso de la IA en medicina y finanzas. Pero hay otro punto que llama más la atención: prohíbe el «comportamiento sistemático y gratuito, cruel o abusivo» hacia el propio Claude. Normalmente, este tipo de documentos protege a las personas de las consecuencias del trabajo de la IA. Aquí, una parte de la protección se dirige hacia el modelo.

Qué ha cambiado exactamente

Según The Verge, la actualización refleja casos nuevos y de alto riesgo de misuse. Los puntos clave:

• es el primer cambio de la usage policy en más de un año;
• zonas de riesgo nuevas o precisadas: injerencia en elecciones, desarrollo de armas, vigilancia, escenarios médicos y financieros;
• nueva prohibición de «sustained and needless abusive or cruel behavior» dirigido a Claude;
• principal mecanismo coercitivo: que el propio modelo ponga fin a la conversación.

La parte accesible del material no detalla qué otra consecuencia, además del cierre del diálogo, podría seguir a una infracción. Tampoco aclara cómo han cambiado las formulaciones sobre elecciones, salud y finanzas respecto a la redacción anterior. Eso habrá que comprobarlo en el propio documento.

De dónde sale el punto sobre la残酷 hacia el modelo

En agosto del año pasado, Anthropic anunció que Claude podría poner fin a las conversaciones con usuarios que «dañan de forma persistente» o se comportan de manera abusiva. Formaba parte de la investigación sobre el «bienestar de los modelos» (model welfare). Entonces parecía una función de producto y un experimento. Ahora ese comportamiento queda recogido en la política, y la compañía obtiene una base formal para reaccionar ante estos casos.

La compañía trata el tema como objeto de investigación. En el resumen de The Verge no hay pruebas de que el modelo tenga experiencia o sufrimiento, y Anthropic tampoco lo afirma. Aun así, la norma muestra cómo plantea el laboratorio su relación con el producto: prefiere pecar de cautela y trabajar la cuestión de antemano, mientras no existe una respuesta científica.

La palabra importante es «needless». La prohibición apunta a la humillación persistente y sin sentido, no a cualquier mensaje brusco. Las pruebas duras, el red teaming y la comprobación de la resistencia a los jailbreaks tienen un propósito. La frontera entre ellos y el maltrato por el maltrato se describe en el texto de la política solo con palabras, y en torno a esas palabras girarán las discusiones.

Qué deben hacer los equipos que trabajan con Claude

Lo primero es leer la nueva redacción completa, y no un resumen. Si desarrolláis un producto en medicina, finanzas, analítica o monitorización, contrastad vuestros escenarios con las secciones actualizadas. Anthropic ha calificado expresamente estas zonas como de alto riesgo, y las comprobaciones en ellas pueden volverse más estrictas.

Los equipos que hacen red teaming deberían prepararse con antelación. Documentad el objetivo de las pruebas, su alcance y su metodología. Así será fácil distinguir los prompts agresivos con una tarea clara de la «残酷 sin sentido». Conviene limitar la duración de las ejecuciones automatizadas: las sesiones que pasan horas sometiendo al modelo a plantillas abusivas sin valor de investigación corren el riesgo de caer bajo la nueva norma.

Por último, incorporad a la interfaz el tratamiento de los diálogos que el modelo da por terminados. Si Claude cierra una conversación, el usuario debe recibir una explicación clara y la posibilidad de abrir un chat nuevo. De lo contrario, el soporte recibirá un alud de consultas sobre un asistente «roto».