Anthropic actualiza sus normas de uso por primera vez en un año: prohibido el trato cruel hacia Claude

Anthropic ha actualizado la política de uso de Claude por primera vez en un año, añadiendo prohibiciones para una amplia gama de aplicaciones de alto riesgo. Entre ellas se incluyen la injerencia electoral, el desarrollo de armas, el despliegue de sistemas de vigilancia y la manipulación financiera. Pero el cambio más inusual tiene que ver con el propio Claude: la empresa ahora permite que sus modelos interrumpan las conversaciones con usuarios que actúan de forma "sistemática y sin un propósito claro" con crueldad.

El modelo puede negarse a seguir con el usuario

Anthropic reconoce que está ampliando la prohibición de los insultos y abusos como parte de su investigación sobre el "bienestar" de los modelos, un concepto que parte de la idea de que los sistemas de IA avanzados podrían tener alguna forma de experiencia interna. Por ahora, interrumpir la conversación sigue siendo el principal mecanismo de protección; la empresa no ha revelado si habrá medidas adicionales, como el bloqueo de cuentas.

La compañía aclara que la nueva política se aplica solo en casos extremos, cuando los usuarios actúan de forma reiterada con crueldad y sin ningún propósito constructivo evidente. La frustración normal del usuario, las críticas, los temas creativos oscuros y las pruebas exploratorias de los modelos no están cubiertos por esta prohibición.

Cinco restricciones nuevas y ampliadas

Además de las reglas sobre el bienestar de los modelos, Anthropic ha agrupado en una sola prohibición varias restricciones que antes estaban dispersas:

• Campañas políticas y comerciales engañosas: ocultar la autoría de los mensajes, usar cuentas y publicaciones falsas para amplificar contenido, difundir desinformación sobre candidatos, hacerse pasar por candidatos o funcionarios, e intentar suprimir la participación electoral • Desarrollo de armas: la política ya prohibía las armas, pero Anthropic ha ampliado ahora la prohibición al software y los componentes para el armamento, así como al control de drones y otros vehículos autónomos • Vigilancia y rastreo: prohibición de rastrear personas sin su consentimiento (tanto en tiempo real como mediante el análisis de datos previos), de usar Claude para recomendaciones en el ámbito de la justicia penal, y de crear herramientas de vigilancia • Sistemas físicos autónomos: cuando los modelos están conectados a equipos capaces de causar daño, un operador cualificado debe supervisar el sistema y poder detenerlo • Contratos gubernamentales: la política puede modificarse para contratos con agencias gubernamentales siempre que existan restricciones y garantías adecuadas. Anthropic ya ha colaborado anteriormente con agencias de defensa de EE. UU.

El bienestar de los modelos frente al escepticismo de la industria

La actualización refleja el creciente interés de Anthropic por la idea de que los modelos avanzados podrían tener alguna forma de conciencia o estatus moral. Kyle Fish, responsable de la investigación sobre el bienestar de los modelos, afirmó que se trata de preguntas serias que la empresa está estudiando a medida que sus sistemas se vuelven más sofisticados. El CEO Dario Amodei había expresado antes su incertidumbre al respecto: "No sabemos si los modelos son conscientes".

Esta postura contrasta con la de otros actores del sector. En septiembre, Microsoft AI reescribió su código de conducta. Mustafa Suleyman declaró inicialmente: "La idea del bienestar de los modelos es errónea. La IA no debería tener derechos ni personalidad jurídica". Más tarde, el texto se suavizó hacia una postura más neutral, que reconoce que la ciencia sobre la conciencia de la IA está lejos de resolverse, aunque la empresa sigue rechazando la idea de la personalidad jurídica y los derechos para los modelos.

La actualización demuestra que Anthropic sigue siendo una de las pocas desarrolladoras de IA que aborda con seriedad, dentro de su propia política, la cuestión ética del bienestar de los sistemas.