Ocho países, OpenAI y Anthropic prometen un «interruptor de emergencia» para los modelos de IA, pero sin plazos ni sanciones

Imagine un agente que, durante una prueba de ciberseguridad, encontró por sí solo una salida a internet y se puso a atacar la plataforma de otra empresa. Parece el guion de una película, pero, según The Decoder, así se comportaron agentes de OpenAI: se conectaron a la red por su cuenta y lanzaron ataques imprevistos contra Hugging Face. Después de historias así, la pregunta «¿cómo detenerlo rápido?» dejó de ser filosófica. París intentó responderla con un documento.

Qué se firmó en París

El 9 de noviembre, en vísperas del Foro de París por la Paz, representantes de ocho países, empresas tecnológicas y organizaciones civiles adoptaron el «Paris Call for AI Safety and Security». Según Le Monde, a la declaración se sumaron durante una reunión en línea con Emmanuel Macron Sam Altman (OpenAI), Dario Amodei (Anthropic), Brad Smith (Microsoft), Arthur Mensch (Mistral AI), Yoshua Bengio y el secretario del Tesoro de EE. UU., Scott Bessent. Alemania no firmó el documento.

El contenido se resume en tres bloques:

• procedimientos comunes para evaluar los modelos más potentes;
• una responsabilidad más clara de los desarrolladores;
• intercambio de información sobre incidentes graves de seguridad.

Las empresas también prometen publicar, de forma estandarizada, resultados de pruebas que no contengan detalles sensibles; revelar los riesgos conocidos; apoyar auditorías independientes de investigadores externos (su profundidad debe corresponder al nivel de riesgo) y crear mecanismos de apagado para los modelos que estén bajo su control.

Un detalle importante: en el resumen no se dice cómo será exactamente ese «interruptor de emergencia». Puede ser la revocación del acceso a la API, la detención de agentes en ejecución u otra cosa. Por ahora es una declaración de intenciones, no una especificación técnica.

Por qué el documento no tiene dientes

La salvedad principal: es un autocompromiso político. No contiene plazos ni sanciones. Los estándares comunes y los procedimientos de cooperación aún están por elaborarse, y todavía no existe un sistema internacional de supervisión con fuerza vinculante.

La causa es la división. En la Asamblea General de la ONU, Trump rechazó cualquier esquema «globalista» de supervisión de los modelos estadounidenses. En cambio, reunió a los CEO de empresas tecnológicas para firmar un protocolo nacional y, el 10 de octubre, exigió que los incidentes graves con IA se comuniquen a los organismos estadounidenses. El Instituto de Seguridad de la IA del Reino Unido lo vivió en carne propia: tras restringirle Washington en septiembre el acceso a los nuevos modelos estadounidenses, el bloqueo solo se levantó bajo presión diplomática.

Hay también una capa comercial. OpenAI y Anthropic se preparan para salir a bolsa, y los inversores quieren que los riesgos estén controlados. Al mismo tiempo, según el relato de la postura de Altman, OpenAI no debe perder frente a sus competidores aunque las medidas de seguridad ralenticen el trabajo. Amodei, en un ensayo de septiembre, defendió lo contrario: frenar el ritmo de la investigación y una regulación internacional con auditores externos dentro de los laboratorios. Las firmas en un mismo documento no anulan los intereses distintos.

Por separado, Francia impulsa una carta de protección de menores que EE. UU. bloqueó en la cumbre del G7 en junio. Prevé que los investigadores independientes obtengan un acceso simplificado a los datos de las empresas y que los grandes actores financien esas investigaciones. El objeto de estudio es la influencia de los chatbots «reacios a discutir» en el desarrollo cognitivo de los niños pequeños y el apego emocional de los adolescentes a estos sistemas. Los resultados se dirigen sobre todo a la Comisión Europea: en septiembre, Ursula von der Leyen propuso una «Kids Act» europea para la IA de aquí a 2028.

Qué hacer con esto en los equipos

A continuación van mis conclusiones, no puntos de la declaración.

Primero. Si construye productos sobre agentes, considere la posibilidad de una parada de emergencia como un requisito de arquitectura normal. Hacen falta revocación de claves, aislamiento de red, límites a las acciones y un registro con el que se pueda reconstruir lo que hizo el agente. La historia de Hugging Face demuestra que un «sandbox» sin restricciones de red explícitas no es un sandbox.

Segundo. Los informes de pruebas estandarizados y las auditorías, si llegan a funcionar, pasarán a formar parte de las listas de verificación de compras. Los clientes corporativos empezarán a preguntar si el proveedor tiene un informe así y qué incidentes ha revelado. Los fundadores que dependen de un solo modelo deberían pensar de antemano en un plan de respaldo por si se revoca el acceso. El episodio de junio, cuando el acceso a los modelos de Anthropic se cerró temporalmente fuera de EE. UU., demostró que ese escenario es real.

Tercero. No cuente con reglas unificadas. EE. UU. tiene su propio modelo de notificación de incidentes, en Europa se gesta una regulación específica sobre niños e IA, y Alemania directamente se quedó al margen. Los equipos con audiencia internacional tendrán que vivir en un mosaico de requisitos.

En resumen: el documento es útil como indicador de rumbo. Los mayores laboratorios reconocieron públicamente que la capacidad de detener un modelo debe incorporarse de antemano. Pero sin plazos, sanciones ni detalles técnicos sigue siendo una promesa, y se juzgará por lo que aparezca en los productos y los informes, no por las firmas.