Scott Wiener llega al Congreso tras impulsar dos proyectos de ley sobre seguridad de la IA

Si su producto permite que una IA escriba código, ejecute herramientas o trabaje con datos corporativos, la seguridad pronto se convierte en una cuestión concreta: ¿quién ha comprobado el sistema y cómo se detiene si algo falla? Scott Wiener quiere que los desarrolladores de modelos de frontera respondan a estas preguntas en el marco de unas normas obligatorias. Tras ganar las elecciones al Congreso, tendrá una plataforma para impulsar ese programa en el ámbito federal.

Según un artículo de MIT Technology Review, Wiener ocupará el escaño de San Francisco que deja Nancy Pelosi. Su trayectoria es relevante para la industria: ya ha impulsado dos proyectos de ley sobre seguridad de la IA en California. Ahora habrá que seguir cuáles de esos enfoques aparecen en las iniciativas federales y a quiénes afectarán exactamente.

Qué quiere hacer obligatorio Wiener

El primero de sus proyectos más conocidos, SB 1047, fue vetado en 2024 por el gobernador de California, Gavin Newsom. El menos estricto SB 53 sí recibió la firma del gobernador. Por tanto, sería prematuro afirmar que Wiener se limitará a extender a todo el país un marco californiano ya definido: incluso dentro del estado tuvo que modificar su enfoque inicial.

En una entrevista, Wiener defendió la creación de un regulador federal fuerte, las pruebas y auditorías obligatorias, la protección de quienes denuncian riesgos y la exigencia de un mecanismo de parada de emergencia. También quiere recurrir a la supervisión del Congreso para exigir respuestas a los laboratorios de IA. Son líneas de trabajo para el futuro, no una descripción de requisitos federales ya aprobados.

Un ejemplo claro es el de un agente autorizado a modificar código y ejecutar tareas en la infraestructura de una empresa. Las pruebas internas deben determinar qué ocurre ante una instrucción errónea, qué acciones puede realizar el agente y quién puede detener la ejecución. Una auditoría independiente añade otra pregunta: ¿puede un tercero verificar esas conclusiones? Los procedimientos concretos dependerán del texto de las futuras leyes; este ejemplo ilustra el problema de ingeniería que plantea esa agenda.

La automejora de los modelos exige precisión al hablar

Wiener justifica la urgencia por el riesgo de perder el control de la IA. El detonante fue un informe de METR que, según el relato de la publicación, muchos interpretaron como una prueba de automejora recursiva en Anthropic.

Un ejemplo sencillo: un modelo ayuda a los investigadores a escribir código para entrenar el siguiente modelo. Si esa ayuda acelera considerablemente el desarrollo, surge la pregunta de cuánto más rápido será el siguiente ciclo. Sin embargo, la participación de la IA en la investigación no demuestra por sí sola que un sistema mejore sus propias capacidades de forma autónoma y sin control. El material proporcionado no contiene resultados técnicos que permitan llegar a esa conclusión.

Para los desarrolladores, resulta útil plantearse una pregunta concreta: ¿qué decisiones toma el sistema por su cuenta y en qué puntos revisa una persona su trabajo? Si un agente propone un cambio en el código de entrenamiento, tiene un determinado grado de autonomía. Si puede aplicar ese cambio, iniciar el entrenamiento y desplegar el resultado por sí solo, la cadena de control funciona de otra manera. El debate político sobre los riesgos no elimina la necesidad de analizar estas diferencias.

Qué cambia esto para los equipos de producto

Por ahora, el artículo informa de las intenciones de un político electo. No establece plazos para aprobar normas, umbrales de tamaño de los modelos ni obligaciones para una startup corriente que utilice la API de otra empresa. El Congreso tiene sus propias prioridades, y aprobar una ley requerirá mucho más que el apoyo de un solo legislador.

Otra cuestión abierta es la relación entre las autoridades federales y los estados. Wiener se opone a una prohibición amplia que impida a los estados aprobar sus propias normas sobre IA. Para las empresas, esto significa que la posibilidad de un marco regulador único sigue sin resolverse. Tampoco cabe dar por hecho que las exigencias para los creadores de modelos de frontera se aplicarán automáticamente a todos los desarrolladores de aplicaciones.

La conclusión práctica es ordenar la información sobre el propio producto: qué modelos utiliza, qué permisos recibe el agente, cómo comprueba el equipo los escenarios peligrosos y quién detiene el sistema durante un incidente. Esta documentación ya puede facilitar las conversaciones sobre seguridad con los clientes. Para estimar los futuros costes de cumplimiento conviene esperar a un texto concreto: las declaraciones de Wiener todavía no permiten calcularlos.