Habr AI→ original

El Ministerio de Desarrollo Digital de Rusia, la UE y NIST fijan nuevas reglas para la seguridad y la regulación de AI

Security Vision analizó cómo está tomando forma rápidamente un nuevo marco regulatorio y de seguridad en torno a AI. Rusia, la UE y EE. UU. ya están fijando…

Procesado por IA desde Habr AI; editado por Hamidun News
El Ministerio de Desarrollo Digital de Rusia, la UE y NIST fijan nuevas reglas para la seguridad y la regulación de AI
Fuente: Habr AI. Collage: Hamidun News.
◐ Escuchar artículo

Security Vision publicó un análisis amplio sobre cómo alrededor de AI se está formando rápidamente un nuevo sistema de reglas, estándares y prácticas de protección. Lo que pasa al primer plano no son solo las leyes, sino también cuestiones muy aplicadas: fugas de datos, prompt injection, robo de modelos y control sobre sistemas basados en agentes.

Cómo se regula AI

En Rusia, el punto de referencia básico sigue siendo el Decreto n.º 490 del 10 de octubre de 2019 y la estrategia actualizada de desarrollo de AI hasta 2030. Después aparecieron el régimen experimental en Moscú, el proyecto de concepto de regulación de AI hasta 2030 del Ministerio de Desarrollo Digital y de la “AI Alliance”, así como el código ético del banco central para el mercado financiero. La dirección general es clara: estimular la adopción de AI, pero al mismo tiempo exigir transparencia, protección de datos, gestión de riesgos y supervisión humana.

Fuera de Rusia, el marco se está volviendo más estricto. En la UE ya está en vigor el EU AI Act, con una división de los sistemas en niveles de riesgo inaceptable, alto y normal: desde prohibiciones directas sobre la puntuación social y ciertas prácticas biométricas hasta logs obligatorios, supervisión humana y requisitos de ciberseguridad. En 2025, Estados Unidos publicó su AI Action Plan con énfasis en acelerar la innovación, la infraestructura y el secure by design. China está reforzando el etiquetado del contenido de AI, Corea del Sur y Kazajistán han aprobado sus propias leyes, y la ONU, la UNESCO y BRICS están construyendo una plataforma internacional de reglas comunes.

Estándares y control

En paralelo a las leyes, está creciendo rápidamente una capa de estándares y frameworks. En ISO e IEC ya existen documentos sobre terminología, gestión de riesgos, ciclo de vida de AI, evaluación de la robustez y seguridad de los datos. En Rusia les corresponden nuevos estándares GOST, y en Estados Unidos NIST desarrolla el AI Risk Management Framework, que se ha convertido en uno de los esquemas prácticos más visibles para las empresas. Su lógica es simple: no discutir sobre AI en el vacío, sino integrar los riesgos en la gestión habitual de producto, seguridad y desarrollo.

  • Govern — asignar responsables, políticas y procesos para los riesgos de AI
  • Map — entender el contexto, los escenarios de uso y el daño potencial
  • Measure — comprobar la fiabilidad, la validez y la eficacia de las medidas de protección
  • Manage — priorizar los riesgos, reducir el daño y documentar las decisiones

También se está formando una capa aparte de frameworks especializados: MITRE ATLAS cataloga tácticas de ataque contra AI, OWASP reúne riesgos críticos para LLM y sistemas basados en agentes, Google desarrolla SAIF, y los grandes proveedores publican sus propios frameworks de safety y preparedness.

Esto importa por una razón: la seguridad de AI ya no se limita a proteger un servidor o una API. Ahora hay que evaluar el comportamiento del modelo, la calidad de los datos, la resistencia a la manipulación y las consecuencias para el usuario.

Dónde se ataca AI

AI tiene su propia superficie de ataque. Los modelos de lenguaje de gran tamaño distinguen mal entre datos e instrucciones, por lo que un texto malicioso en una página web, en un correo o en un documento puede convertirse en una orden para un agente. De ahí crecen los ataques directos e indirectos de prompt injection, jailbreak, extraction y data poisoning. Si el sistema está conectado al correo, al CRM, al almacenamiento de archivos o a servicios externos, el coste del error aumenta de forma brusca: el atacante no solo puede obtener una respuesta extraña, sino llegar a datos corporativos o forzar al agente a ejecutar una acción no deseada.

La segunda gran zona de riesgo son los propios datos. Las empresas se encuentran cada vez más con Shadow AI, un escenario en el que los empleados suben documentos internos a chatbots públicos sin autorización. IBM citó una estimación según la cual el 13% de las empresas encuestadas ya había informado de fugas a través de AI. Si a eso se suman el robo de claves de API para LLM jacking, la posible copia de modelos mediante distillation y el problema de las alucinaciones sobre datos sintéticos, queda claro por qué grounding, zero data retention, MLSecOps y DLP han dejado de ser opcionales.

Otra tendencia es que los propios atacantes están usando herramientas basadas en agentes para automatizar ataques y reducir la barrera de entrada en el cibercrimen.

Qué significa esto

El mercado de AI entra en una fase en la que gana no quien simplemente desplegó antes un modelo, sino quien sabe demostrar su fiabilidad, explicabilidad y seguridad. Para las empresas esto significa una cosa: AI ya no puede lanzarse como “otro servicio SaaS más” — necesita reglas de acceso separadas, control de datos, auditoría de integraciones y comprobaciones periódicas frente a ataques.

ZK
Hamidun News
Noticias de AI sin ruido. Selección editorial diaria de más de 400 fuentes. Producto de Zhemal Khamidun, Head of AI en Alpina Digital.

¿Quieres dejar de leer sobre IA y empezar a usarla?

AI News es un feed curado de noticias de IA. Hamidun Academy te enseña a usar la IA en tu trabajo.

¿Qué te parece?
Cargando comentarios…