TechCrunch→ original

Fable de Anthropic demasiado restrictivo para ciberseguridad

Especialistas en ciberseguridad critican a Fable de Anthropic por restricciones excesivas. Según ellos, los guardrails del modelo son tan rígidos que es imposib

Fable de Anthropic demasiado restrictivo para ciberseguridad
Fuente: TechCrunch. Collage: Hamidun News.
◐ Escuchar artículo

Los investigadores de ciberseguridad y especialistas en seguridad de la información están expresando serio descontento con el nuevo modelo Fable de Anthropic, lanzado en acceso abierto. El problema no está en el modelo en sí —es realmente poderoso y capaz— sino en sus mecanismos de seguridad. Los guardrails son tan estrictos que incluso los profesionales no pueden usar Fable para tareas perfectamente legítimas de protección y análisis de sistemas.

Demasiadas Restricciones para el Trabajo Necesario

Fable es una nueva generación de poderoso modelo de lenguaje creado basado en la investigación de vanguardia de Anthropic. La empresa deliberadamente incrustó numerosas restricciones para prevenir posibles abusos y uso malicioso. Sin embargo, los guardrails resultaron ser tan rígidos y conservadores que bloquean no solo solicitudes peligrosas sino también investigaciones completamente legítimas.

Los especialistas en ciberseguridad de universidades, grandes empresas de seguridad de la información y divisiones corporativas de seguridad informan que es imposible pedirle ayuda al modelo ni siquiera para tareas básicas: análisis de vulnerabilidades en código, desarrollo de estrategias de protección de infraestructura, discusión de métodos de ciberseguridad. Prácticamente cualquier solicitud que contenga palabras clave como "exploit", "vulnerability", "attack", "breach" o "malware" se rechaza automáticamente.

La lista de operaciones prohibidas necesarias para el trabajo incluye:

  • Investigación de vulnerabilidades en sistemas y aplicaciones
  • Prueba de la resiliencia de la protección de redes corporativas
  • Análisis de métodos de ciberataques conocidos para desarrollar defensas
  • Desarrollo de herramientas de seguridad defensiva y scripts
  • Consultoría profesional en seguridad de la información

El Dilema Clásico: Seguridad contra Utilidad

El problema que enfrenta Anthropic es genuino y complejo. Por un lado, las empresas que desarrollan modelos de lenguaje necesitan proteger sus sistemas de personas que las utilizan para fines maliciosos — desarrollo de malware, organización de ataques a la infraestructura, cracking de contraseñas e ingeniería social. Por otro lado, los ciber-profesionales — defensores de sistemas, investigadores de seguridad, testers de penetración — deben tener acceso a herramientas modernas poderosas. Utilizan IA para analizar grandes volúmenes de código, identificar patrones de ataque y desarrollar estrategias de protección.

"Es imposible proteger sistemas si no tienes acceso a herramientas para analizar amenazas modernas reales", dicen los investigadores en discusiones en

Twitter y foros especializados de la comunidad de ciberseguridad.

Anthroptic ha enfrentado el dilema clásico de los modelos abiertos: ¿cómo abrir un sistema poderoso para investigadores legítimos sin ponerlo en manos de personas con intenciones criminales? La empresa eligió un enfoque conservador — bloqueando por defecto casi todo lo relacionado con la seguridad. Esto es máximamente seguro en teoría pero mínimamente útil en la práctica.

Qué Soluciones Proponen los Expertos

Algunos especialistas bien conocidos proponen enfoques más flexibles. El modelo podría requerir verificación adicional para tareas de seguridad — verificación de credenciales profesionales, documentación de afiliación a una organización acreditada, realización de un proceso de revisión antes del uso. Otros sugieren crear una versión separada de Fable para especialistas en ciberseguridad con guardrails más suaves, pero con términos de uso apropiados y monitoreo continuo.

Lo Que Esto Significa para la Industria

El debate sobre los guardrails de Fable refleja un problema más amplio en toda la industria de IA. Las empresas necesitan encontrar un equilibrio entre la protección contra el abuso y la utilidad de los modelos para aplicaciones legítimas. Las restricciones demasiado estrictas desalientan a los expertos que podrían ayudar a identificar problemas y mejorar la seguridad. Esto podría llevar a los profesionales a simplesmente usar otras herramientas, desfocando el ecosistema de seguridad en lugar de fortalecerlo.

ZK
Hamidun News
Noticias de AI sin ruido. Selección editorial diaria de más de 400 fuentes. Producto de Zhemal Khamidun, Head of AI en Alpina Digital.

Хотите не читать про ИИ, а внедрить его?

«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.

¿Qué te parece?
Cargando comentarios…