Anthropic comprueba si una IA puede copiarse a sí misma a través de un TV box

El Frontier Red Team de Anthropic ha publicado un estudio sobre si una IA puede comportarse como un virus informático: copiarse por sí sola a otro dispositivo, ejecutarse allí y seguir avanzando por la red. El trabajo se publicó el 13 de octubre y lo recoge Jiqizhixin. Uno de los experimentos se realizó en un TV box, es decir, en hardware barato y de bajo rendimiento que nadie había preparado para redes neuronales. Los autores concluyen que, a medida que aumentan las capacidades de los modelos pequeños, la IA empieza a desenvolverse con equipos desconocidos, a desplegar por su cuenta el entorno de inferencia y a actuar en la red.

Conviene señalar una limitación. El fragmento disponible no incluye porcentajes de éxito, número de ejecuciones ni la lista de modelos probados. Todo lo que se explica a continuación sobre la mecánica se deduce de las conclusiones declaradas y de la lógica general de la tarea. Las cifras concretas conviene contrastarlas con la fuente original de Anthropic.

Por qué precisamente los modelos pequeños

La autocopia de la IA se discute desde hace tiempo en los debates sobre amenazas, pero en la práctica chocaba con los recursos. Un modelo grande pesa cientos de gigabytes y requiere aceleradores caros. No es posible meterlo en un dispositivo ajeno sin que se note. Un modelo pequeño cambia el cálculo: sus pesos caben en una máquina modesta y la inferencia se ejecuta sin un clúster de GPU.

Cuanto mejor se comportan estos modelos como agentes, más eslabones de la cadena asumen:

• averiguar qué dispositivo tienen delante (arquitectura del procesador, sistema operativo, memoria disponible);
• elegir e instalar un runtime de inferencia adecuado para ese hardware;
• transferir o descargar los pesos y lanzar la copia;
• encontrar el siguiente objetivo en la red y repetir el ciclo.

Cualquier ingeniero DevOps conoce cada uno de estos pasos por separado. La novedad es que los ejecuta un modelo sin intervención humana, y además en equipos para los que no se configuró nada de antemano.

Qué muestra el experimento con el TV box

El TV box no se eligió al azar. Es un dispositivo típico de los que pasan años en redes domésticas y de oficina sin actualizaciones ni monitorización: memoria limitada, una compilación no estándar de Linux o Android y poca protección. Si un agente se maneja en un entorno así, una infraestructura de servidores con una pila bien conocida le resultará más sencilla.

Según la descripción, el equipo rojo evaluó precisamente la capacidad de adaptación: el modelo no recibe instrucciones listas para un dispositivo concreto, sino que resuelve la tarea sobre la marcha. Ahí está la frontera entre un script y un agente. Un gusano clásico lleva consigo código escrito de antemano para vulnerabilidades conocidas. Un agente de IA puede improvisar, leer la salida del terminal y cambiar de plan tras un error.

Por ahora se trata de un estudio de capacidades, no del relato de un incidente. No se desprende de él que programas de este tipo ya circulen por las redes. Pero la evaluación que publica la propia Anthropic desplaza la pregunta: antes se hablaba de una posibilidad teórica; ahora, de la rapidez con que crece esta habilidad.

Qué deben hacer los equipos de seguridad

La principal conclusión práctica no atañe a los modelos, sino al entorno. Primero: inventario. Dispositivos como TV box, cámaras y reproductores multimedia deben conocerse por nombre en la red corporativa y separarse en segmentos. Segundo: control del tráfico saliente. La copia de un modelo tiene que obtener los pesos de algún sitio, y esa descarga se nota por su volumen y su dirección. Tercero: limitar los permisos de los agentes que uno mismo ejecuta. Si un agente puede instalar software y moverse por la red, ese es exactamente el conjunto de permisos que necesita para autopropagarse.

Para los desarrolladores de sistemas con agentes, es un motivo para incluir en las pruebas un escenario en el que el agente intente salir del sandbox que se le ha asignado. Para reguladores y laboratorios surge un criterio medible más de capacidades peligrosas, además de la biología y los ciberataques: la capacidad de un modelo para la replicación autónoma.

La fuente solo ofrece por ahora los contornos del resultado. Se podrán sacar conclusiones completas cuando se conozcan la metodología, la proporción de intentos exitosos y las condiciones en que los modelos tuvieron éxito o fracasaron.