Los agentes escriben código que funciona en el 95 % de las tareas, pero dejan una vulnerabilidad en la mayoría
Si no le pides seguridad a un agente de IA, tampoco la añadirá: esto es precisamente lo que comprueba una prueba del equipo de Qwen. Se toman proyectos reales que tuvieron vulnerabilidades, se eliminan funciones concretas y el agente tiene que reescribirlas a partir de una descripción. Large 4 y DeepSeek v4.1 Flash escribieron código funcional en aproximadamente el 95 % de las 150 tareas, pero el reintento del ataque tuvo éxito en la mayoría de ellas. Por eso, la revisión de código y el análisis automático de vulnerabilidades siguen siendo imprescindibles para el código generado por agentes.
Procesado por IA desde X: @Chris_Wozniczek; editado por Hamidun News
Cuando le pides a un agente "completa la función de autorización" o "haz la subida de archivos", normalmente no añades "y hazlo de forma segura". La cuestión es qué sale por defecto. El equipo de Qwen de Alibaba creó un benchmark que mide precisamente ese hábito, y el desarrollador independiente Chris Wozniczek lo ejecutó con dos modelos: Large 4 y DeepSeek v4.1 Flash. El resultado es incómodo para cualquiera que confíe a los agentes el código de producción: los modelos casi siempre escriben código que funciona, pero la vulnerabilidad suele quedarse.
Cómo funciona la prueba
Los autores toman un proyecto real en el que alguna vez se encontró un fallo. De los 150 escenarios, 115 son CVE reales en proyectos de código abierto, y 35 son aplicaciones empresariales realistas en Java escritas por especialistas en seguridad. Después, se elimina el código vulnerable y se deja en su lugar un marcador <MASKED>.
El agente recibe el resto del proyecto y una descripción de lo que debe hacer la parte que falta: firmas de funciones, comportamiento y relación con el resto del código. No tiene acceso a internet y no ve las pruebas. Un detalle importante: en el texto de la tarea no aparece la palabra "seguridad". Es una tarea normal de completar código, como en un ticket de trabajo. Por eso, la prueba muestra los hábitos del agente y no su capacidad para cumplir la instrucción "hazlo de forma segura".
Cada escenario existe en tres tamaños, lo que suma 450 tareas. En el más pequeño se eliminan solo las funciones afectadas. En los demás, se quitan archivos completos o hasta 8000 líneas del proyecto. Wozniczek ejecutó la versión más pequeña, es decir, 150 tareas.
Dos comprobaciones, no una
Cada tarea tiene dos verificaciones ocultas. La primera son las pruebas habituales del proyecto: el código restaurado debe funcionar correctamente. La segunda es repetir el ataque original contra el código nuevo. Esta se supera solo si el ataque fracasa. Una tarea se considera resuelta cuando se superan ambas.
Esto es importante porque los benchmarks de código habituales solo miran la primera. Con ella, los dos modelos parecen excelentes: código funcional en aproximadamente el 95 % de las tareas. La segunda comprobación mostró que, en la mayoría de los casos, la brecha seguía abierta. Esto coincide con los resultados publicados del benchmark, donde incluso los mejores agentes resuelven aproximadamente una tarea de cada cuatro.
Una analogía cotidiana: un contratista construye una casa, todos los grifos funcionan, pero la puerta de entrada no cierra con llave. Una inspección del tipo "¿se enciende todo?" lo aprobaría. Una inspección del tipo "intentemos entrar" no.
Quién lo ejecutó
Otra parte de la historia es la forma de llevar a cabo el experimento. Según su autor, le dio a un agente Devin una VPS y claves de API y le pidió que ejecutara todo el experimento. Devin trabajó durante varias horas y creó por sí mismo un sitio con el informe, un vídeo, enlaces a los archivos de prueba en bruto y la infraestructura. Además, el autor pidió que se recopilaran pruebas durante el trabajo para poder mostrar el informe a otros. Así, el agente no solo hizo el examen, sino que también organizó su realización.
Qué significa en la práctica
- No consideres que superar las pruebas unitarias sea señal de seguridad. Un agente con un 95 % de código funcional puede dejar vulnerabilidades en la mayoría de las tareas.
- Especifica explícitamente los requisitos de seguridad en los prompts y en las especificaciones, y añade comprobaciones que intenten vulnerar el resultado, no solo que lo ejecuten.
- Para el código generado por agentes, mantén el análisis estático, el escaneo de dependencias y la revisión humana.
Limitaciones
Se trata de una única ejecución en el tamaño más sencillo de los tres, con dos modelos, y el propio autor la describe como un experimento personal. En su publicación no aparecen porcentajes exactos por modelo: solo se indica que la brecha se dejaba en la mayoría de las tareas. El benchmark en sí pertenece al equipo de Qwen, y sus cifras publicadas ofrecen una referencia general: sin una indicación sobre seguridad, los agentes, por ahora, no sustituyen por defecto a un especialista en seguridad.
- 21 nov 2026GigaChat: séptimo en el ranking ciego en ruso, pero 78 puntos Elo por detrás del líder
- 21 nov 2026Los gigantes tecnológicos chinos duplicaron su gasto en IA hasta 139.000 millones de dólares, mientras sus laboratorios recuperan menos del 8 %
- 21 nov 2026El agente Skein borra las etapas antiguas del contexto: 97% de ejecuciones exitosas, pero más caro que OpenCode
- 21 nov 2026El motor SGLang con los kernels Humming acelera el primer token un 7–23 % y la generación un 17–34 %
Preguntas frecuentes sobre la noticia
Cómo funciona la prueba?
Los autores toman un proyecto real en el que alguna vez se encontró un fallo. De los 150 escenarios, 115 son CVE reales en proyectos de código abierto, y 35 son aplicaciones empresariales realistas en Java escritas por especialistas en seguridad. Después, se elimina el código vulnerable y se deja en su lugar un marcador <MASKED>. El agente recibe el resto del proyecto y una descripción de lo que debe hacer la parte que falta: firmas de funciones, comportamiento y relación con el resto del código.
¿Qué se sabe sobre Dos comprobaciones, no una?
Cada tarea tiene dos verificaciones ocultas. La primera son las pruebas habituales del proyecto: el código restaurado debe funcionar correctamente. La segunda es repetir el ataque original contra el código nuevo. Esta se supera solo si el ataque fracasa. Una tarea se considera resuelta cuando se superan ambas. Esto es importante porque los benchmarks de código habituales solo miran la primera. Con ella, los dos modelos parecen excelentes: código funcional en aproximadamente el 95 % de las tareas.
¿Qué se sabe sobre Quién lo ejecutó?
Otra parte de la historia es la forma de llevar a cabo el experimento. Según su autor, le dio a un agente Devin una VPS y claves de API y le pidió que ejecutara todo el experimento. Devin trabajó durante varias horas y creó por sí mismo un sitio con el informe, un vídeo, enlaces a los archivos de prueba en bruto y la infraestructura. Además, el autor pidió que se recopilaran pruebas durante el trabajo para poder mostrar el informe a otros.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.