En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoPaper científico · Para I+DThe Decoder→ original

El mejor agente de IA para código resuelve por completo solo el 26% de las tareas reales de Co-Design Bench

Investigadores de Alibaba y universidades asiáticas han lanzado Co-Design Bench: los agentes rehacen aplicaciones web ya terminadas a partir de solicitudes reales de usuarios, a veces con imágenes, vídeo y documentos. El mejor modelo, GPT-6 Astra, cumple en promedio cerca del 70% de los requisitos, pero resuelve la tarea completa solo en el 26,4% de los casos. Los benchmarks antiguos ya muestran un 99%, así que allí no se aprecian las diferencias entre modelos.

Procesado por IA desde The Decoder; editado por Hamidun News
El mejor agente de IA para código resuelve por completo solo el 26% de las tareas reales de Co-Design Bench
Fuente: The Decoder. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalThe Decoder ↗
Editor jefe
Totalmente correcto26,4% de las tareas para el líder, GPT-6 Astra
El mismo modelo75% o 56% según el entorno de ejecución
Dato clave #3Cuantos más tipos de cambios tiene una tarea, peor rinden todos los modelos

Si dejas a un agente de IA entrar en un repositorio de trabajo, la escena es conocida: hace casi todo y luego pasas media hora cazando los detalles que faltan. El nuevo benchmark Co-Design Bench es el primero que mide esto de forma sistemática, y las cifras dan que pensar.

Qué se evaluó

Un equipo de Alibaba y varias universidades asiáticas construyó las pruebas a partir de sesiones reales de desarrollo. Los investigadores eligieron deliberadamente casos en los que el usuario tuvo que reformular la solicitud o revertir cambios. Es decir, en la prueba quedaron tareas en las que los agentes ya se habían equivocado en la práctica.

Las tareas son variadas: desde un pequeño ajuste hasta la reconstrucción de un proyecto entero. Un ejemplo típico: extraer el importe de la foto de un recibo y actualizar todos los totales dependientes de la aplicación. Parte de las tareas es multimodal, con imágenes, audio, vídeo o documentos como entrada.

La evaluación es estricta. Un juez de IA ejecuta la aplicación terminada en un navegador, y un segundo vuelve a comprobar cada veredicto positivo y busca marcadores de posición y resultados codificados a mano. Solo se otorgan puntos por lo que realmente funciona.

Resultados

De los diez modelos, el mejor fue GPT-6 Astra. Cumple en promedio cerca del 70% de los requisitos de la tarea, pero entrega un resultado totalmente libre de errores solo en el 26,4% de los casos. Le siguen Claude Opus 5 y Qwen3.8-Max, y en último lugar queda Grok 4.6. En la categoría multimodal el líder resuelve por completo el 41% de las tareas, y en las de repositorio, menos del 18%.

En benchmarks antiguos como WebCompass-edit los modelos obtienen casi el máximo, mientras que aquí la brecha supera los 35 puntos porcentuales. Los autores creen que las pruebas anteriores simplemente se saturaron: cuando el agente ejecuta y corrige el código por sí mismo, las diferencias entre modelos casi no se ven.

Otra regularidad: cuantos más tipos distintos de cambios hay en una tarea (maquetación, diseño, interactividad, contenido), peor es el resultado. Con tres o cuatro tipos, cayeron los diez modelos. Y en proyectos reales las ediciones casi siempre son mixtas. Más cómputo no ayuda: GLM-5.2 gasta aproximadamente seis veces más tokens que GPT-6 Astra en ediciones pequeñas y aun así pierde de forma notable.

El entorno pesa tanto como el modelo

En un experimento aparte, los mismos modelos se ejecutaron en distintos arneses (harness), es decir, los programas a través de los cuales el agente lee, escribe y ejecuta código. En reescrituras grandes, Qwen3.8-27B obtuvo un 75% en un entorno y un 56% en otro. El orden de dos modelos también dependió del entorno. Por eso los autores aconsejan indicar siempre el par «modelo más arnés».

Limitaciones

El benchmark comprueba una única solicitud fija por tarea, sin aclaraciones ni correcciones durante el trabajo. Los jueces de IA también pueden equivocarse. Además, una investigación previa de METR mostró que la proporción de código aceptado por los responsables de proyectos es unos 24 puntos inferior a los resultados en SWE-bench Verified. El efecto del entorno es ambiguo: otro estudio reciente apenas encontró beneficio en arneses más complejos, aunque gastaban hasta tres veces más tokens.

Qué hacer en la práctica

Primero: no elijas un agente por el ranking de modelos. Ejecuta la combinación «modelo más herramienta» en tus propias tareas reales y compara precisamente esa. Segundo: reserva tiempo para revisión y pulido, sobre todo cuando la tarea mezcla maquetación, lógica y datos. Divide las solicitudes grandes en pasos homogéneos; eso reduce el riesgo de trabajo inacabado. Tercero: comprueba el resultado en la aplicación en funcionamiento, no en el diff, porque así también evaluó este benchmark.

La conclusión es sencilla: los agentes ahorran mucho tiempo, pero la promesa de «entrego la tarea y me olvido» por ahora se cumple en aproximadamente uno de cada cuatro casos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se evaluó?

Un equipo de Alibaba y varias universidades asiáticas construyó las pruebas a partir de sesiones reales de desarrollo. Los investigadores eligieron deliberadamente casos en los que el usuario tuvo que reformular la solicitud o revertir cambios. Es decir, en la prueba quedaron tareas en las que los agentes ya se habían equivocado en la práctica. Las tareas son variadas: desde un pequeño ajuste hasta la reconstrucción de un proyecto entero.

¿Qué se sabe sobre Resultados?

De los diez modelos, el mejor fue GPT-6 Astra. Cumple en promedio cerca del 70% de los requisitos de la tarea, pero entrega un resultado totalmente libre de errores solo en el 26,4% de los casos. Le siguen Claude Opus 5 y Qwen3.8-Max, y en último lugar queda Grok 4.6. En la categoría multimodal el líder resuelve por completo el 41% de las tareas, y en las de repositorio, menos del 18%.

¿Qué se sabe sobre El entorno pesa tanto como el modelo?

En un experimento aparte, los mismos modelos se ejecutaron en distintos arneses (harness), es decir, los programas a través de los cuales el agente lee, escribe y ejecuta código. En reescrituras grandes, Qwen3.8-27B obtuvo un 75% en un entorno y un 56% en otro. El orden de dos modelos también dependió del entorno. Por eso los autores aconsejan indicar siempre el par «modelo más arnés».

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…