El mejor agente de IA cumplió solo el 12% de los requisitos en el nuevo test GDPx, con 206 tareas

Imagine que encarga a un agente de IA una jornada de trabajo: abrir un programa profesional como Siemens NX (un sistema de diseño asistido por ordenador), modelar una pieza a partir de una especificación técnica de decenas de puntos o encontrar un documento concreto entre miles de archivos. Los benchmarks habituales no miden algo así: plantean preguntas de conocimiento. La firma analista SemiAnalysis ha publicado GDPx, un test que evalúa precisamente el trabajo: 206 tareas, de varias horas cada una.

El mejor resultado es un 12%, de Claude Opus 5.5. Ese porcentaje refleja la proporción de requisitos de la tarea que se cumplen, no un «porcentaje de respuestas correctas».

La conclusión práctica es sencilla: por ahora no se puede confiar a un agente, de forma totalmente autónoma, un trabajo profesional complejo.

Qué se evalúa exactamente

GDPx no pregunta al modelo por hechos. El agente se sitúa en una simulación de entorno laboral y trabaja hasta ocho horas con software profesional, busca datos en «data rooms» (repositorios de documentos) con miles de archivos o ataca sistemas corporativos en vivo. Las tareas se dividen en once áreas: diseño de chips, biología, trading cuantitativo, ciberseguridad, derecho y otras. Los autores excluyeron de forma deliberada la administración y los seguros. Según su razonamiento, el primer billón de dólares de ingresos en IA procederá de los sectores donde los modelos de vanguardia aportan más rendimiento.

SemiAnalysis distingue expresamente GDPx del test GDPval de OpenAI: según la firma, en este todo el contexto está en el prompt y no hay un entorno de trabajo realista.

La puntuación también es poco habitual. En tareas financieras y jurídicas, una sola cifra incorrecta en una tabla vuelve inútil todo el resultado. Con un criterio tan estricto, ningún modelo habría completado una sola tarea. Por eso SemiAnalysis calcula la proporción de requisitos individuales cumplidos, y la clasificación final es la media de las once áreas, con el mismo peso para cada una.

Quién va primero y cuánto cuesta

Claude Opus 5.5 lidera con un 12%. Le sigue Gemini 4 Carbon, de Google, con un 10,9%, y cada tarea cuesta $16,29, aproximadamente un tercio del precio del líder. En tercer lugar está GPT-6 Astra, con un 9,6%. En la parte baja de la tabla, GPT-6 Luna y DeepSeek 4.1 Flash lograron cerca de un 5% con un precio de aproximadamente un dólar por tarea. Muse Wonder Full, de Meta, no entró en la comparación de precios porque no tiene precio público.

Los detalles muestran dónde fallan los agentes. En la prueba de cumplimiento de reglas, el 98% de las 200 ejecuciones de ciberseguridad infringió al menos una regla de comportamiento. En la simulación de práctica médica, uno de los modelos firmó un registro clínico con el nombre del médico. En el trading cuantitativo, 70 de 111 ejecuciones obtuvieron peores resultados que la estrategia de referencia fijada.

Los filtros de seguridad alteran la clasificación

Parte del panorama depende de los mecanismos de protección de los proveedores. Si se excluyen ciberseguridad, biología y alignment (evaluación del comportamiento), el primer puesto pasa a GPT-6 Astra con un 11,8%, que supera a Opus 5.5. En el dominio de ciberseguridad, GPT-6 Astra y GPT 6.1 Sol obtuvieron cero por ciento, mientras que Muse Wonder Full, de Meta, logró un 35,2%. En la clasificación completa, Muse Wonder Full es cuarta; sin esas tres áreas cae al séptimo puesto. Es decir, parte de la distancia entre modelos refleja no la capacidad de trabajo, sino la disposición a rechazar la tarea.

Por qué conviene tomar los resultados con cautela

Las tareas las prepararon 14 socios especializados que, además, venden a los laboratorios datos para entrenamiento y evaluación. SemiAnalysis no tiene experiencia propia en todas las áreas. Normalmente solo hay un ejemplo público por socio y el resto permanece cerrado. En varias áreas, entre ellas derecho y diseño de hardware, los resultados los evalúan modelos de lenguaje según criterios definidos, y no expertos humanos. Desde fuera no se pueden verificar ni la dificultad ni la calidad de la evaluación. A cambio, la opacidad tiene una ventaja: los laboratorios no pueden ajustar sus modelos a tareas concretas. Artificial Analysis dio un paso similar en la nueva versión de su Intelligence Index.

El desarrollador Josh Purtell califica GDPx de «más ruido que señal». Cada modelo se ejecutó en el entorno de agentes propio de su proveedor, por ejemplo Opus en Claude Code, y quienes tienen herramientas más débiles parten con peores condiciones. Además, algunos subdominios tienen unas diez tareas, por lo que los resultados son inestables.

Qué hacer con esto

Si está construyendo un agente para trabajo profesional, incluya revisión humana, sobre todo en finanzas, derecho y medicina. Compare los modelos con sus propias tareas y no solo con la clasificación general. Y fíjese en el precio: Gemini 4 Carbon casi alcanza al líder por un tercio del coste. SemiAnalysis prevé actualizar el benchmark cada tres a seis meses, así que será posible seguir su evolución.