NVIDIA predice el mejor agente de programación antes del fine-tuning: su ranking coincidió en un 96%

Imagine que está eligiendo el modelo sobre el que construirá un agente de IA para programar. Hay varios candidatos, y afinar cada uno cuesta cientos de miles de dólares, así que hay que decidir de antemano. Las pruebas habituales ayudan poco: parte de las tareas de HumanEval y SWE-bench se filtró a los datos de entrenamiento, y en SWE-Bench Pro una proporción notable de tareas está mal formulada.

Investigadores de NVIDIA proponen otro camino: no obligar al modelo base a resolver la tarea, sino mostrarle el registro de trabajo de un agente potente y comprobar si reconoce la edición de código decisiva. El ranking de diez modelos según esta prueba coincidió en un 96% con el ranking tras el fine-tuning: la correlación de Spearman es de 0,964, donde 1 significa coincidencia total del orden y −1, orden invertido. En HumanEval ese indicador es de −0,394, es decir, el orden es más bien el inverso.

La utilidad práctica es clara: los candidatos débiles pueden descartarse antes de gastar dinero en el fine-tuning.

Por qué fallan las pruebas antiguas

HumanEval salió en 2021 junto con Codex: 164 tareas pequeñas en Python, con una dificultad similar a las preguntas de una entrevista para un perfil junior. Con el tiempo se descubrió que las tareas están en acceso abierto y acaban en los conjuntos de entrenamiento. Investigadores de Berkeley hallaron entre un 8 y un 18% de las tareas de HumanEval en RedPajama y StarCoder-Data, y el equipo de Allen AI encontró un dataset abierto que coincidía con él en un 70,7%.

Después, la industria pasó a SWE-bench Verified. El 23 de febrero de 2026, OpenAI dejó de publicar sus resultados: de las 138 tareas que su modelo o3 no lograba resolver de forma consistente, el 59,4% contenía errores en los tests o en el enunciado. Además, GPT-5.

2, Claude Opus 4.5 y Gemini 3 Flash reproducían la corrección de referencia a partir del número de la tarea, es decir, era como si hubieran visto las respuestas de antemano. OpenAI revisó SWE-Bench Pro, recomendado como sustituto, en menos de cinco meses y reconoció como defectuosas cerca del 30% de las tareas.

En una de ellas, el enunciado muestra una sangría de un espacio, mientras que los tests ocultos esperan dos, de modo que cumplir el enunciado al pie de la letra hace fallar la tarea.

Qué propuso NVIDIA

¿Se puede simplemente poner al modelo base ante una tarea real? El equipo lo intentó: lanzó seis modelos base como agentes en SWE-bench Verified. Cinco no resolvieron ninguna tarea, aunque tras el fine-tuning esos mismos modelos resuelven entre el 39 y el 81%. Un modelo base solo sabe continuar texto. En lugar de invocar una herramienta, a menudo completa el diálogo por sí mismo, hasta inventarse el resultado de un comando.

Por eso, en el trabajo Before They Can Solve (22 autores, 7 de octubre de 2026), no se pide al modelo que resuelva la tarea. Se le muestra el registro de trabajo de un agente potente (GPT-5.6-Sol, Claude Opus 5, Kimi-K3) y se evalúa solo el momento decisivo. El registro se reproduce paso a paso, tras cada edición se ejecutan los tests del proyecto y se localiza la primera edición después de la cual pasan. A partir de ahí, hay tres formas de evaluar:

• Cuán «natural» considera el modelo la jugada correcta. Se mide el BPB, es decir, cuántos bits de información hacen falta para codificar un byte de la respuesta correcta. Cuanto menor, mejor.
• Elección entre cuatro variantes del siguiente paso: una correcta y tres verosímiles que no pasaron los tests. Las variantes se permutan de posición para eliminar la preferencia del modelo por la letra A.
• Continuación del trabajo ajeno: el modelo recibe el registro hasta el paso decisivo y actúa por sí mismo hasta tres pasos, con varios intentos.

La respuesta correcta siempre la determinan los tests del propio proyecto, no una persona ni otra red neuronal.

Resultados y dónde está el problema

Se evaluaron diez modelos base: tres Nemotron-3, Qwen-3.5-35B-A3B, DeepSeek-V4 Flash y Pro, Kimi-K2, GLM-4.5-Air, Hy3 y Gemma-4-26B. El ranking según estas pruebas se comparó con el de las versiones afinadas en SWE-bench Verified. El BPB en el paso decisivo dio 0,964 (considerando todos los pasos del registro, solo 0,915). Con registros del propio SWE-bench Verified, la continuación del trabajo ajeno llegó a 0,988. En HumanEval la correlación es de −0,394: los modelos con mejor resultado resultaban, de media, más débiles como agentes.

Una de las causas es la escasa dispersión. En MBPP, los diez modelos se concentraron en el rango del 67 al 86%, mientras que los agentes finales se repartieron entre el 38,8 y el 80,6%. Una prueba así distingue mal a un candidato fuerte de uno débil. Para dimensionar el coste: DeepSeek empleó en el fine-tuning de R1 unas 147 000 horas de GPU H800, alrededor de 294 mil dólares según su propia estimación, y eso solo contando el lanzamiento exitoso, sin experimentos.

La auditoría de NVIDIA también alcanzó a APTBench, de Tencent: de 1682 preguntas, 727 (43,2%) resultaron incorrectas, y en el apartado de gestión de errores, el 90,5%. Sus opciones erróneas las preparaban modelos de lenguaje. Una salvedad: la auditoría también se realizó con un agente de IA siguiendo criterios predefinidos, y el resultado global de APTBench sigue correlacionando con el ranking entre 0,88 y 0,90.

El propio método tiene limitaciones. En el experimento controlado se afinaron solo tres modelos, y el orden coincidió con el oficial, pero los propios autores lo describen como la continuación de una tendencia, no como una prueba. Con registros de otros benchmarks, la coincidencia fue más débil. El método es por ahora de investigación y no existe una herramienta lista para usar.

La conclusión práctica para los equipos que eligen la base de un agente: no se apoyen en HumanEval ni en MBPP; usen pruebas ligadas a ediciones reales en un repositorio y determinen la respuesta correcta con los tests del proyecto. La lógica es la misma que en la contratación: una entrevista estructurada sobre el trabajo real predice el resultado mejor que un test general de erudición.