OpenAI abandona el principal benchmark de código y cambia las reglas del juego

Cuando una compañía cuyos modelos ocupaban de forma constante los primeros puestos de un ranking lo abandona públicamente, no es solo una decisión corporativa. Es la señal de un problema sistémico. OpenAI ha anunciado que deja de evaluar sus modelos en SWE-bench Verified, el benchmark que durante los últimos dos años sirvió como principal vara de medir de lo bien que la IA sabe escribir y corregir código real. El motivo es sencillo y a la vez inquietante: el benchmark ya no mide lo que debería medir.

SWE-bench nació como un intento ambicioso de ir más allá de las pruebas sintéticas. En lugar de pedir al modelo que resolviera un problema abstracto de LeetCode, proponía informes de errores reales de proyectos populares de código abierto en Python, como Django, scikit-learn o sympy. El modelo debía entender la descripción del error, encontrar el archivo correcto en el repositorio y escribir un parche que superara las pruebas. La versión Verified llegó después como variante depurada, con tareas revisadas manualmente por personas. Los laboratorios competían en ella y publicaban con orgullo el porcentaje de tareas resueltas en cada nota de prensa.

Pero tras la fachada de cifras vistosas se acumulaban los problemas. El análisis interno de OpenAI detectó dos vulnerabilidades críticas. La primera es la contaminación de los datos de entrenamiento.

Las tareas de SWE-bench Verified se basan en pull requests públicas de repositorios abiertos. Esos datos acaban inevitablemente en los corpus de entrenamiento de los grandes modelos de lenguaje. En pocas palabras, los modelos pudieron ver las respuestas correctas antes de ser evaluados.

Es el problema clásico de la filtración de datos, pero en SWE-bench ha alcanzado una escala que vuelve los resultados estadísticamente carentes de sentido. El segundo problema es la calidad de las propias pruebas. Algunas tareas incluían pruebas incorrectas o incompletas que podían dejar pasar soluciones erróneas o rechazar las correctas.

Cuando un benchmark se populariza lo suficiente, empieza a optimizarse para él, y no siempre con métodos honestos.

Conviene entender el contexto de esta decisión. La industria de la programación con IA vive un crecimiento explosivo. Decenas de startups, desde Cognition con su Devin hasta Poolside y Magic, captan cientos de millones de dólares en inversión, y casi todas usan los resultados en SWE-bench como argumento principal en sus presentaciones a inversores. Los grandes laboratorios, como Anthropic, Google DeepMind y la propia OpenAI, publican resultados en este benchmark con cada lanzamiento de un modelo nuevo. En la práctica, SWE-bench Verified se convirtió en la moneda de confianza de la programación con IA. Y ahora OpenAI dice que esa moneda se ha devaluado.

La compañía recomienda pasar a SWE-bench Pro, una versión actualizada del benchmark que, según sus creadores, resuelve ambos problemas. Las nuevas tareas se seleccionan específicamente para minimizar el solapamiento con los datos públicos de entrenamiento, y las pruebas pasan una verificación más estricta. Sin embargo, surge una pregunta lógica: ¿cuánto tiempo se mantendrá limpio SWE-bench Pro? La historia de los benchmarks en aprendizaje automático es la de su degradación gradual. ImageNet, GLUE, SuperGLUE, MMLU: todos acabaron dejando de distinguir a los modelos realmente potentes de los que simplemente estaban muy entrenados para esa prueba concreta.

Para la industria, las consecuencias van mucho más allá de un solo benchmark. Los inversores que ponen dinero en startups de programación con IA deben preguntarse ahora qué hay realmente detrás de las impresionantes cifras que les mostraron. Las empresas que integran asistentes de IA en sus procesos de desarrollo se ven obligadas a revisar sus criterios de selección. Y los investigadores reciben otro recordatorio de que, en la carrera por liderar los benchmarks, se pierde el vínculo con la utilidad real.

Hay además una pregunta más profunda. Si el principal laboratorio de IA del mundo reconoce que la herramienta estándar para medir el progreso está rota, ¿cómo vamos a saber si los modelos mejoran? En un mundo donde cada trimestre sale un nuevo modelo «revolucionario» con cifras récord, la ausencia de una regla fiable no es un detalle técnico, sino un problema fundamental.

OpenAI merece respeto por la honestidad de este reconocimiento. Pero el hecho de que la industria se haya apoyado tanto tiempo en un benchmark contaminado revela un déficit sistémico de pensamiento crítico en la comunidad. El paso a SWE-bench Pro va en la dirección correcta.

Pero el verdadero progreso comenzará cuando dejemos de reducir la evaluación de la IA a un solo número en una sola prueba y empecemos a construir sistemas de evaluación multidimensionales y resistentes a la manipulación, que reflejen la capacidad real de los modelos para ayudar a los desarrolladores en su trabajo diario.