OpenAI detecta errores críticos en SWE-Bench Pro, un popular benchmark de programación

OpenAI ha analizado SWE-Bench Pro, un popular conjunto de pruebas para evaluar las habilidades de programación de los modelos de IA, y ha encontrado problemas críticos: alrededor del 30% de las tareas contienen errores. Como consecuencia, la compañía ha retirado su respaldo y su recomendación de este benchmark.

Qué es SWE-Bench Pro

SWE-Bench Pro (Software Engineering Benchmark Pro) es un conjunto de pruebas estandarizado, diseñado para medir de forma objetiva la capacidad de los modelos de IA para resolver tareas reales de programación. Investigadores, empresas y evaluadores independientes lo utilizan ampliamente como una de las principales herramientas para comparar el rendimiento de distintos modelos de código.

Las tareas de SWE-Bench Pro se basan en problemas reales de GitHub. Además de escribir código, el modelo debe comprender sistemas de software complejos, corregir bugs y manejar escenarios poco triviales. Precisamente por esa cercanía a la realidad y por la objetividad de su evaluación, el test ganó gran popularidad en la comunidad de IA y se convirtió en el estándar de facto para comparar modelos públicamente.

El 30% de las tareas contienen errores o defectos

El análisis de OpenAI ha detectado problemas graves en alrededor del 30% de las tareas de SWE-Bench Pro. Estos errores van desde casos de prueba incorrectos hasta tareas mal formuladas y soluciones de referencia insuficientemente correctas. Por ello, los resultados obtenidos en esas tareas no son fiables e inducen a error al evaluar las capacidades reales de los modelos.

Descubrir problemas de esta magnitud en un benchmark popular y con autoridad supone un golpe importante a la fiabilidad de esta herramienta de evaluación. Si el 30% de todas las tareas equivale aproximadamente a 90 o más tests erróneos, se trata de una enorme cantidad de datos comprometidos. OpenAI, que anteriormente había aprobado y recomendado públicamente SWE-Bench Pro como un test fiable para comparar modelos, retira ahora oficialmente su respaldo. Esto significa que los resultados obtenidos con este benchmark, ampliamente citados en artículos científicos, blogs y comparativas, deben interpretarse con mucha cautela.

Por qué es fundamental

Los tests fiables e imparciales son la base de una evaluación honesta de las capacidades de los modelos de IA. Cuando un benchmark contiene errores sistemáticos, los resultados dejan de ser comparables, y las empresas o los investigadores pueden sacar conclusiones equivocadas sobre qué modelo es realmente mejor.

Este incidente subraya que incluso los tests populares y ampliamente utilizados requieren revisión, validación y actualización constantes. Las empresas y los investigadores que se apoyaron en los resultados de SWE-Bench Pro para elegir modelos o evaluar sus sistemas deben revisar sus conclusiones y ser más cautelosos al interpretar estos datos.

• Alrededor del 30% de las tareas de SWE-Bench Pro contienen errores o defectos
• OpenAI ha retirado su respaldo oficial y su recomendación del benchmark
• Investigadores y empresas usaban ampliamente el test para comparar modelos de código

Qué significa esto

Los problemas detectados en SWE-Bench Pro ponen de manifiesto un reto fundamental en la evaluación de las capacidades de la IA: crear tests realmente representativos, imparciales y libres de errores es extremadamente difícil y exige un esfuerzo enorme. La comunidad debe colaborar estrechamente para desarrollar métodos de evaluación más fiables, que reflejen las capacidades reales de los modelos sin artefactos ni errores en los propios tests.

Esto puede llevar a revisar y reevaluar los resultados comparativos de distintos modelos de IA publicados anteriormente a partir de SWE-Bench Pro. Hará falta un esfuerzo adicional considerable para desarrollar y verificar de forma independiente benchmarks mejorados que evalúen las habilidades de programación de los sistemas de IA.