SWE-bench

SWE-bench es un benchmark de ingeniería de software introducido por Carlos Jimenez y colegas de la Universidad de Princeton en 2023. Consiste en más de 2,000 problemas reales extraídos de repositorios populares de Python de código abierto — incluyendo Django, scikit-learn, Flask, astropy y sympy — cada uno emparejado con el parche de verdad fundamental utilizado para resolver el problema y un conjunto de pruebas que verifica la corrección. Un sistema pasa una tarea si su parche generado, aplicado a la base de código, hace que las pruebas relevantes pasen sin romper otras pruebas que ya pasaban. Esta métrica pass@1 resuelto requiere código funcionalmente correcto, no una respuesta que suena plausible.

SWE-bench prueba capacidades mucho más allá de la generación aislada de código: comprender bases de código grandes de múltiples archivos, reproducir errores a partir de descripciones en lenguaje natural, navegar la estructura del repositorio y escribir parches que se integren limpiamente con el estilo de código existente y la lógica. SWE-bench Lite (300 instancias curadas) y SWE-bench Verified (un subconjunto validado por humanos de aproximadamente 500 tareas) son los subconjuntos más comúnmente reportados, elegidos para reducir el ruido de problemas ambiguos. El rendimiento inicial fue muy bajo — las líneas de base de GPT-4 resolvieron menos del 5% en el benchmark completo, y el agente Devin de Cognition AI atrajo amplia atención en principios de 2024 al reportadamente resolver aproximadamente el 13.8% de las tareas, en ese momento un resultado de última generación.

SWE-bench importa porque mide la utilidad práctica de la ingeniería de una manera fundamentada y verificable, requiriendo el uso de herramientas y razonamiento de múltiples archivos en lugar de solo fluidez del lenguaje. Impulsó el desarrollo de agentes de codificación de IA especializados — sistemas que combinan modelos de lenguaje con acceso a shell, ejecución de código y herramientas de edición de archivos — y se convirtió en el benchmark competitivo principal para ese ecosistema.

A partir de 2026, las tasas de resolución en SWE-bench Verified han aumentado sustancialmente. Los sistemas agenticos principales de Anthropic, OpenAI y varios startups han reportado tasas de resolución superiores al 50%, con los sistemas principales reclamando más del 60%. Este progreso ha reducido el poder discriminativo del benchmark en la frontera e impulsó el interés en sucesores más desafiantes que cubran bases de código más grandes, tareas de múltiples repositorios y lenguajes que no sean Python.

Ejemplo

“Un agente de codificación de IA recibe la descripción de un error de enrutamiento de Django de un problema real de GitHub, reproduce autónomamente la prueba fallida, edita el archivo de código fuente relevante y envía un parche que pasa todas las pruebas — la tarea exacta que SWE-bench mide y califica.