Cinco redes neuronales, un mismo bug: dos lo arreglaron y tres rompieron más cosas
Un autor de Habr dio a cinco redes neuronales el mismo bug de publicación de un sitio web. Claude Code y Codex lo arreglaron; las otras tres rompieron aún más cosas. Pero un solo bug no sirve para elegir el mejor modelo: incluso en SWE-bench Verified, con 500 tareas, los diez primeros solo se diferencian en 164. Más peligrosa que un bug sin corregir es una modificación que rompe en silencio código vecino, porque se detecta más tarde. Por eso conviene aceptar un cambio según el diff y las pruebas que uno mismo ha ejecutado, no según el informe de la IA.
Procesado por IA desde Habr AI; editado por Hamidun News
Un bug, cinco redes neuronales, dos resultados. El autor de una publicación en Habr encargó a cinco modelos de IA la misma corrección de un error en la publicación de un sitio en el servidor. Claude Code y Codex arreglaron el bug. Los otros tres rompieron más cosas de las que ya estaban rotas. La tentación es proclamar a los dos primeros como los mejores, pero el propio autor la rechaza. En cambio, el experimento ilustra bien qué error es más peligroso y cómo detectarlo antes de que el cambio llegue al proyecto.
Por qué un solo bug no basta para elegir la mejor red neuronal
Un experimento aislado muestra cómo trabaja un modelo concreto, pero no establece un ranking. Los grandes benchmarks lo confirman. SWE-bench Verified es un conjunto de 500 tareas con verificación automática, tomadas de problemas reales de GitHub y seleccionadas por personas junto con OpenAI. Los dos mejores resultados resuelven 396 tareas de 500. Los diez primeros solo se diferencian en 164 tareas (Liu y coautores, arXiv). Una prueba por pares, que comprueba si la diferencia entre vecinos de la tabla es casual, no logró separar ninguna de las 29 parejas contiguas del top 30.
Hay además un segundo factor: el entorno de ejecución (harness). Es el programa que rodea a la red neuronal y a través del cual esta lee los archivos del proyecto y lanza comandos. Según los mismos autores, un solo modelo puede variar hasta 29,8 puntos porcentuales en la proporción de tareas resueltas según el entorno. En todo el top 30 la dispersión es de apenas 8,8 puntos. Es decir, el entorno altera el resultado el triple que la diferencia entre el primer y el trigésimo puesto. Si 500 tareas no separan a los vecinos de la tabla, un solo bug lo hará aún menos: con otra tarea, el reparto podría ser distinto.
Qué es más peligroso: un bug sin corregir o una regresión silenciosa
Un bug sin corregir se ve de inmediato. Lo peligroso es un cambio tras el cual deja de funcionar algo que antes funcionaba. A esa rotura se la llama regresión, y suele descubrirse más tarde.
Hay dos causas. La primera son los cambios superfluos: el agente toca más de lo que se le pidió y no comprueba el resto. Anthropic lo dice sin rodeos en la documentación de Claude Code: si el agente no tiene nada que ejecutar para saber si el trabajo está terminado, se detiene cuando el trabajo parece terminado.
El papel de las pruebas recae entonces en la persona. El benchmark SlopCodeBench (analizado en TechRadar) mostró que el código de los agentes es 2,2 veces más prolijo y enrevesado que el de 48 proyectos de Python mantenidos por personas. La prolijidad aumentó a lo largo de la tarea en el 89,8% de las ejecuciones; la complejidad, en el 80%.
Cuantas más líneas afecta un cambio, más espacio hay para una regresión.
La segunda causa son las pruebas débiles. El código puede pasar todas las pruebas automáticas y aun así dejar sin cubrir casos importantes. En el trabajo Probe to Generate, los investigadores reforzaron las pruebas y volvieron a evaluar a los diez mejores agentes de reparación de código. La proporción de tareas resueltas cayó entre un 4,2 y un 9,0%. Parte de los cambios aceptados antes se había colado por huecos en las pruebas y no hacía todo lo que exigía la tarea. La conclusión es sencilla: que la red neuronal informe de que «está arreglado» no demuestra nada. Lo que hay que revisar son los cambios y los resultados de las pruebas.
Cómo acotar al agente y verificar su cambio
Plantear la tarea de forma estrecha reduce el riesgo antes de empezar. Conviene indicar:
- el archivo y la función donde está el bug;
- cómo reproducir el bug y cuál debería ser el resultado;
- una prohibición expresa de tocar el resto del código;
- la petición de mostrar primero un plan y escribir el código solo después de su respuesta;
- una prueba que falle antes del cambio y pase después.
Las prohibiciones permanentes se guardan cómodamente en un archivo de reglas para el agente, para no repetirlas en cada tarea. Esto es importante también porque en Claude Code las sesiones nuevas en el terminal y en VS Code arrancan por defecto en modo automático, en el que los comandos se ejecutan sin confirmar cada uno. Cuanto menos a menudo confirme los pasos, más atención hay que prestar al resultado final.
Verificación del cambio, paso a paso:
- Abrir el diff completo y localizar los archivos y funciones que no se pidió tocar. Tres líneas en una función y doscientas en seis archivos conllevan riesgos distintos, aunque ambos cambios se llamen «arreglo».
- Contrastar los cambios con la tarea. Una variable renombrada, una función vecina reescrita o una validación de entrada eliminada son motivo para devolver el cambio.
- Comprobar que existe una prueba del propio bug. Si no la hay, pedir que la escriba.
- Ejecutar por cuenta propia el conjunto completo de pruebas y comprobar si el agente modificó las pruebas mismas. Si el proyecto no tiene pruebas, primero hace falta una que reproduzca el bug.
- Repetir la ejecución tras cada retoque: un cambio nuevo puede afectar a lo que pasó la vez anterior.
- Buscar una segunda opinión. La documentación de Claude Code aconseja encargar a un subagente, es decir, a una instancia independiente de la red neuronal, que revise el diff según la especificación y los casos límite, sin comentarios sobre estilo. Allí mismo se describe un stop hook: un script que devuelve al agente al trabajo hasta que la verificación se supere.
Cómo elegir modelo para tu proyecto
No se puede nombrar un ganador a partir de un solo bug. El resultado lo da la pareja formada por el modelo y su entorno, y buena parte de ese entorno la configura uno mismo: el modo de confirmaciones, el archivo de reglas, las verificaciones. Lo más práctico es encargar los cambios al modelo cuyo trabajo resulte más fácil de revisar en sus tareas: el que modifica pocas líneas, escribe una prueba para el bug y no se mete en archivos que no se le pidió tocar. Eso se percibe con unas pocas tareas en su propio repositorio; una tabla de clasificación no ayuda aquí.
La historia tiene una limitación honesta: es un único experimento de un solo autor, y el propio autor advierte de que con otro bug todo podría haber salido distinto. Pero la conclusión práctica no se debilita por ello. Es más peligroso el modelo que informa con seguridad de que ha arreglado el bug y ha tocado código vecino. La decisión sobre un cambio debe tomarla una persona: a partir de las líneas modificadas y de las pruebas que ella misma ha ejecutado.
- 18 nov 2026Un desarrollador da «manos» al chat web con IA: un servidor MCP con 14 herramientas y 21 mil líneas
- 18 nov 2026OpenAI lanza GPT-6.2 Astra: segundo puesto en el ranking y un 20% más barata
- 18 nov 2026Tres utilidades de «ahorro de tokens» subieron un 18–46% la factura de los agentes de IA
- 18 nov 2026Meituan abre los pesos de un modelo agéntico de 1,6 billones de parámetros entrenado sin Nvidia
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué un solo bug no basta para elegir la mejor red neuronal?
Un experimento aislado muestra cómo trabaja un modelo concreto, pero no establece un ranking. Los grandes benchmarks lo confirman. SWE-bench Verified es un conjunto de 500 tareas con verificación automática, tomadas de problemas reales de GitHub y seleccionadas por personas junto con OpenAI. Los dos mejores resultados resuelven 396 tareas de 500. Los diez primeros solo se diferencian en 164 tareas (Liu y coautores, arXiv).
¿Qué se sabe sobre Qué es más peligroso: un bug sin corregir o una regresión silenciosa?
Un bug sin corregir se ve de inmediato. Lo peligroso es un cambio tras el cual deja de funcionar algo que antes funcionaba. A esa rotura se la llama regresión, y suele descubrirse más tarde. Hay dos causas. La primera son los cambios superfluos: el agente toca más de lo que se le pidió y no comprueba el resto. Anthropic lo dice sin rodeos en la documentación de Claude Code: si el agente no tiene nada que ejecutar para saber si el trabajo está terminado, se detiene cuando el trabajo parece terminado.
Cómo acotar al agente y verificar su cambio?
Plantear la tarea de forma estrecha reduce el riesgo antes de empezar. Conviene indicar: el archivo y la función donde está el bug; cómo reproducir el bug y cuál debería ser el resultado; una prohibición expresa de tocar el resto del código; la petición de mostrar primero un plan y escribir el código solo después de su respuesta; una prueba que falle antes del cambio y pase después. Las prohibiciones permanentes se guardan cómodamente en un archivo de reglas para el agente, para no repetirlas en cada tarea.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.