Sonnet 4.6 con el servidor MCP de Sourcegraph supera a Fable 5: 0,698 frente a 0,568

Claude Sonnet 4.6 con el servidor MCP de Sourcegraph obtuvo 0,698 en nueve tareas de CodeScaleBench y superó a Claude Fable 5, que se quedó en 0,568. Sonnet trabajó sin el código fuente en disco y accedió a la base de código solo mediante herramientas de búsqueda. Fable 5 tenía un checkout local completo del repositorio y no usó retrieval. El modelo más barato ganó seis de las nueve tareas y, por cada punto de calidad, costó casi la mitad.

CodeScaleBench es el benchmark de la propia Sourcegraph para agentes de programación en bases de código grandes y multirrepositorio. Para la comparación se eligieron nueve tareas cuyo trabajo principal consiste en encontrar el código adecuado. Fable 5 es el primer modelo de acceso general de la línea Mythos de Anthropic, un nivel por encima de Opus. En su lanzamiento logró state-of-the-art en la mayoría de los benchmarks públicos, incluidas las evaluaciones de programación de Cursor y Cognition.

Búsqueda frente a lectura desde disco

Las condiciones de las dos configuraciones son opuestas.

• Sonnet 4.6 + Sourcegraph MCP server. No hay código fuente en disco. El agente busca en el código, resuelve símbolos y sigue las referencias entre repositorios.
• Fable 5 con checkout local. Todo el repositorio está a mano, el modelo lee los archivos directamente y no hay herramientas de retrieval.

Las cifras finales:

• Sonnet 4.6 con Sourcegraph: puntuación media de 0,698 y victoria en 6 de las 9 tareas.
• Fable 5 con código local: puntuación media de 0,568.
• El coste por punto de calidad de Fable es casi el doble. Sonnet cuesta aproximadamente la mitad.

El modelo barato con herramienta resultó mejor tanto en calidad como en precio. Para los equipos que calculan el gasto en agentes, el segundo dato importa tanto como el primero.

Dónde se produce exactamente la diferencia

La ventaja de Sonnet no se reparte por igual entre las tareas. La mayor aportación viene de las tareas en las que hay que averiguar cómo se usa realmente un símbolo en varios repositorios. Lideran el rastreo de vulnerabilidades y el seguimiento de dependencias entre organizaciones. Es justo ahí donde leer directamente una copia local aporta poco: puede que el código necesario ni siquiera esté en ella o que se encuentre demasiado lejos.

En las tareas sencillas casi no hay diferencia. El rastreo de configuración y una migración limpia las resuelven bien ambos esquemas, con resultados parecidos. Donde ya se ha alcanzado el techo, no hay margen para ganar.

También hay un ejemplo en sentido contrario. En una de las tareas con dependencias entre organizaciones, el modelo de frontera con checkout local completo sí se impuso. Este detalle habla a favor de la metodología: la prueba no está ajustada a un ganador conocido de antemano.

Sourcegraph ha publicado un results explorer. Para cualquier tarea muestra, lado a lado, las ejecuciones de ambos esquemas: el prompt completo, el diálogo y cada llamada a herramientas. Permite ver dónde un agente encuentra el archivo necesario y dónde el otro nunca llega a él.

Salvedades que no conviene pasar por alto

Primero, son nueve tareas, no todo CodeScaleBench. El acceso a Fable 5 se limitó pocos días después del lanzamiento, así que en la comparación solo entraron las tareas con ejecuciones válidas de Fable completadas antes de esa fecha. El propio autor del texto describe el resultado como una señal temprana, no como un benchmark consolidado.

Segundo, el benchmark pertenece a la empresa que vende la herramienta ganadora. Eso no resta valor a que las ejecuciones sean abiertas, pero no vendría mal una reproducción independiente con otras tareas.

Tercero, la prueba mide la navegación por el código. Quedaron fuera las tareas que exigen un razonamiento profundo dentro de un solo archivo. Sourcegraph las señala como la siguiente línea de medición, y es justo ahí donde la ventaja del retrieval podría desaparecer.

Qué comprobar al montar un agente con presupuesto limitado

La conclusión práctica para los equipos que construyen agentes sobre bases de código reales es esta: antes de actualizar el modelo, conviene evaluar la calidad de la búsqueda en el código. En tareas entre repositorios (búsqueda de vulnerabilidades, análisis de dependencias, evaluación del impacto de los cambios), la combinación de un modelo más barato con un buen retrieval puede superar a un modelo caro que carezca de él.

Lo recomendable es tomar entre 10 y 20 tareas típicas propias y dividirlas en dos clases: «encontrar dónde se usa esto» y «entender un fragmento complejo». La primera clase se ejecuta con la combinación «modelo intermedio + búsqueda MCP»; la segunda, con el modelo estrella y el código en local. Hay que comparar el coste por unidad de calidad, y no solo la puntuación final. Con esa métrica, Sonnet 4.6 con Sourcegraph superó a Fable 5.