DeepSeek Flash resuelve tareas en Delphi 12 veces más barato que Sonnet 5.5 y GPT-6.1 Sol
Los rankings públicos no sirven de mucho para elegir un agente para Delphi, así que el autor de software de laboratorio puso a prueba siete modelos con 20 tareas de sus repositorios cerrados. DeepSeek V4.1 Flash costó 12 veces menos que Sonnet 5.5 y GPT-6.1 Sol: el conjunto de esos dos sale por unos $10, es decir, entre $0,46 y $0,55 por tarea. Sin embargo, Sonnet 5.5 perdió una tarea entera por una advertencia extra del compilador. Por eso, evalúe el agente con su propio código y cuente las advertencias.
Procesado por IA desde Хабр: Машинное обучение; editado por Hamidun News
Si programa en Delphi, los rankings públicos de modelos de código apenas le servirán de ayuda: evalúan otras tareas, y los líderes de las tablas rompen con frecuencia los formularios VCL. El autor, que lleva muchos años desarrollando software científico y de laboratorio en Delphi, decidió comprobar los agentes con su propio código. Tomó 20 tareas reales de tres repositorios cerrados y las ejecutó con siete modelos, tanto en la nube como locales.
La conclusión económica principal: DeepSeek V4.1 Flash completa el conjunto unas 12 veces más barato que Sonnet 5.5 y GPT-6.
1 Sol. En estos dos últimos, el conjunto de 20 tareas cuesta alrededor de $10, es decir, entre $0,46 y $0,55 por tarea. La conclusión de calidad es más sorprendente: incluso un modelo potente puede obtener cero en una tarea cuyos tests están todos en verde.
Cómo se diseñó la prueba
Los repositorios son el programa de reflectometría de rayos X X-Ray Calc 3, el software de un tribómetro y un cliente de diario electrónico con servidor MCP. Los tres son cerrados, así que los modelos no pueden tener soluciones listas en sus datos de entrenamiento. El script recorrió el historial y encontró 1547 commits con correcciones de errores y mejoras menores: 831 en el diario, 443 en X-Ray Calc 3 y 273 en el tribómetro. De ahí se seleccionaron 20 tareas: 11 de lógica, cálculos y flujos, y 9 de formularios, tablas, gráficos y diálogos VCL.
Los ejemplos son comprensibles para cualquier desarrollador. Los números del JSON se redondeaban con una función que no manejaba valores muy pequeños, y el ajuste del perfil de la película fallaba con un error. El campo de límite del eje de un gráfico se recalculaba con cada pulsación de tecla, de modo que al escribir «1» o «1e» de camino a 1e-8, el programa reaccionaba a un número incompleto. La herramienta de gestión de la base de datos se caía con transacciones anidadas de FireDAC. Y en el menú de ayuda había que añadir una comprobación de actualizaciones en GitHub con verificación de la suma de control SHA-256.
Cada tarea se compiló con RAD Studio 37.0: antes de la corrección el proyecto compila y los nuevos tests DUnitX fallan; después de la corrección de la autora, todo compila y los tests pasan. El agente de consola recibía una copia limpia del repositorio, la descripción y el comando de compilación.
Se eliminaron los archivos de instrucciones para agentes, se desactivó el servidor de lenguaje y se fijó un límite de 45 minutos. Había dos modos: sin instrucciones y con la habilidad delphi-development, que describe la estructura de los proyectos y cuatro reglas: los componentes visuales solo en .dfm, el par TImageCollection y TVirtualImageList en lugar de TImageList, y la liberación de objetos locales mediante try..
finally. Una tarea no se contaba como superada si el número de advertencias del compilador subía por encima del nivel inicial.
Quién mostró qué
DeepSeek Flash y Claude Haiku 5.5 se ejecutaron tres veces por tarea; el resto de modelos, una sola vez. Todos los modelos en la nube funcionaron con un nivel alto de razonamiento. DeepSeek Flash con la habilidad superó todos los tests en 60 de 60 ejecuciones y, según la escala estricta, obtuvo 58 de 60. Por tarea tarda de media entre 337 y 383 segundos. Además, superó en precisión a Haiku 5.5, de precio similar: esta cuesta $0,061 por tarea y logra entre el 83% y el 88% de ejecuciones exitosas.
GPT-6.1 Terra salió un día antes de la publicación. Según las tarifas de OpenAI, cuesta $1, $5 y $0,05 por millón de tokens de entrada, de salida y en caché, la mitad que Sol. El conjunto le costó entre $3,52 y $3,56, un tercio del precio de Sol y Sonnet. En los tests, Terra obtuvo 19 de 20 (95%). En la tarea de actualización automática XRC-09, en la que Sol fracasó en ambos modos, Terra la resolvió al primer intento. Sol suele dedicar entre 7 y 11 minutos a cada tarea, y en dos tareas del diario sin la habilidad agotó el límite completo de 45 minutos.
Fuera de la tabla quedaron Gemini 4 Argon (se detuvo tras 24 ejecuciones por su velocidad), GLM 5.3 Flash (en OpenRouter se agotó el saldo tras la cuarta tarea) y Claude Opus 5.5 (solo dos tareas de prueba, porque Sonnet ya las resolvió).
Cómo una sola advertencia dejó a casi todos a cero
La historia más reveladora es la tarea XRC-06: añadir un botón para borrar los resultados desde un archivo de proyecto que, en realidad, es un zip. Sonnet 5.5 superó las 20 tareas según los tests, pero obtuvo 19 de 20 según la escala estricta.
La causa no fue la lógica. Los 37 tests ocultos pasaban, pero el proyecto ya tenía una advertencia del compilador, W1002 («el símbolo depende de la plataforma»), en una función existente de escritura del archivo. Sol y el primer intento de DeepSeek movieron la lógica común a un procedimiento auxiliar, y la advertencia quedó en una sola.
Sonnet, Terra, Haiku, Qwen Coder y otros dos intentos de DeepSeek escribieron una función aparte y copiaron con honestidad la comprobación de «solo lectura» de una función vecina. Así, las líneas con el símbolo problemático pasaron a ser dos, la advertencia se convirtió en dos en lugar de una, y el script puso cero.
La segunda lección fue la tarea TRB-04. La ventana se caía al abrirse por un par de propiedades de TStringGrid: primero hay que aumentar el número de filas y solo después fijar el número de filas fijas. El error en FormCreate mostraba un cuadro modal de Windows que nadie podía aceptar, así que el test se quedaba colgado hasta el tiempo límite en lugar de fallar sin más.
Qué hacer en la práctica
No elija un agente por su ranking público: reúna de 10 a 20 tareas de su propio historial de commits con tests. Incluya en la evaluación el número de advertencias del compilador; si no, se le pasará justo el caso que hizo fallar a Sonnet aquí. Para las correcciones rutinarias, el económico DeepSeek Flash parece más sensato que los modelos de $10 por conjunto. La limitación es evidente: 20 tareas y un único autor no constituyen una estadística válida para todos los proyectos, sino una referencia orientativa.
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
- 21 nov 2026Durante tres días, a través de OpenRouter respondió un DeepSeek manipulado: las negativas cayeron del 83–98 % a un 1 %
- 21 nov 2026Alisa, ChatGPT y Perplexity citan solo 34 de 309 plataformas para artículos
- 21 nov 2026CoreWeave mide Vera Rubin: hasta 10 veces más tokens por megavatio que la GB200
Preguntas frecuentes sobre la noticia
Cómo se diseñó la prueba?
Los repositorios son el programa de reflectometría de rayos X X-Ray Calc 3, el software de un tribómetro y un cliente de diario electrónico con servidor MCP. Los tres son cerrados, así que los modelos no pueden tener soluciones listas en sus datos de entrenamiento. El script recorrió el historial y encontró 1547 commits con correcciones de errores y mejoras menores: 831 en el diario, 443 en X-Ray Calc 3 y 273 en el tribómetro.
¿Qué se sabe sobre Quién mostró qué?
DeepSeek Flash y Claude Haiku 5.5 se ejecutaron tres veces por tarea; el resto de modelos, una sola vez. Todos los modelos en la nube funcionaron con un nivel alto de razonamiento. DeepSeek Flash con la habilidad superó todos los tests en 60 de 60 ejecuciones y, según la escala estricta, obtuvo 58 de 60. Por tarea tarda de media entre 337 y 383 segundos. Además, superó en precisión a Haiku 5.5, de precio similar: esta cuesta $0,061 por tarea y logra entre el 83% y el 88% de ejecuciones exitosas.
Cómo una sola advertencia dejó a casi todos a cero?
La historia más reveladora es la tarea XRC-06: añadir un botón para borrar los resultados desde un archivo de proyecto que, en realidad, es un zip. Sonnet 5.5 superó las 20 tareas según los tests, pero obtuvo 19 de 20 según la escala estricta. La causa no fue la lógica. Los 37 tests ocultos pasaban, pero el proyecto ya tenía una advertencia del compilador, W1002 («el símbolo depende de la plataforma»), en una función existente de escritura del archivo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.