La combinación de Opus y DeepSeek Flash resolvió el 67% de las tareas frente al 81% de Opus solo, y costó más

La idea es popular y parece lógica: un modelo caro como Opus planifica el trabajo y verifica el resultado, y uno barato, como DeepSeek o Qwen, escribe el código. La calidad debería mantenerse casi igual y la factura, bajar. Ibragim Badertdinov lo probó en la práctica y obtuvo el resultado contrario: la combinación de Opus con DeepSeek Flash resolvió el 67% de las tareas a $1,29 por tarea, mientras que Opus solo logró el 81% a $1,20.

Cómo se montó el conjunto de pruebas

Antes, el autor construía sus conjuntos a partir de sus propias sesiones de trabajo, pero las tareas resultaban demasiado fáciles: con ellas, cualquier combinación de modelos queda bien. Esta vez tomó 12 tareas difíciles de benchmarks abiertos, las más parecidas a su trabajo diario, sobre todo de nivel hard ML y SWE (desarrollo de software). Hizo varias ejecuciones y corrigió a mano las propias tareas.

Este es un hallazgo aparte: según el autor, más de la mitad de las tareas de los benchmarks no son justas. Sus tests o bien suspendían una solución que funcionaba, o bien dejaban pasar una débil. Si se comparan modelos sin esa depuración, parte de la diferencia en los rankings resulta ser ruido de las propias comprobaciones. Las tareas están publicadas en Harbor, así que cualquiera puede ejecutarlas en sus propias configuraciones. La tabla completa de resultados y la discusión están en un hilo en X y en una publicación en Reddit.

En total se probaron unas siete configuraciones, entre ellas el esquema del artículo de DeepSeek sobre el super agent y distintas combinaciones de modelos.

Por qué el worker barato no ahorró

La causa principal es la caché del prompt. El dinero se va sobre todo en ella. Mientras el modelo barato escribe código, la caché de Opus caduca. Cuando el control vuelve a Opus, hay que reconstruir el contexto, y eso cuesta más que todo el trabajo del modelo barato. El ahorro en tokens de generación se lo come la reconstrucción de la caché. Para quienes desarrollan pipelines agénticos, la conclusión es práctica: hay que contar no el precio del token del worker, sino toda la cadena, incluidos los tiempos muertos del contexto del modelo caro.

Funcionó otra técnica, inspirada en el artículo de DeepSeek. No se le prohibió a Opus escribir código; simplemente se le informó de que sus tokens costaban 20 veces más. El resultado fue el mismo, pero el precio bajó casi a la mitad: $0,71 por tarea. Es decir, el propio modelo decide cuánto delegar y qué escribir por sí mismo, y reparte el esfuerzo mejor que un esquema rígido de roles.

Los modelos baratos, por sí solos, superaron a las combinaciones

El resultado más inesperado: los modelos económicos, sin ninguna orquestación, superaron a todas las combinaciones. Terra resolvió el 78% de las tareas y Sol, el 75%, ambos a $0,17 por tarea. Es siete veces más barato que Opus solo, con un resultado a pocos puntos porcentuales. La publicación no revela qué hay detrás de los nombres Terra y Sol, por lo que no se pueden comparar con modelos públicos concretos.

También se probó por separado el papel de revisor. En el pipeline de revisión, el revisor examina los diffs y, si encuentra un problema, pide al worker que lo rehaga. Sol rindió muy bien en este papel; Opus, regular. Un modelo caro no garantiza un mejor control: la revisión es una habilidad distinta, que no tiene por qué coincidir con el nivel general del modelo.

Limitaciones y conclusión práctica

La muestra es pequeña: 12 tareas, así que una diferencia de unos pocos puntos porcentuales puede ser ruido estadístico. Las tareas se eligieron según el perfil de un solo ingeniero, hard ML y SWE, y en desarrollo web o refactorización rutinaria el panorama puede ser distinto. La publicación ofrece resultados solo para la combinación con DeepSeek Flash; no se dan cifras para Qwen como worker.

Aun así, las pautas están claras. Antes de montar un esquema de «cerebro caro, manos baratas», conviene medir el coste total teniendo en cuenta la caché. Si se busca ahorrar, vale la pena probar a decirle al modelo caro cuánto cuestan sus tokens y fijarse en las ejecuciones independientes de los modelos baratos: en este conjunto fueron la mejor relación entre precio y calidad. Y para la revisión tiene sentido evaluar no solo al modelo insignia, sino también a candidatos más modestos.