La misma Gemma 4 escribió un backend con un 80% de aciertos en opencode y solo con un 41% en OpenHands
¿Se le puede confiar a un modelo local un backend de verdad, con base de datos, cola de mensajes y reglas de proyecto? El autor probó 4 modelos abiertos en 2 harnesses (programas envoltorio que dan al agente un terminal y un editor): 8 parejas con 3 ejecuciones cada una, 24 en total. Gemma 4 en opencode superó cerca del 80% de las comprobaciones, mientras que la misma Gemma en OpenHands solo alcanzó el 41%. Por eso hay que elegir la combinación «modelo + harness», no el modelo por separado.
Procesado por IA desde Habr AI; editado por Hamidun News
Cada vez se propone más usar modelos locales de pesos abiertos en lugar de los de la nube: el código no sale al exterior y el precio no depende de las tarifas de terceros. Pero ¿se le puede dar a un modelo así no una función de juguete, sino un backend de verdad (un servicio con base de datos, cola de mensajes y reglas de proyecto) y obtener código que funcione y, además, cumpla esas reglas? El autor lo probó con cuatro modelos y dos harnesses.
Un harness es un programa envoltorio alrededor del modelo: le da al agente un terminal y un editor de archivos y supervisa el curso del trabajo. Cada una de las ocho parejas «modelo + harness» resolvió la tarea tres veces, lo que suma 24 ejecuciones. El porcentaje del titular es la proporción de comprobaciones superadas (comportamiento del servicio y cumplimiento de las reglas del proyecto), promediada por los cinco pasos; para cada pareja se toma la mediana de las tres ejecuciones.
La conclusión breve del autor: casi lo logran. Las mejores parejas alcanzaron un 80% y un 79%, pero ninguna terminó sin al menos una observación.
Qué se evaluó y cómo
La tarea es una sola: escribir desde cero un servicio en FastAPI con PostgreSQL y RabbitMQ. Se dividió en cinco pasos, como lo haría un tech lead: esqueleto, API, reglas de dominio, base de datos y worker de la cola. El agente ejecuta cada paso en una sesión nueva y continúa su propio código del paso anterior, así que los errores se acumulan: si el servicio está roto en el segundo paso, el tercero parte de un código roto. Las reglas del proyecto están en el archivo AGENTS.md y describen una arquitectura limpia con elementos de DDD.
La evaluación tuvo tres capas. La primera son 68 tests ocultos que atacan el servicio a través de HTTP y RabbitMQ; el agente no los ve. La segunda son 8 comprobaciones generales de las reglas: linter, tipos, límites entre capas, los tests en verde del propio agente y configuraciones sin tocar. La tercera es un juez LLM, Claude Fable, con 22 criterios de arquitectura; su puntuación se da como una cifra aparte. Si no se supera una comprobación obligatoria (por ejemplo, las migraciones no se aplican a una base vacía) o el agente no cumple el límite de 2 horas por paso, el paso recibe un cero.
El autor también validó los propios tests: la solución de referencia la escribió Claude Code, y había además 23 versiones estropeadas de esa referencia. Al principio los tests no detectaban todo: en el primer paso pasaban 3 de las 6 versiones estropeadas, y una versión con /ready respondiendo en 62 segundos en lugar de 5 obtenía la puntuación completa. Los tests se ampliaron. El juez se contrastó con un segundo juez, GPT-5.6-Sol: las puntuaciones coincidieron exactamente en 27 casos de 30.
Quién lo hizo bien y cómo
Los modelos: Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super (un modelo MoE con 12.000 millones de parámetros activos de 120.000 millones) y Devstral 2 (123.000 millones de parámetros). Los harnesses: opencode, de terminal, y OpenHands, una plataforma más pesada con detector de bucles.
- Gemma en opencode: 80% (rango 76–96%). Una ejecución dura 72 minutos y consume 145 mil tokens. Supera el 81% de las comprobaciones en las tres ejecuciones seguidas. En OpenHands, el mismo modelo logró un 41%, y los rangos de las ejecuciones no se solapan.
- Qwen en opencode: 79% (78–96%). Con esa dispersión, el autor considera la diferencia de un punto un empate. Su mejor ejecución superó todas las comprobaciones de comportamiento y solo tropezó con el linter: 96%; con un hook de pre-commit que lanza el linter automáticamente, una ejecución llegó al 99%. Pero una ejecución dura 227 minutos y consume 596 mil tokens: el triple de tiempo y cuatro veces más tokens que Gemma. El juez dio a Qwen un 87% frente al 77% de Gemma, aunque por tests las dos parejas están igualadas. Qwen supera todas las comprobaciones en las tres ejecuciones en el 69% de los casos.
- Qwen en OpenHands: 59%; los cuatro pasos puestos a cero se deben al límite de tiempo.
- Las demás parejas tienen medianas de entre 41% y 55%, y no se pueden ordenar entre sí. Devstral en opencode gasta solo entre 114 y 188 mil tokens por ejecución, pero en los pasos 4–5 su servicio no funciona en ninguna de las tres ejecuciones.
Dónde fallaron los agentes
La comprobación más difícil: la base de datos deja de responder, las conexiones siguen abiertas y /ready debe devolver 503 en 10 segundos. Solo la superaron 2 ejecuciones de 24; de los 22 fallos, 17 fueron cuelgues. En 15 de ellos el código es casi idéntico: un temporizador de asyncio alrededor de una conexión del pool.
Parece correcto, pero la salida del bloque sigue esperando la respuesta del servidor. Solo Qwen en opencode no se fio y lo comprobó con un PostgreSQL falso que acepta la conexión y no responde (unos 130 turnos de 169), tras lo cual pasó a asyncpg puro con terminate(). La otra ejecución que lo superó creaba un engine nuevo en cada petición, lo que infringe la regla «un engine por proceso», algo que el test no detecta.
Gemma en OpenHands corrompía archivos: el comando cat con heredoc sin comillas (<<EOF) duplicó el texto en 17 llamadas de 24, y con comillas (<<'EOF') no lo hizo ninguna vez de 9. Qwen y Nemotron en el mismo harness escriben siempre con comillas: 0 fallos de 97. Se corrompieron 5 archivos en 2 ejecuciones de tres. El agente notó el daño, pero repitió el mismo comando 4 veces, y el detector de bucles cortó la sesión. El autor no investigó por qué el terminal se comporta así: es una correlación.
La regla del harness resultó más fuerte que la regla del proyecto. La tarea exigía cerrar cada paso con un commit, pero tras la compresión de un historial largo el requisito solo quedaba en el resumen, y el prompt de sistema de opencode ordena no hacer commit sin petición explícita. En 13 pasos de este tipo, el agente no llamó ni una vez a git commit. Trasladar la regla a AGENTS.md solo ayudó en 1 caso de 6. Y en una ejecución de Gemma, el propio agente dañó el historial de git y al juez no le quedaron instantáneas del código.
Qué hacer en la práctica
- Evalúe la pareja «modelo + harness», no solo el modelo.
- Deje las reglas obligatorias en manos de las herramientas (linter, hooks), no del texto del prompt.
- No tome los tests en verde como prueba: compruebe si detectan código roto a propósito.
- 19 nov 2026Las participaciones de Amazon y Google en Anthropic se valoran en $308 mil millones con la IPO a $83 por acción
- 19 nov 2026Gemini 4 Neon, de Google, es el doble de rápida que Carbon y un 17% más barata por tarea
- 19 nov 2026Los agentes de programación de OpenAI cuestan $2400 al día por investigador a precios de API
- 19 nov 2026Un script de GitHub detecta los motivos de rechazo de App Store y Google Play antes de la revisión: 542 estrellas en un día
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se evaluó y cómo?
La tarea es una sola: escribir desde cero un servicio en FastAPI con PostgreSQL y RabbitMQ. Se dividió en cinco pasos, como lo haría un tech lead: esqueleto, API, reglas de dominio, base de datos y worker de la cola. El agente ejecuta cada paso en una sesión nueva y continúa su propio código del paso anterior, así que los errores se acumulan: si el servicio está roto en el segundo paso, el tercero parte de un código roto.
¿Qué se sabe sobre Quién lo hizo bien y cómo?
Los modelos: Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super (un modelo MoE con 12.000 millones de parámetros activos de 120.000 millones) y Devstral 2 (123.000 millones de parámetros). Los harnesses: opencode, de terminal, y OpenHands, una plataforma más pesada con detector de bucles. Gemma en opencode: 80% (rango 76–96%). Una ejecución dura 72 minutos y consume 145 mil tokens. Supera el 81% de las comprobaciones en las tres ejecuciones seguidas.
Dónde fallaron los agentes?
La comprobación más difícil: la base de datos deja de responder, las conexiones siguen abiertas y /ready debe devolver 503 en 10 segundos. Solo la superaron 2 ejecuciones de 24; de los 22 fallos, 17 fueron cuelgues. En 15 de ellos el código es casi idéntico: un temporizador de asyncio alrededor de una conexión del pool. Parece correcto, pero la salida del bloque sigue esperando la respuesta del servidor.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.