El plan añadió 11,6 p. p. de tareas resueltas al modelo débil; al fuerte le bastó con el terminal
Los asistentes de IA para programar ejecutan el mismo modelo de formas distintas: con plan o sin él, con un conjunto de herramientas o con un solo terminal. Un grupo de investigadores probó 176 configuraciones de este tipo. A Nemotron-3 30B, el modelo débil, el plan le sumó 11,6 p. p. de bugs resueltos en SWE-Bench. Al modelo fuerte de 550B, un único terminal le dio +3,6 p. p. y abarató la tarea un 53%. La conclusión: el arnés hay que elegirlo según el modelo.
Procesado por IA desde Habr AI; editado por Hamidun News
Seguramente lo ha notado: el mismo modelo arregla bugs en un asistente de IA para código y tropieza con una tarea sencilla en otro. La causa no siempre está en el modelo. A su alrededor funciona una capa de software, el «arnés» (harness, en inglés).
Es la que decide si el agente elabora un plan, con qué herramientas toca los archivos y el terminal, y qué hace cuando la conversación deja de caber en la ventana de contexto. Un grupo de investigadores midió cuánto aporta cada pieza en la práctica. A Nemotron-3, un modelo débil de 30 mil millones de parámetros, el plan le añadió 11,6 puntos porcentuales (p.
p.) de tareas resueltas en SWE-Bench, un conjunto de 500 bugs reales en repositorios de Python. Para entenderlo: si sin plan resolviera el 30% de las tareas, con plan resolvería el 41,6%.
En cambio, a un modelo fuerte de 550 mil millones de parámetros le resultó más rentable trabajar con un solo terminal en lugar de ocho herramientas ya preparadas: la precisión subió 3,6 p. p. y el coste de la tarea bajó un 53%.
Cómo se probó
Por lo general, los arneses se comparan ejecutando productos ya hechos sobre las mismas tareas. Así no se sabe qué factor explica la diferencia. Aquí los autores partieron de un ciclo ReAct sencillo (el modelo razona, actúa, observa el resultado y repite) y cambiaron solo tres componentes.
El primero es la planificación. El modelo dispone de una herramienta, update_plan: una lista de pasos en la que solo uno es el actual y los demás están completados o pendientes. El modelo ve únicamente la versión más reciente del plan; los borradores anteriores no ocupan contexto.
El segundo es el conjunto de acciones. La versión completa tiene ocho herramientas: lectura, creación y edición puntual de archivos, listado de carpetas, búsqueda por nombre y por texto del código, terminal y descarga de páginas web. En la versión reducida solo queda el terminal.
El tercero es la gestión del contexto, con cinco variantes. La primera no hace nada. Las demás sustituyen los resultados antiguos de las herramientas por un marcador breve (el texto desaparece para siempre o se puede recuperar), resumen el historial antiguo con el mismo modelo o combinan ambas técnicas. En la variante combinada, los marcadores baratos se activan con un umbral blando de llenado de la ventana, y el costoso resumen solo con un umbral duro.
Modelos: Nemotron-3 de 30, 120 y 550 mil millones de parámetros, y Mistral-Medium-3.5-128B, de otra familia. Tareas: 500 bugs de SWE-Bench Verified y 89 tareas de línea de comandos de Terminal-Bench 2.1. Ventana de 32 a 128 mil tokens, para un total de 176 configuraciones.
Contexto, resumen y «recuperación» de texto
Sin gestión de contexto y con una ventana de 32 mil tokens, se perdía de media el 78,7% de las tareas de SWE-Bench: la conversación chocaba con el límite y la ejecución terminaba con un error. Con 128 mil tokens, las pérdidas eran del 8,7%. En Terminal-Bench bajaron del 61% al 12%. Con cualquier tipo de gestión de contexto no se perdió ni una sola tarea. El estilo de trabajo del agente apenas cambió: simplemente le daba tiempo a llegar a la verificación.
Los marcadores y el resumen lograron una precisión similar, pero con un coste distinto. El marcador sustituye un texto ya existente, mientras que el resumen exige una llamada adicional, de pago, al modelo. Por eso la opción más rentable fue el híbrido con dos umbrales: con una precisión comparable, resultó el más barato en casi todas las combinaciones.
La idea de «dejar que el modelo recupere un resultado eliminado» no funcionó. En más de la mitad de las configuraciones que incluían esa herramienta, el modelo no la invocó ni una sola vez. El modelo más débil la usó con más frecuencia, más de cuatro veces por tarea en Terminal-Bench con una ventana de 32 mil tokens, pero su resultado fue 3,4 p. p. inferior al de los marcadores sin recuperación. En promedio, la diferencia no llegaba a medio punto.
Los modelos débiles necesitan pistas; a los fuertes les estorban
Para Nemotron-3 30B, el plan fue la condición para lograr un resultado mínimamente aceptable. Sin él, la trayectoria típica en SWE-Bench se reducía de 40 a 5 pasos, y más de dos tercios de las ejecuciones terminaban sin una sola modificación del código. Con plan, esas ejecuciones fueron el 27,8%.
En el 58,4% de las ejecuciones sin plan, el modelo nunca pasó de buscar el lugar adecuado en el código; con plan, fueron el 10,4%. Resultado: +11,6 p. p.
en SWE-Bench y +4,5 p. p. en Terminal-Bench, aunque el trabajo se volvió más largo y caro.
Cuando se le dejó a este modelo solo el terminal, siguió invocando herramientas inexistentes. Por ese motivo se interrumpieron dos tercios de las ejecuciones en Terminal-Bench, y la precisión cayó 15 p. p.
en SWE-Bench y 10 p. p. en Terminal-Bench.
En Nemotron-3 550B y Mistral, el plan apenas alteró la precisión, pero el coste en SWE-Bench bajó cerca de un 30%: desaparecieron sobre todo las comprobaciones posteriores a la edición, es decir, el modelo volvía a revisar con menos frecuencia una solución ya terminada. En 550B, un solo terminal elevó la precisión 3,6 p. p. en SWE-Bench y 5,6 p. p. en Terminal-Bench, y redujo el coste un 53% y un 30%, respectivamente. El modelo agrupaba varias operaciones en un solo comando y editaba un mismo archivo por fragmentos con menos frecuencia: 1,5 ediciones por tarea en lugar de 4,6.
En Mistral, todo dependió del tipo de tarea. En SWE-Bench, sin las herramientas preparadas perdió 23,2 p. p., y un tercio de las ejecuciones (32,8%) terminó sin una sola edición, frente al 1,2% con el conjunto completo. En Terminal-Bench, en cambio, un solo terminal dio +6,7 p. p.: esas tareas ya se resuelven con comandos. Nemotron-3 120B tuvo un comportamiento irregular: el plan no aportó una mejora estable, y las herramientas preparadas dieron +1,6 p. p. en SWE-Bench y +4,5 p. p. en Terminal-Bench.
Qué hacer en la práctica
- Con una ventana pequeña (hasta 64 mil tokens), active la gestión de contexto, preferiblemente un híbrido de marcadores y resumen.
- A un modelo débil, désele plan y el conjunto completo de herramientas.
- Con un modelo fuerte, pruebe un arnés reducido: sin plan y con un solo terminal. Puede ahorrar hasta un tercio del presupuesto sin pérdida de calidad.
- El mecanismo para recuperar el historial eliminado se puede omitir.
- Si las tareas dependen de la estructura del repositorio, las herramientas de archivos son útiles. Si todo se resuelve mediante shell, pueden estorbar al añadir opciones innecesarias.
Limitaciones
Cada configuración se ejecutó una sola vez y Terminal-Bench es pequeño, por lo que muchas de las diferencias allí no son estadísticamente significativas. El plan y las herramientas se probaron solo con una estrategia de contexto y con la ventana más grande. SWE-Bench consta de tareas en Python, y el tamaño del modelo refleja sus capacidades solo de forma aproximada. La conclusión es simple: no existe un arnés universal; se elige para cada pareja de «modelo y tipo de tareas» y se mide con los datos propios.
- 12 nov 2026Ocho países, OpenAI y Anthropic prometen un «interruptor de emergencia» para los modelos de IA, pero sin plazos ni sanciones
- 12 nov 2026ElevenLabs Scribe v3 Live enseña a los agentes de voz a no interrumpir: un 25 % menos de errores
- 12 nov 2026Prompts en ruso en ComfyUI: FLUX.2 y Qwen-Image pierden entre 4 y 13 puntos, y SD-Turbo casi todo
- 8 nov 2026Un protocolo de consulta con IA completa 50 campos en 35 segundos en Moscu, mientras las clinicas privadas guardan silencio
Preguntas frecuentes sobre la noticia
Cómo se probó?
Por lo general, los arneses se comparan ejecutando productos ya hechos sobre las mismas tareas. Así no se sabe qué factor explica la diferencia. Aquí los autores partieron de un ciclo ReAct sencillo (el modelo razona, actúa, observa el resultado y repite) y cambiaron solo tres componentes. El primero es la planificación. El modelo dispone de una herramienta, update_plan: una lista de pasos en la que solo uno es el actual y los demás están completados o pendientes.
¿Qué se sabe sobre Contexto, resumen y «recuperación» de texto?
Sin gestión de contexto y con una ventana de 32 mil tokens, se perdía de media el 78,7% de las tareas de SWE-Bench: la conversación chocaba con el límite y la ejecución terminaba con un error. Con 128 mil tokens, las pérdidas eran del 8,7%. En Terminal-Bench bajaron del 61% al 12%. Con cualquier tipo de gestión de contexto no se perdió ni una sola tarea. El estilo de trabajo del agente apenas cambió: simplemente le daba tiempo a llegar a la verificación.
¿Qué se sabe sobre Los modelos débiles necesitan pistas; a los fuertes les estorban?
Para Nemotron-3 30B, el plan fue la condición para lograr un resultado mínimamente aceptable. Sin él, la trayectoria típica en SWE-Bench se reducía de 40 a 5 pasos, y más de dos tercios de las ejecuciones terminaban sin una sola modificación del código. Con plan, esas ejecuciones fueron el 27,8%. En el 58,4% de las ejecuciones sin plan, el modelo nunca pasó de buscar el lugar adecuado en el código; con plan, fueron el 10,4%. Resultado: +11,6 p. p. en SWE-Bench y +4,5 p. p.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.