Los agentes basados en Qwen3.6-27B y Qwen3-4B no cumplen el presupuesto de tiempo sin ayuda del harness

Si le dices a un agente «tienes 30 minutos», no trabajará exactamente 30 minutos. Los autores de un reciente preprint de arXiv lo comprobaron con dos modelos pequeños: Qwen3.6-27B en cinco competiciones de MLE-Bench Lite y Qwen3-4B en el juego de texto Zork I, del conjunto Jericho. No eligieron las dos tareas al azar: en ambas, disponer de más tiempo puede mejorar de verdad el resultado. La conclusión es incómoda. Los agentes no saben cumplir un plazo ni aprovechar con criterio el margen sobrante.

Por qué un prompt no basta

En el planteamiento base, el presupuesto solo se menciona en el texto de la tarea. El harness, es decir, la capa que lanza al agente y ejecuta sus comandos, no le informa de cuánto tiempo ha pasado. El agente se queda sin reloj. Los autores señalan tres causas del fallo:

• no hay retroalimentación sobre el tiempo: el modelo no ve cuántos segundos ha gastado ya;
• no hay estimación de la duración de las acciones: el agente no puede saber de antemano que entrenar un modelo o una ejecución larga no cabrán en el tiempo restante;
• no hay una relación aprendida entre presupuesto y estrategia: un límite corto no le obliga a elegir un plan más sencillo, y uno largo no le anima a profundizar más.

La segunda causa es especialmente importante en MLE-Bench. Allí, un solo paso mal elegido, como lanzar un entrenamiento pesado, consume todo el límite restante. Un error de planificación acaba siendo un error de estimación del tiempo.

Qué funcionó y qué no

Los investigadores probaron dos tipos de intervención. La primera actúa en el harness: mostrar al agente los tiempos e interrumpir su trabajo por la fuerza al llegar al plazo. La segunda entrena el propio modelo con reinforcement learning, en concreto GRPO con una recompensa que tiene en cuenta el presupuesto.

Con el harness, todo es bastante directo. En Qwen3.6-27B, el simple hecho de proporcionar información sobre el tiempo mejoró de forma notable el cumplimiento del presupuesto, sin una caída de calidad medible. Los hooks de finalización forzosa reforzaron la disciplina todavía más. Es una solución barata: no hace falta tocar el modelo, basta con modificar el harness.

El RL dejó un panorama más ambiguo. En Zork I, GRPO llevó el cumplimiento del presupuesto casi a la perfección y generalizó a presupuestos que no aparecían en el entrenamiento. Todo indica que el modelo sí aprendió a reconocer cuándo toca parar. Pero en MLE-Bench el entrenamiento no mejoró las métricas finales frente a un agente sin entrenar dentro del mismo harness.

El hallazgo principal es otro. Incluso cuando se obligó al agente a ajustarse al límite, no empezó a usar el tiempo sobrante de forma productiva. Las políticas entrenadas suelen rellenar los minutos restantes con acciones repetitivas. Y cuando se entrena con varios presupuestos a la vez, GRPO tiende a colapsar hacia la estrategia aprendida para el límite más corto. Es decir, el modelo respeta el plazo, pero no convierte un presupuesto largo en una solución más sólida.

Práctica para desarrolladores de agentes

La conclusión más sólida del trabajo: no confíes en el prompt. Si el agente tiene un presupuesto, dale un temporizador en el contexto y un corte duro a nivel de infraestructura. Esto no exige reentrenamiento y, a juzgar por los resultados con el modelo de 27B, no deteriora la calidad.

Segundo: no confundas el cumplimiento del límite con la eficiencia. La métrica «terminó a tiempo» debe ir junto a la métrica de resultado con varios presupuestos. Si la calidad no crece al aumentar el límite, el agente simplemente quema tiempo.

Tercero: en el entrenamiento con RL para distintos límites conviene vigilar el colapso hacia el modo corto. Hacen falta comprobaciones específicas con presupuestos largos y, posiblemente, recompensas que premien el uso útil del margen y no solo su respeto. Los autores califican abiertamente esta brecha entre disciplina y productividad como el problema central sin resolver para los agentes con condición de presupuesto.

Las limitaciones del trabajo también son evidentes: dos modelos pequeños y dos benchmarks. No conviene extrapolar las conclusiones a grandes sistemas cerrados sin comprobarlo. Pero como diagnóstico de los errores típicos de gestión del tiempo en agentes, el preprint resulta útil.