LangChain subió a un agente de programación del puesto 30 al top 5 en Terminal Bench sin cambiar el modelo
LangChain subió a su agente de programación Deep Agents de un puesto situado por debajo del top 30 al top 5 de Terminal Bench 2.0, sin cambiar el modelo: solo modificó el harness, es decir, la capa de software que rodea al modelo. La puntuación inicial de 52,8% con GPT-5.2-Codex mejoró gracias a tres ajustes: verificación de la solución con tests, indicaciones sobre el entorno y los límites de tiempo, y protección frente a los bucles. Si el agente falla, lo recomendable es analizar primero sus trazas y ajustar el harness antes de cambiar de modelo.
Procesado por IA desde LangChain Blog; editado por Hamidun News
Cuando un agente de programación rinde mal, la primera idea suele ser usar un modelo más potente. El equipo de LangChain probó otra vía: mantuvo el mismo modelo y rediseñó todo lo que lo rodea. Su agente Deep Agents subió en el ranking de Terminal Bench 2.0 desde un puesto situado justo por debajo del top 30 hasta el top 5. Solo se modificó el harness, es decir, la infraestructura que lo envuelve: el prompt del sistema, las herramientas y los hooks intermedios alrededor de las llamadas al modelo y a las herramientas.
¿Cómo se localizaron los puntos débiles?
Terminal Bench 2.0 es un conjunto estándar para evaluar agentes programadores: 89 tareas de aprendizaje automático, depuración, biología y otras áreas. La versión base del agente con GPT-5.2-Codex obtuvo un 52,8%. Es una cifra razonable, pero insuficiente para entrar en el top 30.
Después, LangChain construyó un ciclo repetible. Todas las acciones del agente se registran en las trazas de LangSmith, junto con las latencias, el número de tokens y el coste. El análisis de las trazas se encapsuló como una Agent Skill: descarga las trazas de una ejecución, lanza agentes paralelos que analizan los errores y, a partir de sus conclusiones, el agente principal elabora propuestas de cambios. Una persona puede revisar y discutir esas modificaciones, pero no es obligatorio. Hay también una advertencia: los ajustes pensados para una tarea concreta pueden romper otras, así que la generalización debe hacerse con cautela. Los responsables prometen publicar la skill.
Qué mejoró realmente el resultado
Autoverificación. El error más frecuente era este: el agente escribe la solución, relee su propio código, concluye que todo está bien y se detiene. Se añadió al prompt un orden de trabajo: estudiar la tarea y el código, elaborar un plan que incluya la verificación, escribir tests (incluidos los casos límite, no solo el escenario feliz), ejecutarlos, leer la salida completa y comparar el resultado con lo que pide el enunciado, no con su propio código. Además, se implementó PreCompletionChecklistMiddleware: intercepta al agente antes de que finalice y le obliga a contrastar de nuevo el resultado con la especificación.
Contexto sobre el entorno. El agente no conoce de antemano la estructura de directorios, las herramientas instaladas ni los tiempos límite estrictos. Por eso, al arrancar se le entrega un mapa de directorios y la lista de herramientas disponibles. Así se equivoca menos al buscar archivos. También se le indica que la solución será evaluada mediante tests automáticos, y que las rutas de archivo del enunciado deben respetarse literalmente. Se añadieron además advertencias sobre el límite de tiempo, ya que los agentes estiman mal el tiempo y no llegan a la fase de verificación.
Salida de los bucles. A veces, tras elegir un plan, el agente introduce diez o más variaciones menores sobre un enfoque que ya sabe que no funciona. El middleware cuenta las ediciones de cada archivo y, al superar cierto umbral, añade una sugerencia para replantear la estrategia. Esto no siempre funciona: si el modelo está convencido de que tiene razón, puede seguir por el mismo camino.
Presupuesto de razonamiento. Asignar el máximo de razonamiento a cada paso consume tiempo y provoca que se alcancen los límites. LangChain optó por un esquema en «sándwich»: xhigh en la planificación, high en la implementación y de nuevo xhigh en la verificación final. En las pruebas preliminares no hubo una diferencia notable entre las distintas distribuciones, así que se quedaron con este esquema. En una combinación de varios modelos, la misma lógica permite delegar la planificación en un modelo grande y la implementación en uno pequeño.
Qué conviene llevarse
En primer lugar, las trazas son una fuente de retroalimentación. Con frecuencia, el modelo se equivoca de camino porque le falta una herramienta o una instrucción adecuada, de modo que hay que revisar prompts y herramientas en conjunto.
En segundo lugar, las salvaguardas como el detector de bucles o los recordatorios sobre los tests son una medida temporal, pensada para las debilidades actuales de los modelos. Los propios autores reconocen que, a medida que los modelos mejoren, estos parches probablemente sobrarán.
En tercer lugar, el harness debe ajustarse a cada modelo concreto. Una prueba con Claude Opus 4.6 sobre una versión temprana del harness resultó competitiva, pero por detrás de Codex; no se ejecutó para Claude el ciclo de mejoras. Los principios generales (preparar el contexto, dar peso a la verificación) sí son transferibles, pero aun así compensa dedicar varias iteraciones a cada modelo y tarea.
También hay limitaciones. El resultado procede de un único benchmark con tiempos límite estrictos, mientras que en el trabajo real normalmente no existen esos límites. Por eso, las indicaciones sobre el tiempo y parte de las heurísticas tendrán que adaptarse. LangChain planea investigar a continuación combinaciones de varios modelos (Codex, Gemini, Claude), memoria para el aprendizaje continuo de los agentes y formas de medir el efecto de los cambios en el harness con distintos modelos. Deep Agents es un proyecto de código abierto.
- 27 oct 2026Artificial Analysis lanza Intelligence Index v5: los modelos abiertos se quedan 12 puntos atrás
- 12 nov 2026Meta abre los pesos de Muse Spark Open: codificación agéntica y 1 M de tokens ya en Modal
- 22 may 2026Cursor lanza Composer 2, un modelo de programación de nivel frontera a 0,50 dólares por millón de tokens
- 18 nov 2026Google lanza Gemini 4 Neon: tercer puesto en el ranking de IA y una tarea un 32% más barata
Preguntas frecuentes sobre la noticia
¿Cómo se localizaron los puntos débiles?
Terminal Bench 2.0 es un conjunto estándar para evaluar agentes programadores: 89 tareas de aprendizaje automático, depuración, biología y otras áreas. La versión base del agente con GPT-5.2-Codex obtuvo un 52,8%. Es una cifra razonable, pero insuficiente para entrar en el top 30. Después, LangChain construyó un ciclo repetible. Todas las acciones del agente se registran en las trazas de LangSmith, junto con las latencias, el número de tokens y el coste.
¿Qué se sabe sobre Qué mejoró realmente el resultado?
Autoverificación. El error más frecuente era este: el agente escribe la solución, relee su propio código, concluye que todo está bien y se detiene. Se añadió al prompt un orden de trabajo: estudiar la tarea y el código, elaborar un plan que incluya la verificación, escribir tests (incluidos los casos límite, no solo el escenario feliz), ejecutarlos, leer la salida completa y comparar el resultado con lo que pide el enunciado, no con su propio código.
¿Qué se sabe sobre Qué conviene llevarse?
En primer lugar, las trazas son una fuente de retroalimentación. Con frecuencia, el modelo se equivoca de camino porque le falta una herramienta o una instrucción adecuada, de modo que hay que revisar prompts y herramientas en conjunto. En segundo lugar, las salvaguardas como el detector de bucles o los recordatorios sobre los tests son una medida temporal, pensada para las debilidades actuales de los modelos.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.