Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarLangChain Blog→ original

LangChain subió a un agente de programación del puesto 30 al top 5 en Terminal Bench sin cambiar el modelo

LangChain subió a su agente de programación Deep Agents de un puesto situado por debajo del top 30 al top 5 de Terminal Bench 2.0, sin cambiar el modelo: solo modificó el harness, es decir, la capa de software que rodea al modelo. La puntuación inicial de 52,8% con GPT-5.2-Codex mejoró gracias a tres ajustes: verificación de la solución con tests, indicaciones sobre el entorno y los límites de tiempo, y protección frente a los bucles. Si el agente falla, lo recomendable es analizar primero sus trazas y ajustar el harness antes de cambiar de modelo.

Procesado por IA desde LangChain Blog; editado por Hamidun News
LangChain subió a un agente de programación del puesto 30 al top 5 en Terminal Bench sin cambiar el modelo
Fuente: LangChain Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalLangChain Blog ↗
Editor jefe
Dato clave #1Antes de que el agente termine, un middleware le obliga a contrastar su solución con la tarea
Dato clave #2Tras varias ediciones sobre un mismo archivo, el agente recibe el consejo de replantear su enfoque
Dato clave #3En el razonamiento, el esfuerzo se concentra en la planificación y la verificación, y menos en la implementación

Cuando un agente de programación rinde mal, la primera idea suele ser usar un modelo más potente. El equipo de LangChain probó otra vía: mantuvo el mismo modelo y rediseñó todo lo que lo rodea. Su agente Deep Agents subió en el ranking de Terminal Bench 2.0 desde un puesto situado justo por debajo del top 30 hasta el top 5. Solo se modificó el harness, es decir, la infraestructura que lo envuelve: el prompt del sistema, las herramientas y los hooks intermedios alrededor de las llamadas al modelo y a las herramientas.

¿Cómo se localizaron los puntos débiles?

Terminal Bench 2.0 es un conjunto estándar para evaluar agentes programadores: 89 tareas de aprendizaje automático, depuración, biología y otras áreas. La versión base del agente con GPT-5.2-Codex obtuvo un 52,8%. Es una cifra razonable, pero insuficiente para entrar en el top 30.

Después, LangChain construyó un ciclo repetible. Todas las acciones del agente se registran en las trazas de LangSmith, junto con las latencias, el número de tokens y el coste. El análisis de las trazas se encapsuló como una Agent Skill: descarga las trazas de una ejecución, lanza agentes paralelos que analizan los errores y, a partir de sus conclusiones, el agente principal elabora propuestas de cambios. Una persona puede revisar y discutir esas modificaciones, pero no es obligatorio. Hay también una advertencia: los ajustes pensados para una tarea concreta pueden romper otras, así que la generalización debe hacerse con cautela. Los responsables prometen publicar la skill.

Qué mejoró realmente el resultado

Autoverificación. El error más frecuente era este: el agente escribe la solución, relee su propio código, concluye que todo está bien y se detiene. Se añadió al prompt un orden de trabajo: estudiar la tarea y el código, elaborar un plan que incluya la verificación, escribir tests (incluidos los casos límite, no solo el escenario feliz), ejecutarlos, leer la salida completa y comparar el resultado con lo que pide el enunciado, no con su propio código. Además, se implementó PreCompletionChecklistMiddleware: intercepta al agente antes de que finalice y le obliga a contrastar de nuevo el resultado con la especificación.

Contexto sobre el entorno. El agente no conoce de antemano la estructura de directorios, las herramientas instaladas ni los tiempos límite estrictos. Por eso, al arrancar se le entrega un mapa de directorios y la lista de herramientas disponibles. Así se equivoca menos al buscar archivos. También se le indica que la solución será evaluada mediante tests automáticos, y que las rutas de archivo del enunciado deben respetarse literalmente. Se añadieron además advertencias sobre el límite de tiempo, ya que los agentes estiman mal el tiempo y no llegan a la fase de verificación.

Salida de los bucles. A veces, tras elegir un plan, el agente introduce diez o más variaciones menores sobre un enfoque que ya sabe que no funciona. El middleware cuenta las ediciones de cada archivo y, al superar cierto umbral, añade una sugerencia para replantear la estrategia. Esto no siempre funciona: si el modelo está convencido de que tiene razón, puede seguir por el mismo camino.

Presupuesto de razonamiento. Asignar el máximo de razonamiento a cada paso consume tiempo y provoca que se alcancen los límites. LangChain optó por un esquema en «sándwich»: xhigh en la planificación, high en la implementación y de nuevo xhigh en la verificación final. En las pruebas preliminares no hubo una diferencia notable entre las distintas distribuciones, así que se quedaron con este esquema. En una combinación de varios modelos, la misma lógica permite delegar la planificación en un modelo grande y la implementación en uno pequeño.

Qué conviene llevarse

En primer lugar, las trazas son una fuente de retroalimentación. Con frecuencia, el modelo se equivoca de camino porque le falta una herramienta o una instrucción adecuada, de modo que hay que revisar prompts y herramientas en conjunto.

En segundo lugar, las salvaguardas como el detector de bucles o los recordatorios sobre los tests son una medida temporal, pensada para las debilidades actuales de los modelos. Los propios autores reconocen que, a medida que los modelos mejoren, estos parches probablemente sobrarán.

En tercer lugar, el harness debe ajustarse a cada modelo concreto. Una prueba con Claude Opus 4.6 sobre una versión temprana del harness resultó competitiva, pero por detrás de Codex; no se ejecutó para Claude el ciclo de mejoras. Los principios generales (preparar el contexto, dar peso a la verificación) sí son transferibles, pero aun así compensa dedicar varias iteraciones a cada modelo y tarea.

También hay limitaciones. El resultado procede de un único benchmark con tiempos límite estrictos, mientras que en el trabajo real normalmente no existen esos límites. Por eso, las indicaciones sobre el tiempo y parte de las heurísticas tendrán que adaptarse. LangChain planea investigar a continuación combinaciones de varios modelos (Codex, Gemini, Claude), memoria para el aprendizaje continuo de los agentes y formas de medir el efecto de los cambios en el harness con distintos modelos. Deep Agents es un proyecto de código abierto.

Historia

Preguntas frecuentes sobre la noticia

¿Cómo se localizaron los puntos débiles?

Terminal Bench 2.0 es un conjunto estándar para evaluar agentes programadores: 89 tareas de aprendizaje automático, depuración, biología y otras áreas. La versión base del agente con GPT-5.2-Codex obtuvo un 52,8%. Es una cifra razonable, pero insuficiente para entrar en el top 30. Después, LangChain construyó un ciclo repetible. Todas las acciones del agente se registran en las trazas de LangSmith, junto con las latencias, el número de tokens y el coste.

¿Qué se sabe sobre Qué mejoró realmente el resultado?

Autoverificación. El error más frecuente era este: el agente escribe la solución, relee su propio código, concluye que todo está bien y se detiene. Se añadió al prompt un orden de trabajo: estudiar la tarea y el código, elaborar un plan que incluya la verificación, escribir tests (incluidos los casos límite, no solo el escenario feliz), ejecutarlos, leer la salida completa y comparar el resultado con lo que pide el enunciado, no con su propio código.

¿Qué se sabe sobre Qué conviene llevarse?

En primer lugar, las trazas son una fuente de retroalimentación. Con frecuencia, el modelo se equivoca de camino porque le falta una herramienta o una instrucción adecuada, de modo que hay que revisar prompts y herramientas en conjunto. En segundo lugar, las salvaguardas como el detector de bucles o los recordatorios sobre los tests son una medida temporal, pensada para las debilidades actuales de los modelos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…