LangChain pone a prueba claude-3.5-sonnet, gpt-4o, o1 y o3-mini como agentes ReAct

En julio de 2026, el equipo de LangChain publicó el estudio Benchmarking Single Agent Performance. En él analiza cómo afecta el aumento del número de instrucciones y herramientas disponibles al rendimiento de un único agente ReAct.

Qué se evaluó

ReAct (Reasoning + Acting) es uno de los patrones básicos para construir agentes de AI: el modelo alterna entre razonar en voz alta y llamar a herramientas, y se apoya en el resultado de cada paso anterior. Cuantas más herramientas y reglas añade el desarrollador al system prompt de un agente así, más difícil se vuelve la tarea para el modelo. Además del objetivo actual, debe mantener en contexto una lista creciente de funciones y restricciones disponibles.

• En el benchmark participaron los modelos claude-3.5-sonnet, gpt-4o, o1 y o3-mini
• Las pruebas se ejecutaron en dos dominios de tareas distintos
• La variable clave del experimento fue el número de instrucciones y herramientas disponibles para el agente de forma simultánea

Por qué importa a quienes desarrollan agentes

En la práctica, los equipos que construyen agentes para producción suelen tomar el camino de menor resistencia: añaden al agente cada vez más herramientas —búsqueda en bases de datos, envío de correos, gestión del calendario— sin comprobar cómo influye esto en la calidad de las decisiones del modelo. Los resultados de benchmarks como este ayudan a entender si un modelo concreto tiene un límite a partir del cual más funciones disponibles dejan de ayudar y empiezan a dificultar que el agente elija el siguiente paso correcto.

La comparación de varias familias de modelos a la vez —los closed-source claude-3.5-sonnet y gpt-4o, junto con los modelos de razonamiento o1 y o3-mini de OpenAI— muestra que las diferencias de arquitectura entre los modelos de chat «convencionales» y los diseñados para el razonamiento paso a paso pueden manifestarse de forma distinta precisamente en escenarios agénticos cargados de herramientas, y no en benchmarks sencillos de pregunta-respuesta.

Qué mostró la comparación entre dominios

Ejecutar el benchmark en dos dominios de tareas distintos, y no en uno solo, permite separar el patrón general («cuantas más herramientas, más difícil para el agente») de los efectos particulares de un área concreta. Si un modelo pierde calidad de forma sistemática al crecer el número de herramientas en ambos dominios, es una señal clara de una limitación fundamental del enfoque ReAct como tal, y no de las particularidades de una sola tarea.

Para los ingenieros que diseñan sistemas multiagente, esto también es un argumento a favor de la descomposición: en lugar de un único agente con decenas de herramientas, a menudo resulta más eficaz repartir la tarea entre varios agentes muy especializados, cada uno con un conjunto de funciones pequeño y cuidadosamente seleccionado.

Qué aporta comparar cuatro modelos a la vez

Probar simultáneamente claude-3.5-sonnet, gpt-4o y dos modelos de razonamiento de OpenAI —o1 y o3-mini— con el mismo conjunto de herramientas e instrucciones ofrece a los desarrolladores una referencia para elegir el modelo base de su propio agente. En lugar de fiarse de benchmarks generales de pregunta-respuesta, pueden apoyarse en datos sobre el comportamiento de los modelos precisamente en un escenario agéntico cargado de herramientas, más cercano a sus tareas reales en producción, donde las herramientas se cuentan por decenas y no por unidades.

Qué significa esto

Para los equipos de ingeniería que diseñan sus propios agentes ReAct, la conclusión es práctica: la elección del modelo y el límite de herramientas disponibles a la vez no son un detalle secundario, sino un parámetro que conviene probar empíricamente con sus propias tareas, en lugar de asumir por defecto que "más herramientas significa un agente más inteligente".