¿Qué IA es mejor para agentes LLM? Prueba de 11 modelos

Un desarrollador probó 11 modelos de lenguaje (LLM) en una tarea real de un agente LangGraph en producción. Entre ellos había modelos de fabricantes estadounidenses y chinos, además de Fable de Anthropic. Usó tres métodos de análisis independientes para averiguar qué modelo maneja mejor la lógica compleja de los agentes.

Por qué un god node es una prueba honesta

En los proyectos de LangGraph, un god node es un nodo monolítico que asume demasiadas responsabilidades: analiza los datos de entrada, decide cuándo llamar a herramientas, procesa los resultados y genera la salida final. Estos nodos crecen poco a poco: al inicio del proyecto los límites de responsabilidad aún no son claros, y después cambiar la arquitectura da miedo, así que el nodo sigue creciendo.

Refactorizar un god node es una tarea en la que un LLM no puede adivinar la respuesta "correcta" por un patrón estadístico. Hace falta una comprensión real de la arquitectura:

• Entender el grafo completo y encontrar dependencias ocultas entre nodos
• Proponer un esquema concreto de descomposición y justificar dónde se trazan los límites
• No romper el contrato existente: entradas, salidas, efectos secundarios
• Tener en cuenta las particularidades de LangGraph: paso de estado, aristas condicionales, puntos de interrupción

Además de comprender la arquitectura, importa el cuidado: refactorizar un god node en código de producción puede afectar a dependencias inesperadas. Un modelo que propone "simplemente dividirlo en varias funciones" no entiende el contexto, y su plan es inútil en la práctica.

El autor no usó un ejemplo sintético, sino código real de trabajo con una historia real. Es importante: el código real contiene casualidades, artefactos históricos y dependencias poco evidentes que no aparecen en los ejemplos de manual.

Cómo funcionó el torneo de dos fases

En la primera fase, cada uno de los 11 modelos recibió el god node y una tarea: proponer un plan concreto de descomposición. Entre los participantes estadounidenses estaba Fable, el último modelo de Anthropic en el momento de la publicación. Seis modelos chinos representaban a los mayores laboratorios de IA de China.

En la segunda fase, cada modelo recibió las propuestas de los otros diez y debía evaluarlas: encontrar los puntos fuertes y débiles de cada solución, elegir la mejor y justificar la elección. Así se miden dos habilidades a la vez: la capacidad de generar soluciones de arquitectura y la de analizar con sentido crítico las ajenas.

La auditoría cruzada es una técnica metodológicamente poco habitual. En los benchmarks normales el modelo recibe una tarea y da una respuesta, pero no se sabe si entiende qué es una buena solución en ese ámbito. Cuando el modelo evalúa a sus competidores, se ve hasta qué punto su idea de la respuesta "correcta" coincide con los estándares reales de ingeniería.

Tras reunir todas las propuestas y las evaluaciones mutuas, el autor aplicó tres métodos de análisis independientes. Los resultados coincidieron en parte y en parte divergieron, y esa fue la conclusión principal del experimento. De ahí viene el "Ocaso de los dioses" del título original: los modelos insignia con mejor reputación no ofrecieron resultados superiores de forma estable. Según el autor, un benchmark sintético y el código de ingeniería real son dos tareas distintas, y quien lidera en una no siempre lidera en la otra.

Qué significa

La posición en las clasificaciones públicas predice mal cómo se las arreglará un modelo con la revisión de código o las propuestas de arquitectura en un proyecto concreto. La brecha entre el "mejor modelo del ranking" y el "mejor modelo para tu stack" puede ser considerable.

Conclusión práctica: antes de delegar decisiones técnicas en un LLM concreto, sobre todo en refactorización o revisión de arquitectura, conviene probarlo con tareas de código real. El formato de dos fases con evaluaciones cruzadas de este experimento es una buena plantilla para esa prueba: revela no solo la capacidad generativa, sino también la comprensión crítica del dominio.

¿Qué es un god node en LangGraph?

Un god node es un nodo monolítico en proyectos de LangGraph que asume demasiadas responsabilidades: analiza los datos de entrada, decide cuándo llamar a herramientas, procesa los resultados y genera la salida final.