Quelle IA pour les agents LLM ? Test de 11 modèles

Un développeur a testé 11 modèles de langage (LLM) sur une tâche réelle issue d'un agent LangGraph en production. La liste comprenait des modèles de fabricants américains et chinois, ainsi que Fable d'Anthropic. Il a employé trois méthodes d'analyse indépendantes pour déterminer quel modèle gère le mieux la logique complexe des agents.

Pourquoi un god node est un test honnête

Dans les projets LangGraph, un god node est un nœud monolithique qui assume trop de responsabilités : il analyse les données d'entrée, décide des appels d'outils, traite les résultats et produit la sortie finale. Ces nœuds grossissent peu à peu : au début du projet, les frontières de responsabilité ne sont pas encore évidentes, et ensuite modifier l'architecture fait peur, si bien que le nœud continue de grossir.

Refactoriser un god node est une tâche où un LLM ne peut pas deviner la « bonne » réponse à partir d'un schéma statistique. Elle exige une vraie compréhension de l'architecture :

• Comprendre le graphe dans son ensemble et repérer les dépendances cachées entre les nœuds
• Proposer un schéma de décomposition concret et justifier le choix des frontières
• Ne pas rompre le contrat existant : entrées, sorties, effets de bord
• Tenir compte des particularités de LangGraph : transmission de l'état, arêtes conditionnelles, points d'interruption

Au-delà de la compréhension de l'architecture, la rigueur compte : refactoriser un god node dans du code de production risque de toucher des dépendances inattendues. Un modèle qui suggère de « simplement découper en plusieurs fonctions » ne comprend pas le contexte, et son plan est inutile en pratique.

L'auteur n'a pas utilisé un exemple synthétique, mais du code de production réel, avec un historique réel. C'est essentiel : le code réel contient des hasards, des artefacts historiques et des dépendances peu évidentes qu'on ne trouve pas dans les exemples de manuel.

Comment fonctionnait le tournoi en deux phases

Lors de la première phase, chacun des 11 modèles a reçu le god node et une consigne : proposer un plan de décomposition concret. Parmi les participants américains figurait Fable, le dernier modèle d'Anthropic au moment de la publication. Six modèles chinois représentaient les plus grands laboratoires d'IA de Chine.

Lors de la seconde phase, chaque modèle a reçu les propositions des dix autres et devait les évaluer : relever les forces et les faiblesses de chaque solution, choisir la meilleure et justifier son choix. Cela mesure deux compétences à la fois : la capacité à générer des solutions d'architecture et celle d'analyser avec esprit critique celles des autres.

L'audit croisé est une technique méthodologiquement inhabituelle. Dans les benchmarks classiques, le modèle reçoit une tâche et fournit une réponse, mais on ignore s'il comprend ce qu'est une bonne solution dans ce domaine. Quand le modèle évalue ses concurrents, on voit dans quelle mesure son idée de la « bonne » réponse correspond aux standards d'ingénierie réels.

Après avoir réuni toutes les propositions et les évaluations mutuelles, l'auteur a appliqué trois méthodes d'analyse indépendantes. Les résultats ont en partie concordé et en partie divergé, et c'est la principale conclusion de l'expérience. D'où le « Crépuscule des dieux » du titre original : les modèles phares à la meilleure réputation n'ont pas livré de résultats durablement supérieurs. Selon l'auteur, un benchmark synthétique et du code d'ingénierie réel sont deux tâches différentes, et le leader de l'une n'est pas toujours celui de l'autre.

Ce que cela signifie

La place dans les classements publics prédit mal comment un modèle se comportera en revue de code ou sur des propositions d'architecture dans un projet donné. L'écart entre le « meilleur modèle du classement » et le « meilleur modèle pour votre stack » peut être important.

Enseignement pratique : avant de déléguer des décisions techniques à un LLM précis, en particulier pour la refactorisation ou la revue d'architecture, mieux vaut le tester sur des tâches issues de votre code réel. Le format en deux phases avec évaluations croisées de cette expérience offre un bon modèle pour ce test : il révèle non seulement les capacités génératives, mais aussi la compréhension critique du domaine.

Qu'est-ce qu'un god node dans LangGraph ?

Un god node est un nœud monolithique dans les projets LangGraph qui assume trop de responsabilités : il analyse les données d'entrée, décide des appels d'outils, traite les résultats et produit la sortie finale.