PAC1 a révélé une faiblesse des modèles de reasoning : un agent hardcoded a passé le benchmark à moindre coût

L'évaluation fermée PAC1, conçue pour les agents d'IA, a révélé de manière inattendue un point faible des modèles de raisonnement eux-mêmes. Au lieu d'une solution "intelligente", un participant du hackathon a construit un Zero-Cost Agent — un ensemble d'algorithmes rigides qui a contourné les erreurs typiques des LLM et complété les tâches moins cher.

Où l'agent a échoué

PAC1 teste non pas la capacité à raisonner élégamment, mais la capacité à agir dans un environnement contraint. L'agent doit lire les journaux, trouver les fichiers nécessaires, envoyer des e-mails tout en évitant les pièges comme les Injections de Prompts Indirectes, où les instructions malveillantes se cachent dans les données. Selon la description de l'auteur, c'est précisément dans cette configuration que les modèles de raisonnement ont commencé à échouer : ils hallucinent, perdent le contexte entre les actions, cassent la structure JSON et insèrent leur propre "raisonnement" au lieu d'une sortie propre.

Dans un bac à sable fermé, c'est critique car une seule clé incorrecte ou une ligne supplémentaire casse immédiatement l'étape suivante et gonfle rapidement la facture de l'API.

Pourquoi le hardcoding a gagné

Après plusieurs tentatives échouées, l'auteur a abandonné l'idée de "forcer" le modèle par des prompts et a misé sur un scénario déterministe. Ainsi est né le Zero-Cost Agent — essentiellement un exécuteur algorithmique qui ne simule pas la pensée mais sait d'avance quelles opérations vérifier, dans quel ordre parcourir le système de fichiers et comment réagir aux classes connues de pièges. Au lieu d'une intelligence universelle, la solution utilise un ensemble de règles qui peuvent être testées d'avance et contrôlées rigoureusement.

• format rigide d'entrée et de sortie sans explications libres;
• itinéraires prédéfinis pour la recherche de fichiers et la lecture des journaux;
• gestion séparée des instructions dangereuses cachées dans le contenu des fichiers;
• étapes prévisibles pour l'envoi d'e-mails et autres actions;
• rejet des boucles de relance qui brûlent rapidement les budgets des LLM.

Cette approche semble brute, mais dans PAC1, elle offre un avantage. L'algorithme ne se dispute pas avec lui-même, ne réécrit pas la réponse et ne gaspille pas les jetons en expliquant des étapes évidentes. Son coût est presque indépendant du nombre de cycles de "raisonnement", car il n'y a pas de cycles de raisonnement dans la chaîne. Dans la tâche du hackathon, cela a transformé un système d'agent instable en un outil dont le comportement peut être prédit et mesuré.

Ce que l'expérience a révélé

L'histoire de PAC1 remet en question la thèse populaire selon laquelle prendre un puissant modèle de raisonnement suffit et qu'il gérera l'automatisation des agents de lui-même. En pratique, un environnement avec un système de fichiers, des réponses formelles et des attaques intégrées s'avère être plus proche d'un problème d'ingénierie qu'une conversation avec un assistant. Ce qui compte ici, c'est la validation, le contrôle d'état, la limitation des transitions et la gestion explicite des erreurs. Si un système produit constamment du JSON correct et ne se laisse pas distraire par les fausses instructions, il bat un modèle plus "intelligent" mais instable.

"Si l'IA ne peut pas le gérer, nous le remplacerons par le bon vieux

hardcoding."

La phrase de l'auteur sur le "bon vieux hardcoding" semble provocatrice, mais le sens en est tout à fait pragmatique. Il ne s'agit pas de l'inutilité des réseaux de neurones, mais des limites de leur application sans armature rigide. Si la tâche est standard, les règles sont connues et le coût de l'erreur est élevé, un ensemble d'heuristiques déterministes offre parfois de meilleurs résultats qu'un modèle avec un grand contexte, des explications élégantes et une longue chaîne de tentatives de relance. Pour les tâches d'entreprise avec des interfaces formelles, c'est particulièrement notable : le système doit être terne, vérifiable et prévisible, pas impressionnant bavard.

Ce que cela signifie

Pour les développeurs d'agents IA, le cas PAC1 est un rappel que la fiabilité du système importe souvent plus que la puissance du modèle. Dans les produits réels, une approche hybride sera de plus en plus la norme : LLM où la variabilité et la gestion de l'incertitude sont nécessaires, et logique rigide où le format, la sécurité, le coût et les résultats reproductibles comptent. De telles combinaisons, plutôt qu'un pur pari sur un seul modèle, deviendront probablement la norme pour les agents de production.