Réseaux de neurones pour agents : le code en dur coûte moins cher que les modèles de raisonnement

Le benchmark fermé PAC1 pour agents d'IA a montré que les modèles de raisonnement coûteux ne sont pas toujours les meilleurs : un participant à un hackathon a créé Zero-Cost Agent à partir d'algorithmes simples, qui les a battus sur le coût et a mené les tâches plus efficacement.

Pourquoi un algorithme simple a-t-il battu un modèle d'IA sur le coût ?

Les algorithmes rigides évitent les erreurs typiques des réseaux de neurones sur les tâches structurées, comme le traitement de logs, de fichiers et d'e-mails. Les réseaux de neurones sont vulnérables aux Indirect Prompt Injections, où une instruction malveillante est cachée dans les données. Face à ces pièges, les règles rigides se montrent plus fiables et moins chères.

Pourquoi le code en dur coûte-t-il moins cher que les réseaux de neurones ?

Parce qu'il n'exige pas d'appels d'API vers des modèles de raisonnement coûteux et s'appuie sur des algorithmes rigides pour des tâches comme lire des logs, chercher des fichiers et envoyer des e-mails.