Comment 15 IA abordent la recherche du meilleur parseur XML pour iOS : résultats du benchmark

Un développeur a mené une expérience inhabituelle : il a soumis la même tâche à 15 modèles d'IA populaires et comparé leurs résultats à son benchmark manuel de parseurs XML pour iOS.

En quoi consistait la tâche

Il y a six mois, l'auteur a publié les résultats de sa propre recherche du parseur XML le plus rapide pour iOS, tvOS et macOS. Un travail minutieux : plusieurs heures à analyser à la main des dépôts GitHub, à vérifier la popularité (au moins 500 étoiles), la prise en charge d'Objective-C et de Swift, et l'intégration via CocoaPods ou SwiftPM. Trois heures d'efforts acharnés (et plusieurs tasses de café) ont abouti à un classement complet des parseurs optimaux.

L'IA peut-elle aller plus vite ?

Puis est venue une pensée naturelle : pourquoi passer 3 heures si, sur Internet, on promet que l'IA s'en charge en 5 minutes ? De plus, il y avait une vraie chance qu'une erreur se soit glissée dans le benchmark manuel, comme une mauvaise interprétation du code ou un détail manqué dans les caractéristiques. Et dans ce cas, les IA, avec leurs volumes de connaissances colossaux, trouveraient peut-être un résultat plus juste.

La décision allait de soi : soumettre la même tâche à 15 modèles d'IA différents (OpenAI, Anthropic, Google, Meta*, Xai, Perplexity et d'autres), rassembler leurs résultats et les comparer honnêtement entre eux et avec le benchmark d'origine. Une expérience équitable.

Les résultats ont déçu

Les résultats sont loin des attentes. Contre toute attente, GPT 5.5 Pro n'a pas seulement échoué à faire mieux que les autres : il termine à la dernière place. Un choc d'emblée : le modèle phare d'OpenAI a perdu dans toutes les catégories d'analyse, d'identification des dépôts populaires et d'évaluation des performances des parseurs.

Claude Opus 4.7, réputé pour son analyse approfondie et sa capacité à conserver le contexte, n'a pas non plus décroché la première place, même si ses résultats sont au-dessus de la moyenne. À la place, des modèles plus spécialisés et plus compacts se retrouvent de façon inattendue en tête, mieux à l'aise avec les détails pratiques de la tâche.

L'auteur reconnaît honnêtement que son benchmark manuel contenait peut-être bien une erreur, auquel cas il n'aurait pas choisi le parseur tout à fait optimal. Mais même ainsi, le résultat révèle une tendance intéressante : la taille et la qualité autoproclamée d'un modèle d'IA ne garantissent pas toujours le succès sur une tâche pratique précise.

Ce que cela signifie

L'expérience rappelle aux développeurs que les IA sont des outils avec leurs forces et leurs faiblesses. Pour des tâches techniques spécifiques, mieux vaut vérifier non seulement la popularité d'un modèle, mais aussi ses performances réelles sur votre cas précis. Et oui, ce qui promet de se terminer en 5 minutes peut parfois exiger votre regard attentif et une validation.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.