Comment 15 modèles d'AI abordent la recherche du parseur XML optimal pour iOS : résultats du benchmark

Un développeur a mené une expérience inhabituelle : il a chargé la même tâche dans 15 modèles d'IA populaires et a comparé leurs résultats avec son benchmark manuel de parseurs XML pour iOS.

À Propos de la Tâche

Il y a six mois, l'auteur a publié les résultats de sa propre recherche — quel parseur XML pour iOS, tvOS et macOS fonctionne le plus rapidement. C'était un travail laborieux : plusieurs heures à analyser manuellement les référentiels GitHub, vérifier la popularité (minimum 500 étoiles), le support des langages Objective-C et Swift, l'intégration via CocoaPods ou SwiftPM. Après trois heures de travail acharné (et plusieurs tasses de café), un classement complet des parseurs optimaux était né.

L'IA Peut-elle le Faire Plus Rapidement ?

Vint ensuite une pensée naturelle : pourquoi passer 3 heures si Internet promet que l'IA peut le faire en 5 minutes ? De plus, il y a une réelle chance qu'il y ait une erreur quelque part dans le benchmark manuel — une interprétation incorrecte du code, un détail manqué dans les spécifications. Et si c'est le cas, les systèmes d'IA, possédant des volumes énormes de connaissances, pourraient trouver un résultat plus correct. La décision était naturelle : charger la même tâche dans 15 modèles d'IA différents (OpenAI, Anthropic, Google, Meta, Xai, Perplexity et autres), recueillir leurs résultats et les comparer honnêtement entre eux et avec le benchmark original. Une expérience équitable.

Les Résultats Ont Déçu

Les résultats ont été bien en deçà des attentes. Contrairement à toute attente, GPT 5.5 Pro non seulement ne s'est pas mieux débrouillé que les autres — il a terminé en dernier.

C'était choquant d'emblée : le fer de lance d'OpenAI a perdu dans toutes les catégories d'analyse, d'identification de référentiels populaires et d'évaluation des performances des parseurs. Claude Opus 4.7, réputé pour son analyse approfondie et sa capacité à maintenir le contexte, n'a pas non plus pu occuper la première place, bien que les résultats soient supérieurs à la moyenne.

À la place, des modèles plus spécialisés et compacts se sont inopinément retrouvés en tête, qui naviguaient mieux les détails pratiques de la tâche. L'auteur reconnaît honnêtement : il se peut qu'il y ait eu une erreur dans son benchmark manuel, et donc il a choisi un parseur pas tout à fait optimal. Mais même si c'était le cas, le résultat montre un schéma intéressant : la taille et la qualité autoproclamée d'un modèle d'IA ne garantissent pas toujours le succès dans une tâche pratique spécifique.

Que Signifie Cela ?

L'expérience rappelle aux développeurs que l'IA est un outil ayant ses propres forces et faiblesses. Pour les tâches techniques spécifiques, il vaut la peine de vérifier non seulement la popularité du modèle, mais aussi ses performances réelles dans votre cas particulier. Et oui, parfois ce qui promet de se faire en 5 minutes peut nécessiter votre attention minutieuse et une validation.