DeepSeek Flash résout des tâches Delphi 12 fois moins cher que Sonnet 5.5 et GPT-6.1 Sol
Les classements publics ne permettent pas de choisir un agent pour Delphi. L'auteur, qui développe des logiciels de laboratoire, a donc fait passer sept modèles sur 20 tâches tirées de ses dépôts privés. DeepSeek V4.1 Flash revient 12 fois moins cher que Sonnet 5.5 et GPT-6.1 Sol : pour ces deux derniers, l'ensemble coûte environ 10 $, soit 0,46–0,55 $ par tâche. Mais Sonnet 5.5 a vu une tâche annulée à cause d'un avertissement du compilateur en trop. Évaluez donc l'agent sur votre propre code, et comptez les avertissements.
Traité par IA depuis Хабр: Машинное обучение ; édité par Hamidun News
Si vous développez en Delphi, les classements publics des modèles de code vous serviront peu : ils testent d'autres tâches, et les leaders de ces tableaux cassent régulièrement les formulaires VCL. L'auteur, qui écrit depuis de nombreuses années des logiciels scientifiques et de laboratoire en Delphi, a décidé de tester les agents sur son propre code. Il a extrait 20 tâches réelles de trois dépôts privés et les a fait passer à sept modèles, cloud et locaux.
Côté coût, DeepSeek V4.1 Flash réalise l'ensemble environ 12 fois moins cher que Sonnet 5.5 et GPT-6.
1 Sol. Pour ces deux derniers, les 20 tâches coûtent environ 10 $, soit 0,46–0,55 $ par tâche. Côté qualité, le résultat est plus surprenant : même un modèle solide peut obtenir zéro sur une tâche dont tous les tests sont verts.
Comment la vérification est menée
Les dépôts sont X-Ray Calc 3, un logiciel de réflectométrie aux rayons X, un logiciel pour tribomètre et un client de journal électronique doté d'un serveur MCP. Les trois sont privés, si bien qu'aucune solution toute faite ne figure dans les données d'entraînement des modèles. Le script a parcouru l'historique et repéré 1547 commits de corrections de bugs et de petites améliorations : 831 dans le journal, 443 dans X-Ray Calc 3 et 273 dans le tribomètre. L'auteur en a retenu 20 : 11 portant sur la logique, les calculs et les flux, et 9 sur les formulaires, tableaux, graphiques et boîtes de dialogue VCL.
Les exemples sont compréhensibles pour tout développeur. Des nombres dans un JSON étaient arrondis par une fonction qui gérait mal les valeurs très petites, et l'ajustement d'un profil de film échouait. Le champ de limite d'axe d'un graphique était recalculé à chaque frappe : saisir « 1 » ou « 1e » en tapant 1e-8 déclenchait une réaction sur un nombre inachevé. L'outil de gestion de base plantait sur des transactions FireDAC imbriquées. Enfin, le menu d'aide devait ajouter une vérification des mises à jour sur GitHub, avec contrôle de somme SHA-256.
Chaque tâche a été vérifiée avec le compilateur RAD Studio 37.0 : avant correction, le projet compile et les nouveaux tests DUnitX échouent ; après la correction de l'auteur, tout compile et les tests passent. L'agent en ligne de commande recevait une copie propre du dépôt, une description et la commande de compilation.
Les fichiers d'instructions pour agents ont été supprimés, le serveur de langage désactivé, et la limite fixée à 45 minutes. Deux modes ont été testés : sans instructions, et avec la compétence delphi-development, qui décrit la structure des projets et quatre règles. Parmi elles : les composants visuels uniquement dans les .
dfm, la paire TImageCollection et TVirtualImageList à la place de TImageList, et la libération des objets locaux via try..finally. Une tâche n'est pas validée si le nombre d'avertissements du compilateur dépasse le niveau initial.
Qui a obtenu quoi
DeepSeek Flash et Claude Haiku 5.5 ont été lancés trois fois par tâche, les autres modèles une seule fois. Tous les modèles cloud utilisaient un niveau de raisonnement élevé. DeepSeek Flash avec la compétence a réussi tous les tests sur 60 exécutions sur 60, et obtient 58 sur 60 selon l'échelle stricte. Il consacre en moyenne 337 à 383 secondes par tâche. Il a aussi devancé en précision Haiku 5.5, pourtant proche en prix : ce dernier coûte 0,061 $ par tâche et réussit entre 83 et 88 % de ses exécutions.
GPT-6.1 Terra est sortie la veille de la publication. Selon les tarifs d'OpenAI, elle coûte 1 $, 5 $ et 0,05 $ par million de jetons d'entrée, de sortie et de cache, soit deux fois moins que Sol. L'ensemble lui a coûté 3,52–3,56 $, soit trois fois moins que Sol et Sonnet. Aux tests, Terra réussit 19 tâches sur 20 (95 %). Sur la tâche de mise à jour automatique XRC-09, où Sol a échoué dans les deux modes, Terra a réussi dès la première tentative. Sol passe en général 7 à 11 minutes sur une tâche, et sur deux tâches du journal sans compétence elle a épuisé toute la limite de 45 minutes.
N'apparaissent pas dans le tableau Gemini 4 Argon (arrêté après 24 exécutions à cause de sa lenteur), GLM 5.3 Flash (solde épuisé sur OpenRouter après la quatrième tâche) et Claude Opus 5.5 (deux tâches d'essai : Sonnet réussissait déjà).
Comment un seul avertissement a presque tout annulé
L'histoire la plus révélatrice est la tâche XRC-06 : ajouter un bouton d'effacement des résultats à partir d'un fichier de projet qui est en réalité une archive zip. Sonnet 5.5 a réussi les 20 tâches selon les tests, mais obtient 19 sur 20 selon l'échelle stricte.
La cause n'est pas la logique. Les 37 tests cachés passaient, mais le projet comportait déjà un avertissement du compilateur, W1002 (« symbole dépendant de la plateforme »), dans une fonction existante d'écriture d'archive. Sol et la première tentative de DeepSeek ont placé la logique commune dans une procédure auxiliaire, et l'avertissement est resté unique.
Sonnet, Terra, Haiku, Qwen Coder et deux autres tentatives de DeepSeek ont écrit une fonction séparée et y ont copié honnêtement la vérification « fichier en lecture seule » venant d'un voisin. Les lignes avec le symbole problématique sont alors passées à deux, l'avertissement est devenu double, et le script a attribué zéro.
La seconde leçon concerne la tâche TRB-04. La fenêtre plantait à l'ouverture à cause de deux propriétés de TStringGrid : il faut d'abord augmenter le nombre de lignes, puis seulement définir le nombre de lignes fixes. L'erreur dans FormCreate affichait une fenêtre modale de Windows, que personne ne pouvait fermer en cliquant sur « OK ». Le test restait donc bloqué jusqu'au délai d'expiration, au lieu d'échouer simplement.
Que faire en pratique
Ne choisissez pas un agent d'après un classement public : constituez 10 à 20 tâches à partir de l'historique de vos commits, avec des tests. Intégrez le nombre d'avertissements du compilateur dans l'évaluation, sinon vous passerez à côté du cas précis qui a fait échouer Sonnet ici. Pour les corrections courantes, le DeepSeek Flash bon marché semble plus raisonnable que les modèles à 10 $ par ensemble. La limite est évidente : 20 tâches et un seul auteur ne constituent pas une statistique valable pour tous les projets, mais un repère.
- 21 nov. 2026MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
- 21 nov. 2026Via OpenRouter, une DeepSeek piratée a répondu pendant trois jours : les refus sont tombés de 83–98 % à 1 %
- 21 nov. 2026Alice, ChatGPT et Perplexity ne citent que 34 sites sur 309 pour les articles
- 21 nov. 2026CoreWeave a mesuré Vera Rubin : jusqu'à 10 fois plus de tokens par mégawatt que le GB200
Questions clés sur cet article
Comment la vérification est menée?
Les dépôts sont X-Ray Calc 3, un logiciel de réflectométrie aux rayons X, un logiciel pour tribomètre et un client de journal électronique doté d'un serveur MCP. Les trois sont privés, si bien qu'aucune solution toute faite ne figure dans les données d'entraînement des modèles. Le script a parcouru l'historique et repéré 1547 commits de corrections de bugs et de petites améliorations : 831 dans le journal, 443 dans X-Ray Calc 3 et 273 dans le tribomètre.
Que sait-on sur Qui a obtenu quoi ?
DeepSeek Flash et Claude Haiku 5.5 ont été lancés trois fois par tâche, les autres modèles une seule fois. Tous les modèles cloud utilisaient un niveau de raisonnement élevé. DeepSeek Flash avec la compétence a réussi tous les tests sur 60 exécutions sur 60, et obtient 58 sur 60 selon l'échelle stricte. Il consacre en moyenne 337 à 383 secondes par tâche. Il a aussi devancé en précision Haiku 5.5, pourtant proche en prix : ce dernier coûte 0,061 $ par tâche et réussit entre 83 et 88 % de ses exécutions.
Comment un seul avertissement a presque tout annulé?
L'histoire la plus révélatrice est la tâche XRC-06 : ajouter un bouton d'effacement des résultats à partir d'un fichier de projet qui est en réalité une archive zip. Sonnet 5.5 a réussi les 20 tâches selon les tests, mais obtient 19 sur 20 selon l'échelle stricte. La cause n'est pas la logique. Les 37 tests cachés passaient, mais le projet comportait déjà un avertissement du compilateur, W1002 (« symbole dépendant de la plateforme »), dans une fonction existante d'écriture d'archive.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.