Habr AI compare Claude, Gemini et ChatGPT sur le texte, les maths, l'analyse et la créativité

Habr AI a publié une comparaison de trois modèles phares : ChatGPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro. Au lieu des tests habituels du type « écris une histoire » ou « résous un problème », l'auteur a déplacé l'accent vers des scénarios atypiques, où les différences réelles entre les systèmes se voient mieux.

Un format de test atypique

L'idée centrale du texte n'est pas de chercher un vainqueur absolu, mais de vérifier comment les modèles se comportent hors des démos les plus rabâchées. Quand on demande à un LLM d'écrire un court texte, de générer un modèle de code ou de résoudre un exercice scolaire, il affiche souvent un niveau comparable à celui des autres. Mais sur des tâches plus étranges, limites ou simplement moins formatées, on voit apparaître le style de raisonnement, la souplesse, la résistance à l'ambiguïté et la capacité à garder le contexte sans indice à chaque étape.

Cette approche compte aussi parce que les utilisateurs emploient de plus en plus les modèles non pour une commande isolée, mais comme outil intellectuel de travail. En pratique, il ne suffit pas de « répondre juste » : il faut saisir l'exigence cachée, ne pas buter sur la formulation, ne pas se perdre en bavardage inutile et ne pas perdre le fil logique en plein raisonnement. C'est pourquoi une comparaison fondée sur des tâches inhabituelles paraît plus utile qu'un énième benchmark formel.

Trois modèles phares

Le test réunit ChatGPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro, trois systèmes qui figurent généralement en haut des discussions sur la qualité de génération. La seule composition du plateau montre qu'il ne s'agit pas d'une expérience de niche, mais d'une comparaison des modèles phares actuels, entre lesquels choisissent le plus souvent les utilisateurs avancés, les rédacteurs, les analystes et les équipes qui ont intégré les LLM à leurs processus quotidiens.

Il est aussi important de noter que l'auteur ne présente pas son travail comme un verdict définitif sur le marché. C'est plutôt une tentative de répondre à une question plus pratique : où les différences entre les meilleurs modèles deviennent-elles perceptibles. Sur des tâches ordinaires, l'écart peut être faible, mais dans les scénarios marqués par l'ambiguïté, des exigences combinées et des contraintes créatives, chaque modèle révèle sa propre patte. Pour le lecteur, c'est plus utile qu'un classement sec, car cela aide à associer un modèle à un type de travail précis.

Ce qui est évalué

D'après la description de l'article, l'accent porte sur quatre groupes de tâches plus proches de l'usage réel que de la présentation de vitrine. Il ne s'agit pas de vérifier une seule métrique, mais de voir comment le modèle passe d'un type de pensée à un autre : de la relecture soignée et de la logique formelle aux calculs et à la génération libre d'idées. Cet ensemble permet d'évaluer non une compétence étroite, mais le comportement du système dans différents modes, de la précision à la créativité.

• Travail sur le texte et qualité des formulations
• Mathématiques et résistance aux erreurs de calcul
• Tâches d'analyse comportant plusieurs conditions
• Créativité sur des requêtes atypiques et pas entièrement formalisées

La force de cette comparaison est de montrer non seulement le niveau de connaissances du modèle, mais aussi le caractère de ses réponses. Un système peut être plus soigné dans la structure, un autre plus audacieux dans les idées, un troisième plus stable dans la logique. Pour l'utilisateur, cela compte souvent plus qu'une première place abstraite, car le choix d'un LLM dépend non du battage général, mais de ce qu'il faut précisément faire : éditer un texte, vérifier des raisonnements, résoudre des problèmes ou trouver rapidement des pistes non conventionnelles.

Ce que cela signifie

Des comparaisons comme celle-ci changent peu à peu la façon de parler des LLM. La question n'est plus « qui est le plus intelligent en général », mais quel modèle s'en sort le mieux dans votre scénario réel. Pour le marché, c'est un signe de maturité : les modèles phares sont devenus assez puissants pour être jugés non sur l'effet waouh, mais sur les nuances de leur fonctionnement.