Habr AI a comparé Claude, Gemini et ChatGPT sur le texte, les mathématiques, l'analyse et la créativité

Habr AI a publié une comparaison de trois modèles phares — ChatGPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro. Au lieu des tests habituels comme « écrivez une histoire » ou « résolvez un problème », l'auteur a déplacé l'accent sur des scénarios non standard, où les différences réelles entre les systèmes deviennent plus visibles.

Format de test non standard

L'idée principale du matériel n'est pas de trouver un gagnant absolu, mais de vérifier comment les modèles se comportent en dehors des démos les plus usées. Lorsqu'on demande aux LLM d'écrire un texte court, de générer un modèle de code ou de résoudre un problème de niveau scolaire, ils affichent souvent des performances similaires. Mais dans des tâches plus étranges, limites ou simplement moins stéréotypées, commencent à émerger le style de pensée, la flexibilité, la résilience face à l'ambiguïté et la capacité à maintenir le contexte sans indices à chaque étape.

Cette approche importe parce que les utilisateurs appliquent de plus en plus les modèles non pour une seule commande isolée, mais comme un outil intellectuel pour le travail. En pratique réelle, vous devez non seulement « répondre correctement », mais aussi comprendre les exigences cachées, ne pas faillir sur la formulation, ne pas dériver dans des bavardages inutiles et ne pas perdre la logique au milieu du raisonnement. C'est pourquoi la comparaison par des tâches inhabituelles semble plus utile qu'un énième benchmark formel.

Trois modèles phares

Le test met en avant ChatGPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro — trois systèmes qui figurent généralement au sommet des discussions sur la qualité de la génération. La composition des participants elle-même montre qu'il ne s'agit pas d'une expérience de niche, mais d'une comparaison de phares actuels, entre lesquels les utilisateurs avancés, éditeurs, analystes et équipes ayant intégré les LLM dans les flux de travail quotidiens choisissent le plus souvent.

Il est aussi important que l'auteur ne tente pas de présenter le matériel comme un verdict de marché final. Plutôt, c'est une tentative de répondre à une question plus pratique : où exactement les différences entre les meilleurs modèles deviennent-elles perceptibles. Dans les tâches de routine, l'écart peut être faible, mais dans les scénarios avec ambiguïté, exigences combinées et contraintes créatives, chaque modèle affiche son propre style. Pour le lecteur, c'est plus utile qu'un classement plat car cela aide à associer un modèle à un type spécifique de travail.

Sur quoi on se concentre

Selon la description de l'article, l'accent est déplacé vers quatre groupes de tâches qui se rapprochent davantage de l'utilisation réelle qu'une présentation démonstrative. Il ne s'agit pas de vérifier une seule métrique, mais de tenter de voir comment un modèle bascule entre différents types de pensée : de l'édition minutieuse et de la logique formelle aux calculs et à la génération libre d'idées. Cet ensemble permet d'évaluer non une seule capacité étroite, mais le comportement du système dans différents modes — de la précision à la créativité.

• Travail sur le texte et qualité des formulations
• Mathématiques et résilience aux erreurs de calcul
• Tâches analytiques avec plusieurs conditions
• Créativité dans les demandes atypiques et non entièrement formalisées

La force d'une telle comparaison est qu'elle montre non seulement le niveau de connaissance d'un modèle, mais aussi le caractère de sa réponse. Un système peut être plus prudent dans la structure, un autre plus audacieux dans les idées, un troisième plus stable dans la logique. Pour un utilisateur, c'est souvent plus important qu'une première place abstraite, car le choix d'un LLM dépend non pas du battage général, mais de ce qui doit exactement être fait : éditer du texte, vérifier des raisonnements, résoudre des problèmes ou trouver rapidement des solutions non conventionnelles.

Ce que cela signifie

Les comparaisons comme celle-ci changent progressivement la façon dont nous parlons des LLM. La question n'est plus « qui est plus intelligent en général », mais « quel modèle gère mieux ton scénario réel ». Pour le marché, c'est un signe de maturité : les phares deviennent assez puissants pour être évalués non par l'effet de surprise, mais par les nuances de la performance.