Un CNN de 2015 surpasse GPT-6 Astra et Claude Fable 5.1 dans le diagnostic du cancer de la peau

Un dermatologue a fait passer 200 lésions cutanées, au diagnostic confirmé par histologie, dans GPT-6 Astra et Claude Fable 5.1. Il a ensuite comparé leurs résultats à ceux du réseau convolutif Inception v3, publié par Google en 2015 et affiné pour l'occasion. Les LLM de pointe ont trouvé le bon diagnostic parmi les six possibles dans 84 et 85 cas sur 200, soit 42%. Le vieux CNN a donné la bonne réponse dans 125 cas (62%). Son affinage a pris environ vingt minutes sur un seul GPU H100.

Comment le test de 200 lésions a été construit

Les données proviennent du jeu ouvert MILK10k, publié en 2025 par l'International Skin Imaging Collaboration. Chaque lésion est photographiée deux fois : en gros plan clinique et au dermatoscope, c'est-à-dire à travers une loupe éclairée. L'auteur a tiré au hasard 200 cas et n'a retenu que ceux dont le résultat de biopsie est disponible.

L'échantillon est réparti à parts égales entre les lésions qu'on ne peut pas laisser sans suivi et celles pour lesquelles on peut rassurer le patient :

• 30 mélanomes ;
• 25 carcinomes basocellulaires ;
• 25 carcinomes épidermoïdes, dont la maladie de Bowen ;
• 20 kératoses actiniques ;
• 50 naevus bénins (grains de beauté) ;
• 50 kératoses séborrhéiques.

La difficulté tient à ce que tout le monde a été biopsié, y compris les lésions bénignes. Si l'on a décidé d'exciser un grain de beauté, c'est qu'il a inquiété le médecin : le distinguer d'une lésion dangereuse est donc plus ardu que d'ordinaire.

Les LLM recevaient les deux images, et rien d'autre. Les questions étaient posées comme les poserait un médecin : lequel des six diagnostics est le plus probable (ou « pas sûr »), avec quel degré de confiance, quelle option arrive en deuxième position, et si l'on peut laisser repartir le patient sans traitement, sans biopsie et sans suivi. Le prompt et les paramètres par défaut étaient identiques pour les deux modèles, et aucun n'a refusé de répondre.

Le mélanome de l'oreille renvoyé chez lui

Le cas le plus parlant est un mélanome invasif de l'oreille, de moins de 0,8 mm d'épaisseur. GPT-6 Astra et Claude Fable 5.1 y ont vu une kératose séborrhéique, une lésion verruqueuse bénigne, et ont estimé que le patient pouvait repartir. À partir de l'image dermatoscopique, le CNN a conclu au mélanome.

Autre exemple : un mélanome invasif presque dépourvu de pigment, de la même épaisseur. GPT-6 Astra l'a identifié comme un carcinome basocellulaire avec 95% de confiance, tandis que Claude Fable 5.1 et le CNN ont donné la bonne réponse. Un carcinome basocellulaire sur le tronc d'un homme de 75 ans a été reconnu par les trois modèles. Une kératose séborrhéique sur une jambe a été prise pour une kératose actinique par les deux LLM, et pour un carcinome épidermoïde par le CNN. Tous se sont trompés, mais aucun n'a proposé de laisser la lésion sans attention.

Une ancienne architecture face aux grands généralistes

Le CNN n'a volontairement pas été choisi parmi les plus récents. Inception v3 est préentraîné sur des photographies ordinaires, puis l'auteur a réentraîné toutes ses couches sur 68 011 images dermatoscopiques et cliniques. Il a retiré des données d'entraînement, validation comprise, les 200 lésions du test ainsi que toutes les autres images de ces mêmes lésions et des mêmes patients. Le modèle ne les a donc jamais vues, et ni le seuil ni le choix du modèle n'ont été réglés sur ces cas. Le CNN évaluait les deux images, fusionnait les résultats en donnant le poids principal à l'image dermatoscopique, et choisissait parmi les six mêmes diagnostics.

L'écart s'explique vraisemblablement par la spécialisation : le réseau s'appuie sur des dizaines de milliers d'exemples annotés pour cette tâche précise, alors que les LLM n'ont qu'une connaissance générale et un prompt. Le modèle est de plus assez petit pour tourner entièrement dans le navigateur d'un téléphone via WebGPU. Les images restent alors sur l'appareil, et le bouton d'exemple aléatoire puise dans ces mêmes 200 lésions.

Ce qu'il faut vérifier avant le déploiement

Résultats chiffrés du test :

• GPT-6 Astra et Claude Fable 5.1 : 84 et 85 diagnostics corrects sur 200 (42%) ;
• Inception v3 (2015), affinée sur 68 011 images : 125 sur 200 (62%) ;
• durée d'affinage du CNN : une vingtaine de minutes environ sur un seul H100 ;
• jeu de données : MILK10k, ISIC, 2025.

Pour les équipes qui intègrent des LLM multimodaux dans des produits médicaux, la leçon est pratique. Un modèle généraliste qui affiche une forte confiance (comme les 95% d'une réponse fausse) et recommande de « laisser repartir le patient » est plus dangereux qu'une précision modeste sur le papier. Avant la mise en service, il faut confronter ces systèmes à une base de référence spécialisée et étroite, sur un échantillon indépendant avec biopsie, calculer à part la part de faux « on peut laisser repartir » et vérifier que les patients ne se recoupent pas entre l'entraînement et le test.

Un CNN affiné, performant et assez léger pour tenir dans un téléphone, constitue un point de référence honnête pour n'importe quel LLM en clinique.