CNN 2015 года обошла GPT-6 Astra и Claude Fable 5.1 в диагностике рака кожи

Дерматолог прогнал через GPT-6 Astra и Claude Fable 5.1 по 200 образований кожи с гистологическим подтверждением диагноза и сравнил их с дообученной свёрточной сетью Inception v3, которую Google опубликовал в 2015 году. Передовые LLM выбрали верный диагноз из шести возможных в 84 и 85 случаях из 200, то есть в 42%. Старая CNN дала правильный ответ в 125 случаях (62%). На дообучение ушло около двадцати минут на одном GPU H100.

Как собирали тест на 200 образований

Источник данных — открытый набор MILK10k, который International Skin Imaging Collaboration выпустила в 2025 году. Каждое образование снято дважды: клиническим крупным планом и дерматоскопом, то есть через подсвеченную увеличительную линзу. Автор случайно выбрал 200 случаев и взял только те, где есть результат биопсии.

Выборка разделена поровну на образования, которые нельзя отпускать без наблюдения, и на те, с которыми пациента можно спокойно отпустить:

• 30 меланом;
• 25 базальноклеточных карцином;
• 25 плоскоклеточных карцином, включая болезнь Боуэна;
• 20 актинических кератозов;
• 50 доброкачественных невусов (родинок);
• 50 себорейных кератозов.

Сложность в том, что биопсию делали всем, в том числе доброкачественным образованиям. Если родинку решили вырезать, значит, она чем-то насторожила врача, и отличить её от опасной сложнее обычного.

LLM получали оба снимка и больше ничего. Вопросы задавались так, как их задал бы врач: какой из шести диагнозов наиболее вероятен (или «не уверен»), с какой уверенностью, какой вариант на втором месте и можно ли отпустить пациента без лечения, биопсии и наблюдения. Промпт и настройки по умолчанию были одинаковыми для обеих моделей, и ни одна не отказалась отвечать.

Меланома на ухе, которую отпустили домой

Самый показательный случай — инвазивная меланома на ухе толщиной меньше 0,8 мм. GPT-6 Astra и Claude Fable 5.1 назвали её себорейным кератозом, безобидным бородавчатым образованием, и сказали, что пациента можно отпустить. CNN по дерматоскопическому снимку поставила меланому.

Другой пример — почти безпигментная инвазивная меланома той же толщины. GPT-6 Astra определила её как базальноклеточную карциному с уверенностью 95%, а Claude Fable 5.1 и CNN назвали правильно. Базальноклеточную карциному на туловище 75-летнего мужчины распознали все три модели. Себорейный кератоз на ноге обе LLM приняли за актинический, а CNN за плоскоклеточную карциному. Ошиблись все, но ни одна не предложила оставить образование без внимания.

Старая архитектура против больших универсалов

CNN намеренно взяли не самую современную. Inception v3 предобучена на обычных фотографиях, затем автор дообучил все её слои на 68 011 дерматоскопических и клинических снимках. Из обучающих данных, включая валидационную выборку, он убрал все 200 тестовых образований и все остальные снимки тех же образований и тех же пациентов. Модель их не видела, а порог и сам выбор модели по ним не настраивали. CNN оценивала оба снимка, объединяла результаты, отдавая основной вес дерматоскопическому, и выбирала из тех же шести диагнозов.

Разница, видимо, объясняется специализацией: у сети за плечами десятки тысяч размеченных примеров именно этой задачи, у LLM только общее знание и промпт. Кроме того, модель настолько мала, что целиком работает в браузере телефона через WebGPU. Снимки при этом остаются на устройстве, а кнопка случайного примера берёт данные из тех же 200 образований.

Что проверять перед внедрением

Итоговые цифры теста:

• GPT-6 Astra и Claude Fable 5.1: 84 и 85 верных диагнозов из 200 (42%);
• Inception v3 (2015), дообученная на 68 011 снимках: 125 из 200 (62%);
• время дообучения CNN: около двадцати минут на одном H100;
• набор данных: MILK10k, ISIC, 2025.

Для команд, которые встраивают мультимодальные LLM в медицинские продукты, вывод практический. Универсальная модель с высокой заявленной уверенностью (вроде 95% у ошибочного ответа) и рекомендацией «отпустить пациента» опаснее, чем невысокая точность на бумаге. Перед запуском такие системы нужно сверять с узкой специализированной базовой моделью на независимой выборке с биопсией, отдельно считать долю ложных «можно отпустить» и проверять, не пересекаются ли пациенты в обучении и тесте. Сильная дообученная CNN, которая помещается в телефон, станет честной точкой отсчёта для любой LLM в клинике.