CNN de 2015 supera GPT-6 Astra e Claude Fable 5.1 no diagnóstico de câncer de pele

Um dermatologista submeteu GPT-6 Astra e Claude Fable 5.1 a 200 lesões de pele com diagnóstico confirmado por histologia e comparou o desempenho com o de uma rede convolucional Inception v3 ajustada, modelo que o Google publicou em 2015. As LLMs de ponta escolheram o diagnóstico correto, entre seis possíveis, em 84 e 85 dos 200 casos, ou seja, 42%. A CNN antiga acertou 125 casos (62%). O ajuste levou cerca de vinte minutos em uma única GPU H100.

Como foi montado o teste com 200 lesões

A fonte dos dados é o MILK10k, um conjunto aberto que a International Skin Imaging Collaboration lançou em 2025. Cada lesão foi fotografada duas vezes: em close clínico e com dermatoscópio, isto é, uma lente de aumento com iluminação. O autor selecionou 200 casos aleatoriamente e incluiu apenas aqueles com resultado de biópsia.

A amostra foi dividida em partes iguais entre lesões que não podem ser liberadas sem acompanhamento e lesões com as quais o paciente pode ser dispensado com tranquilidade:

• 30 melanomas;
• 25 carcinomas basocelulares;
• 25 carcinomas espinocelulares, incluindo a doença de Bowen;
• 20 ceratoses actínicas;
• 50 nevos benignos (pintas);
• 50 ceratoses seborreicas.

A dificuldade é que todas as lesões passaram por biópsia, inclusive as benignas. Se alguém decidiu retirar uma pinta, ela despertou alguma desconfiança no médico, e distingui-la de uma lesão perigosa é mais difícil que o normal.

As LLMs receberam as duas imagens e nada além disso. As perguntas seguiram o formato de um médico: qual dos seis diagnósticos é o mais provável (ou "não tenho certeza"), com que grau de confiança, qual é a segunda hipótese e se o paciente pode ser dispensado sem tratamento, biópsia e acompanhamento. O prompt e as configurações padrão foram idênticos para os dois modelos, e nenhum deles se recusou a responder.

O melanoma na orelha que mandaram para casa

O caso mais revelador é o de um melanoma invasivo na orelha com espessura inferior a 0,8 mm. GPT-6 Astra e Claude Fable 5.1 o classificaram como ceratose seborreica, uma lesão verrucosa inofensiva, e disseram que o paciente podia ser dispensado. A CNN, a partir da imagem dermatoscópica, indicou melanoma.

Outro exemplo é um melanoma invasivo quase sem pigmento, com a mesma espessura. O GPT-6 Astra o identificou como carcinoma basocelular, com 95% de confiança, enquanto Claude Fable 5.1 e a CNN acertaram. Um carcinoma basocelular no tronco de um homem de 75 anos foi reconhecido pelos três modelos. Já uma ceratose seborreica na perna foi confundida com ceratose actínica pelas duas LLMs e com carcinoma espinocelular pela CNN. Todos erraram, mas nenhum sugeriu deixar a lesão sem atenção.

Arquitetura antiga contra os grandes generalistas

A CNN escolhida não é de propósito a mais moderna. A Inception v3 vem pré-treinada em fotografias comuns, e o autor ajustou todas as suas camadas com 68 011 imagens dermatoscópicas e clínicas. Dos dados de treino, incluindo a amostra de validação, ele removeu as 200 lesões de teste e todas as outras imagens dessas mesmas lesões e dos mesmos pacientes. O modelo não as viu, e nem o limiar nem a escolha do modelo foram ajustados com base nelas. A CNN avaliou as duas imagens, combinou os resultados dando peso maior à dermatoscópica e escolheu entre os mesmos seis diagnósticos.

A diferença provavelmente se explica pela especialização: a rede tem por trás dezenas de milhares de exemplos rotulados exatamente dessa tarefa, enquanto as LLMs contam apenas com conhecimento geral e o prompt. Além disso, o modelo é tão pequeno que roda inteiro no navegador do celular via WebGPU. As imagens permanecem no dispositivo, e o botão de exemplo aleatório sorteia dados das mesmas 200 lesões.

O que verificar antes de colocar em produção

Números finais do teste:

• GPT-6 Astra e Claude Fable 5.1: 84 e 85 diagnósticos corretos de 200 (42%);
• Inception v3 (2015), ajustada com 68 011 imagens: 125 de 200 (62%);
• tempo de ajuste da CNN: cerca de vinte minutos em uma única H100;
• conjunto de dados: MILK10k, ISIC, 2025.

Para equipes que integram LLMs multimodais a produtos médicos, a conclusão é prática. Um modelo generalista que declara alta confiança (como os 95% em uma resposta errada) e recomenda "dispensar o paciente" é mais perigoso do que uma precisão modesta no papel. Antes do lançamento, esses sistemas precisam ser comparados com um modelo de base estreito e especializado, em uma amostra independente com biópsia. Também é preciso calcular separadamente a taxa de falsos "pode dispensar" e verificar se há pacientes em comum entre treino e teste. Uma CNN ajustada e robusta, que cabe em um celular, serve como ponto de referência honesto para qualquer LLM na clínica.