Médicos não perguntam a LLMs sobre diagnósticos: 127 833 consultas contra 58 benchmarks

Clínicos usam modelos de linguagem de um jeito bem diferente daquele com que eles são avaliados. Os autores de um novo preprint no arXiv analisaram 127 833 consultas enviadas a um assistente de LLM institucional durante os oito meses desde o lançamento. As consultas foram escritas por 6 342 médicos, profissionais de prática clínica avançada e enfermeiros de 35 especialidades. Documentação e administração responderam por 36,2% de todas as solicitações, e a busca de conhecimento por outros 28,9%. O diagnóstico, em torno do qual se estruturam a maioria dos testes médicos, ficou com 3,7%.

Como o estudo foi feito

A prontidão de assistentes clínicos para uso real costuma ser medida por benchmarks. A maioria deles é montada a partir de questões de prova ou de casos clínicos previamente preparados. Esse tipo de teste só prevê o comportamento do modelo no trabalho enquanto suas tarefas se parecem com as reais. Até agora, quase ninguém havia medido o quanto elas se parecem.

Para isso, os autores construíram o RCQ-Map, um framework validado por clínicos. Ele se baseia em taxonomias de perguntas clínicas e em taxonomias de avaliação de LLMs. Cada consulta recebe anotação em cinco eixos: tarefa, intenção, possibilidade de resposta, informação ausente e dano potencial. Com a mesma ferramenta, os autores classificaram 58 benchmarks públicos, tirados de grandes conjuntos de avaliação e de relatórios de modelos frontier. Desse material saiu o Clinical AI Benchmark Atlas.

O que os números mostram

A carga de trabalho real é esta:

• documentação e administração: 36,2% das consultas;
• busca de conhecimento: 28,9%;
• diagnóstico: 3,7%;
• mais de um terço das consultas não pôde ser bem respondido da forma como foi formulado.

O último ponto merece atenção à parte. O usuário real muitas vezes não fornece contexto: não descreve o paciente, não esclarece o objetivo, não anexa dados. A questão de prova é diferente: o enunciado é completo e a resposta é inequívoca. Um modelo que resolve brilhantemente esse tipo de tarefa pode se sair pior diante de uma pergunta em que falta metade das informações. E perguntas assim representam uma fatia relevante do fluxo.

Onde os benchmarks divergem da prática

O benchmark mediano entre os 58 não continha nenhuma consulta de documentação. Seu conjunto de tarefas coincidia com o real em 31%. É menos do que resultaria de uma distribuição uniforme entre as categorias de tarefa. Em outras palavras, um teste montado ao acaso, com o mesmo peso para cada categoria, ficaria em média mais próximo da realidade do que o benchmark típico em uso.

A hipótese natural é que os conjuntos apresentados como próximos da prática clínica deveriam se sair melhor que os de provas. Os dados não confirmam isso. Individualmente, os benchmarks desses conjuntos não ficaram mais próximos do uso real do que os citados em relatórios de modelos frontier. O simples nome "clínico" não garante semelhança com o fluxo de trabalho.

As limitações também são visíveis. Os dados vêm de um único sistema institucional, com um único assistente, e a estrutura das consultas em outro hospital ou em outro país pode ser diferente. Além disso, os autores medem a correspondência na composição das tarefas, e não a qualidade das respostas. Um benchmark de diagnóstico ainda pode ser uma medida correta da capacidade diagnóstica. O problema é que ele é usado para julgar a prontidão do sistema para todo o trabalho.

Como avaliar assistentes clínicos

Para hospitais que escolhem ou implantam um assistente de LLM, a conclusão é prática. As pontuações públicas devem ser vistas apenas como parte do quadro. É preciso testar o modelo em uma amostra de consultas próprias, em que predominam documentação, administração e busca de informação de referência. Também é preciso testar separadamente perguntas incompletas e ambíguas, e a forma como o sistema pede esclarecimentos em vez de dar uma resposta confiante. O dano potencial também pode ser avaliado por tipo de tarefa.

Para desenvolvedores e autores de benchmarks, o recado é o mesmo: o conjunto de testes deve ser construído levando em conta a distribuição real das tarefas. O atlas que acompanha o estudo permite verificar quais áreas da prática continuam sem medição. Enquanto elas forem muitas, um bom resultado em um teste de provas diz menos sobre o desempenho de uma IA clínica no trabalho do que parece.