CARing ensina LLMs a prever diagnósticos: R@30 chega a 46,52% no MIMIC-IV

Uma equipe de autores do preprint 2610.10641 no arXiv propôs o CARing, um framework que faz o modelo de linguagem deixar de prever um único diagnóstico "mais provável" para a próxima consulta do paciente. Em vez disso, o modelo passa a cobrir todo o conjunto de diagnósticos que podem ser válidos ao mesmo tempo. Nos datasets MIMIC-III e MIMIC-IV, o modelo superou todas as soluções de referência treinadas em prontuários eletrônicos (EHR) em weighted F1 e obteve o melhor top-k recall em cada limiar divulgado. No modo de raciocínio, o R@30 foi de 46,04% no MIMIC-III e de 46,52% no MIMIC-IV.

Dois problemas resolvidos ao mesmo tempo

O primeiro está no aprendizado por reforço. O esquema padrão de RL para modelos de reasoning recompensa a trajetória pela correção da resposta final. Isso funciona em tarefas com um único resultado correto. Mas, na consulta seguinte, um paciente pode ter vários diagnósticos ao mesmo tempo, e uma recompensa do tipo "um diagnóstico por trajetória" não distingue acertar o mesmo código repetidas vezes de cobrir códigos diferentes. A política logo encontra um par de diagnósticos fáceis de adivinhar e fica girando em torno deles. O resto fica de fora.

O segundo problema é a tokenização. O tokenizador comum de uma LLM divide o código ICD em vários tokens genéricos, sem significado clínico. Para gerar um único diagnóstico, o modelo precisa de várias etapas de decodificação, e raciocinar sobre um vocabulário grande de doenças fica incômodo com essa codificação.

Como funciona o CARing

Os autores representam os diagnósticos como Semantic IDs (SID) compostos. Primeiro, a semântica das doenças, enriquecida por uma ontologia, é codificada em identificadores compactos por meio de residual quantization. Depois, os tokens SID são "ancorados" na linguagem natural e no contexto longitudinal do EHR, com multi-task alignment e treinamento em dados com raciocínio. O objetivo é preservar a capacidade de raciocínio da LLM e sua transferibilidade, sem perdê-las ao adotar um vocabulário especializado.

Para a predição multi-label não ordenada, foram adicionados dois mecanismos: coverage reward no RL e multi-positive supervision. O primeiro premia trajetórias que ampliam o conjunto de diagnósticos cobertos. O segundo, no aprendizado supervisionado, considera vários rótulos corretos ao mesmo tempo.

Na inferência, há dois modos disponíveis:

• constrained decoding direto: o caminho rápido, sem raciocínio longo;
• multi-chain reasoning com rank fusion: várias cadeias de raciocínio cujos resultados são combinados em um único ranking de diagnósticos.

O que mostram os números

Os autores relatam o seguinte:

• Benchmarks: MIMIC-III e MIMIC-IV.
• Weighted F1: acima de todos os modelos de referência treinados em EHR.
• Top-k recall: melhor resultado em cada limiar de corte divulgado.
• R@30 no modo de raciocínio: 46,04% no MIMIC-III e 46,52% no MIMIC-IV.

A anotação do preprint não detalha por quanto o CARing supera os concorrentes em weighted F1, então o tamanho da diferença só pode ser conferido no texto completo e nos logs. A comparação se limita a modelos treinados em EHR. É uma ressalva importante: não se trata de um confronto com modelos frontier de uso geral, sem fine-tuning.

Onde isso é útil e onde ainda é cedo

A ideia do coverage reward vai além da medicina. Qualquer tarefa em que uma entrada tem várias saídas corretas sofre do mesmo colapso de recompensa: sistemas de recomendação, extração de entidades, classificação multi-label de tickets, predição de chamadas de ferramentas por um agente. Se você mesmo treina um modelo de reasoning com RL, vale verificar se sua função de recompensa não incentiva a repetição do mesmo acerto.

Os Semantic IDs via residual quantization são a segunda técnica transferível. Eles reduzem o comprimento da saída por entidade e dão ao modelo um vocabulário com estrutura semântica. Para equipes com grandes catálogos fechados (códigos, SKUs, catálogos de produtos), é uma forma de não brigar com o tokenizador.

O trabalho está longe da clínica. O MIMIC reúne dados de pesquisa de um único sistema de saúde, e um R@30 de cerca de 46% significa que mais da metade dos diagnósticos relevantes não entra no top-30. Como ferramenta de apoio à decisão e como base para novos experimentos, o CARing é interessante. Como produto clínico pronto, não. Os autores publicaram o código e os logs no GitHub (zmlxzyh/CARing-Codes-Logs), então os resultados podem ser reverificados.