CARing enseña a un LLM a predecir diagnósticos: R@30 alcanza 46,52% en MIMIC-IV

Los autores del preprint de arXiv 2610.10641 proponen CARing, un framework que obliga al modelo de lenguaje a dejar de predecir un único diagnóstico «más probable» para la siguiente visita del paciente y a cubrir todo el conjunto de diagnósticos que pueden ser válidos a la vez. En los datasets MIMIC-III y MIMIC-IV, el modelo superó a todas las soluciones de referencia entrenadas con historias clínicas electrónicas (EHR) en weighted F1 y obtuvo el mejor top-k recall en cada umbral declarado. En modo razonamiento, el R@30 fue de 46,04% en MIMIC-III y de 46,52% en MIMIC-IV.

Dos problemas que los autores atacan a la vez

El primero tiene que ver con el aprendizaje por refuerzo. El esquema estándar de RL para modelos de reasoning recompensa la trayectoria según la corrección de la respuesta final. Eso funciona en tareas con un único resultado correcto. Pero en la siguiente visita un paciente puede tener varios diagnósticos a la vez, y una recompensa de «un diagnóstico por trayectoria» no distingue entre acertar de nuevo el mismo código y cubrir códigos distintos. La política enseguida encuentra un par de diagnósticos fáciles de adivinar y da vueltas en torno a ellos. El resto queda fuera de foco.

El segundo problema es la tokenización. Un tokenizador de LLM convencional parte el código ICD en varios tokens genéricos sin significado clínico. Para emitir un solo diagnóstico, el modelo necesita varios pasos de decodificación, y razonar sobre un vocabulario amplio de enfermedades resulta incómodo con esa codificación.

Cómo funciona CARing

Los autores representan los diagnósticos como Semantic IDs (SID) compuestos. Primero, la semántica de las enfermedades, enriquecida con una ontología, se codifica en identificadores compactos mediante residual quantization. Después, los tokens SID se «anclan» en el lenguaje natural y en el contexto longitudinal de los EHR mediante multi-task alignment y entrenamiento con datos de razonamiento. El objetivo es conservar la capacidad transferible del LLM para razonar, sin perderla en un vocabulario especializado.

Para la predicción multi-label no ordenada se añaden dos mecanismos: un coverage reward en RL y multi-positive supervision. El primero favorece las trayectorias que amplían el conjunto de diagnósticos cubiertos. El segundo, en el aprendizaje supervisado, tiene en cuenta varias etiquetas correctas a la vez.

En inferencia hay dos modos disponibles:

• constrained decoding directo: la vía rápida, sin razonamientos largos;
• multi-chain reasoning con rank fusion: varias cadenas de razonamiento cuyos resultados se combinan en un único ranking de diagnósticos.

Qué muestran las cifras

Los autores reportan lo siguiente:

• Benchmarks: MIMIC-III y MIMIC-IV.
• Weighted F1: superior al de todos los modelos de referencia entrenados con EHR.
• Top-k recall: mejor resultado en cada umbral de corte declarado.
• R@30 en modo razonamiento: 46,04% en MIMIC-III y 46,52% en MIMIC-IV.

El resumen del preprint no detalla cuánto supera exactamente CARing a sus competidores en weighted F1, así que habrá que consultar el texto completo y los logs para conocer la magnitud de la ventaja. La comparación se limita a modelos entrenados con EHR. Es una salvedad importante: no se trata de una comparación con modelos frontier generalistas sin fine-tuning.

Dónde puede resultar útil y dónde aún es pronto

La idea del coverage reward va más allá de la medicina. Cualquier tarea en la que una misma entrada tenga varias salidas correctas sufre el mismo colapso de la recompensa: sistemas de recomendación, extracción de entidades, clasificación multi-label de tickets, predicción de llamadas a herramientas por un agente. Si usted entrena por su cuenta un modelo de reasoning con RL, conviene comprobar si su función de recompensa no premia la repetición de un mismo acierto.

Los Semantic IDs mediante residual quantization son la segunda técnica transferible. Reducen la longitud de la salida por entidad y dan al modelo un vocabulario con estructura semántica. Para los equipos con grandes catálogos cerrados (códigos, SKU, catálogos de producto), es una forma de no pelearse con el tokenizador.

Este trabajo está lejos de la clínica. MIMIC son datos de investigación de un único sistema sanitario, y un R@30 de alrededor del 46% significa que más de la mitad de los diagnósticos relevantes no entra en el top-30. CARing resulta interesante como herramienta de apoyo a la decisión y como base para nuevos experimentos. Como producto clínico listo para usar, no. Los autores han publicado el código y los logs en GitHub (zmlxzyh/CARing-Codes-Logs), de modo que los resultados pueden verificarse.