CARing учит LLM предсказывать диагнозы: R@30 достиг 46,52% на MIMIC-IV

Команда авторов из arXiv-препринта 2610.10641 предложила CARing — фреймворк, который заставляет языковую модель предсказывать не один «самый вероятный» диагноз на следующем визите пациента, а покрывать весь набор диагнозов, которые могут быть валидны одновременно. На датасетах MIMIC-III и MIMIC-IV модель обошла все базовые решения, обученные на электронных медкартах (EHR), по weighted F1 и показала лучший top-k recall на каждом заявленном пороге. В режиме рассуждений R@30 составил 46,04% на MIMIC-III и 46,52% на MIMIC-IV.

Две проблемы, которые авторы решают одновременно

Первая связана с обучением с подкреплением. Стандартная схема RL для reasoning-моделей награждает траекторию за правильность финального ответа. Для задач с единственным верным результатом это работает. Но у пациента на следующем визите может быть сразу несколько диагнозов, и награда «один диагноз на траекторию» не различает повторное попадание в один и тот же код и покрытие разных. Политика быстро находит пару легко угадываемых диагнозов и крутится вокруг них. Остальное остаётся за кадром.

Вторая проблема — токенизация. Обычный токенизатор LLM режет ICD-код на несколько generic-токенов без клинического смысла. Чтобы выдать один диагноз, модели нужно несколько шагов декодирования, а рассуждать над большим словарём болезней при такой кодировке неудобно.

Как устроен CARing

Диагнозы авторы представляют как составные Semantic IDs (SID). Сначала семантика болезней, обогащённая онтологией, кодируется в компактные идентификаторы через residual quantization. Затем SID-токены «заземляются» в естественном языке и в продольном контексте EHR с помощью multi-task alignment и обучения на данных с рассуждениями. Цель — сохранить переносимость способности LLM рассуждать, не потеряв её на специализированном словаре.

Для неупорядоченного мульти-лейбл предсказания добавлены два механизма: coverage reward в RL и multi-positive supervision. Первый поощряет траектории, расширяющие набор покрытых диагнозов. Второй в обучении с учителем учитывает сразу несколько верных меток.

На инференсе доступны два режима:

• прямое constrained decoding — быстрый путь без длинных рассуждений;
• multi-chain reasoning с rank fusion — несколько цепочек рассуждений, результаты которых объединяются в единый рейтинг диагнозов.

Что показали цифры

Авторы сообщают следующее:

• Бенчмарки: MIMIC-III и MIMIC-IV.
• Weighted F1: выше всех базовых моделей, обученных на EHR.
• Top-k recall: лучший результат на каждом заявленном пороге отсечения.
• R@30 в режиме рассуждений: 46,04% на MIMIC-III и 46,52% на MIMIC-IV.

Препринт не содержит подробностей в аннотации о том, насколько именно CARing опережает конкурентов по weighted F1, поэтому величину отрыва придётся смотреть в полном тексте и логах. Сравнение ограничено моделями, обученными на EHR. Это важная оговорка: речь не о сопоставлении с универсальными frontier-моделями без дообучения.

Где это пригодится и где пока рано

Идея coverage reward шире медицины. Любая задача, где у входа несколько корректных выходов, страдает от той же схлопывающейся награды: рекомендательные системы, извлечение сущностей, мульти-лейбл классификация тикетов, предсказание вызовов инструментов агентом. Если вы сами обучаете reasoning-модель через RL, стоит проверить, не поощряет ли ваша функция награды повтор одного и того же успеха.

Semantic IDs через residual quantization — второй переносимый приём. Они сокращают длину выхода на сущность и дают модели словарь со смысловой структурой. Для команд с большими закрытыми справочниками (коды, SKU, каталоги) это способ не бороться с токенизатором.

До клиники этой работе далеко. MIMIC — исследовательские данные одной системы здравоохранения, а R@30 около 46% означает, что более половины релевантных диагнозов в топ-30 не попадает. Как инструмент поддержки решений и как база для дальнейших экспериментов CARing интересен. Как готовый клинический продукт — нет. Код и логи авторы выложили на GitHub (zmlxzyh/CARing-Codes-Logs), так что результаты можно перепроверить.