Врачи спрашивают LLM не о диагнозах: 127 833 запроса против 58 бенчмарков

Клиницисты используют языковые модели совсем не так, как их проверяют. Авторы нового препринта на arXiv разобрали 127 833 запроса, отправленных институциональному LLM-ассистенту за восемь месяцев запуска. Запросы писали 6 342 врача, специалиста расширенной клинической практики и медсестры из 35 специальностей. Документация и администрирование заняли 36,2% всех обращений, поиск знаний ещё 28,9%. Диагностика, вокруг которой строится большинство медицинских тестов, получила 3,7%.

Как устроено исследование

Готовность клинических ассистентов к внедрению обычно оценивают по бенчмаркам. Большинство из них собрано из экзаменационных вопросов или заранее подготовленных клинических случаев. Такой тест предсказывает поведение модели в работе только пока его задачи похожи на реальные. Насколько они похожи, раньше почти не измеряли.

Авторы построили для этого RCQ-Map, фреймворк, который проверили клиницисты. Он опирается на таксономии клинических вопросов и на таксономии оценки LLM. Каждый запрос получает разметку по пяти осям: задача, намерение, возможность ответить, недостающая информация и потенциальный вред. Тем же инструментом авторы разметили 58 публичных бенчмарков из крупных наборов для оценки и из отчётов о frontier-моделях. Из них составлен Clinical AI Benchmark Atlas.

Что показали цифры

Реальная нагрузка выглядит так:

• документация и администрирование: 36,2% запросов;
• поиск знаний: 28,9%;
• диагностика: 3,7%;
• более трети запросов не удавалось хорошо ответить в том виде, в каком они были заданы.

Последний пункт заслуживает отдельного внимания. Реальный пользователь часто не даёт контекст: не называет пациента, не уточняет цель, не прикладывает данные. Экзаменационный вопрос устроен иначе, в нём условие полное, а ответ однозначный. Модель, которая блестяще решает такие задачи, может хуже справляться с вопросом, где половины вводных нет. Именно такие вопросы в потоке составляют заметную долю.

Где бенчмарки расходятся с практикой

Медианный бенчмарк из 58 не содержал ни одного запроса на документацию. Его набор задач совпадал с реальным на 31%. Это меньше, чем дало бы равномерное распределение по категориям задач. Иными словами, если составить тест наугад, раздав каждой категории одинаковый вес, он в среднем окажется ближе к жизни, чем типичный действующий бенчмарк.

Естественная гипотеза: наборы, которые заявлены как приближенные к клинической практике, должны выглядеть лучше экзаменационных. Данные её не подтверждают. Бенчмарки из таких наборов по отдельности оказались не ближе к реальному использованию, чем те, что приводят в отчётах о frontier-моделях. Само название «клинический» не гарантирует сходства с рабочим потоком.

Ограничения тоже видны. Это данные одной институциональной системы с одним ассистентом, и структура запросов в другой больнице или в другой стране может отличаться. Кроме того, авторы измеряют соответствие состава задач, а не качество ответов. Бенчмарк по диагностике по-прежнему может быть корректным измерением диагностических способностей. Проблема в том, что по нему судят о готовности системы ко всей работе.

Как оценивать клинические ассистенты

Для больниц, которые выбирают или внедряют LLM-ассистента, вывод практический. Публичные баллы стоит считать лишь частью картины. Нужно проверять модель на выборке собственных запросов, где доминируют документация, администрирование и поиск справочной информации. Отдельно следует тестировать неполные и неоднозначные вопросы и то, как система просит уточнения вместо уверенного ответа. Потенциальный вред также удобно оценивать по каждому типу задач.

Для разработчиков и авторов бенчмарков сигнал тот же: набор тестов нужно строить с оглядкой на реальное распределение задач. Приложенный авторами атлас позволяет проверить, какие участки практики остаются без измерения. Пока их там много, высокий результат на экзаменационном тесте говорит о работе клинического ИИ меньше, чем кажется.