Los médicos no preguntan a los LLM por diagnósticos: 127 833 consultas frente a 58 benchmarks

Los clínicos usan los modelos de lenguaje de una forma muy distinta a como se los evalúa. Los autores de un nuevo preprint en arXiv analizaron 127 833 consultas enviadas a un asistente LLM institucional durante los ocho meses posteriores a su lanzamiento. Las escribieron 6 342 médicos, profesionales de práctica clínica avanzada y enfermeros de 35 especialidades. La documentación y la administración supusieron el 36,2% de todas las consultas, y la búsqueda de conocimiento otro 28,9%. El diagnóstico, en torno al cual se construye la mayoría de las pruebas médicas, recibió el 3,7%.

Cómo está diseñado el estudio

La disposición de los asistentes clínicos para su despliegue suele evaluarse con benchmarks. La mayoría se compone de preguntas de examen o de casos clínicos preparados de antemano. Una prueba así solo predice el comportamiento del modelo en el trabajo real mientras sus tareas se parezcan a las reales. Hasta ahora apenas se había medido cuánto se parecen.

Para medirlo, los autores construyeron RCQ-Map, un marco validado por clínicos. Se apoya en taxonomías de preguntas clínicas y en taxonomías de evaluación de LLM. Cada consulta se etiqueta según cinco ejes: tarea, intención, posibilidad de respuesta, información que falta y daño potencial. Con la misma herramienta, los autores etiquetaron 58 benchmarks públicos, procedentes de grandes conjuntos de evaluación y de informes de modelos frontier. De ellos se compone el Clinical AI Benchmark Atlas.

Qué muestran las cifras

La carga de trabajo real es esta:

• documentación y administración: 36,2% de las consultas;
• búsqueda de conocimiento: 28,9%;
• diagnóstico: 3,7%;
• más de un tercio de las consultas no podía responderse bien tal como se habían formulado.

Este último punto merece atención aparte. El usuario real a menudo no da contexto: no identifica al paciente, no aclara el objetivo, no adjunta datos. Una pregunta de examen es distinta: el enunciado está completo y la respuesta es unívoca. Un modelo que resuelve con brillantez ese tipo de tareas puede desenvolverse peor ante una pregunta a la que le falta la mitad de los datos. Y esas preguntas representan una parte notable del flujo.

Dónde divergen los benchmarks de la práctica

El benchmark mediano de los 58 no contenía ni una sola consulta de documentación. Su conjunto de tareas coincidía con el real en un 31%. Es menos de lo que daría una distribución uniforme entre las categorías de tareas. En otras palabras, una prueba armada al azar, dando el mismo peso a cada categoría, quedaría de media más cerca de la realidad que un benchmark vigente típico.

La hipótesis natural es que los conjuntos presentados como cercanos a la práctica clínica deberían salir mejor parados que los de examen. Los datos no la confirman. Los benchmarks de esos conjuntos, tomados por separado, no resultaron más próximos al uso real que los que se citan en los informes de modelos frontier. El propio adjetivo «clínico» no garantiza parecido con el flujo de trabajo real.

También hay limitaciones visibles. Son datos de un solo sistema institucional con un único asistente, y la estructura de las consultas en otro hospital o en otro país puede ser diferente. Además, los autores miden la correspondencia en la composición de las tareas, no la calidad de las respuestas. Un benchmark de diagnóstico puede seguir siendo una medición correcta de la capacidad diagnóstica. El problema es que se usa para juzgar la preparación del sistema para todo el trabajo.

Cómo evaluar los asistentes clínicos

Para los hospitales que eligen o implantan un asistente LLM, la conclusión es práctica. Las puntuaciones públicas conviene considerarlas solo una parte del panorama. Hay que probar el modelo con una muestra de consultas propias, donde dominan la documentación, la administración y la búsqueda de información de referencia. Por separado, conviene probar las preguntas incompletas y ambiguas, y cómo el sistema pide aclaraciones en lugar de dar una respuesta segura. También resulta útil evaluar el daño potencial por cada tipo de tarea.

Para los desarrolladores y los autores de benchmarks, la señal es la misma: el conjunto de pruebas debe construirse teniendo en cuenta la distribución real de las tareas. El atlas que acompaña al estudio permite comprobar qué áreas de la práctica siguen sin medirse. Mientras haya muchas, un buen resultado en una prueba de examen dice sobre el trabajo de la IA clínica menos de lo que parece.