Destilacion de ensembles en Kaggle: un solo modelo supero a su maestro y ahorro 6,5 horas

En las competiciones con un limite estricto para la inferencia, el cuello de botella suele ser el tiempo, no la calidad. Eso fue exactamente lo que le ocurrio al equipo que termino 19.º en RSNA Knee Abnormality Detection de Kaggle: su ensemble de ConvNeXt, CoAtNet y ResNet-GRU consumia unas siete de las nueve horas permitidas. Sencillamente, no quedaba margen para añadir otros modelos potentes.

Como comprimir un ensemble en un solo modelo

La solucion fue una destilacion clasica, pero ejecutada con especial cuidado en los detalles. El maestro consistia en las predicciones out-of-fold de un ensemble inicial: cada estudio era evaluado exclusivamente por modelos que no lo habian visto durante el entrenamiento. De este modo, los objetivos blandos no transferian al alumno una fuga de etiquetas.

Los objetivos se construyeron con una mezcla 50/50: probabilidades inferidas por un LLM a partir de informes radiologicos y probabilidades OOF del maestro. El alumno era un ConvNeXt-Tiny con una cabeza de slice-attention: campo de vision de 140 mm, entrada de 384 px, ocho ventanas por serie durante el entrenamiento y 16 durante la inferencia. Tambien se utilizaron una EMA de los pesos, una funcion de perdida de ranking por pares sobre BCE y tasas de aprendizaje separadas para el backbone y la cabeza.

El resultado: en el LB privado, el alumno obtuvo un 95,1%, frente al 94,8% del maestro, mientras que la inferencia paso de siete horas a aproximadamente media hora. Promediar seis o 12 alumnos apenas aporto mejoras (95,2%), por lo que un solo modelo fue suficiente.

Vision global y local

La segunda parte de la solucion fue una rama con MedSAM. Cuando una imagen completa se reduce a un tamaño pequeño, los detalles finos desaparecen. Por eso, un modelo global examinaba toda la rodilla y cinco especialistas analizaban recortes locales asociados a hallazgos concretos.

MedSAM se mantuvo congelado y se utilizo sin ajuste adicional: segmentaba el hueso en el corte central, y el borde superior del componente mas grande de la mascara servia como ancla. A partir de ella se colocaban, con desplazamientos fijos, recortes de 288×288 pixeles, equivalentes a unos 80 mm. El blend del modelo global y los especialistas alcanzo un 96,4% en el leaderboard publico y un 95,3% en el privado, mientras que por separado obtuvieron 96,0/95,1% y 95,9/94,8%, respectivamente.

El LLM como anotador

El proceso de etiquetado resulta especialmente interesante. Para cada estudio se iniciaba un agente nuevo con el prompt «eres un radiologo». El agente leia el informe y los datos DICOM y devolvia probabilidades para 12 hallazgos; ademas, se le pedia que utilizara todo el rango de 0 a 1. El mejor resultado se obtuvo promediando dos ejecuciones: una con los datos DICOM y el informe, y otra solo con los datos DICOM. El etiquetado basado exclusivamente en los informes, realizado con otro modelo, fue claramente peor. Se volvieron a etiquetar 440 casos controvertidos de Lateral OA, aunque los autores no pudieron medir el efecto.

Que ocurrio con el blending

La seccion mas practica trata sobre los pesos del blend. Los pesos fijos, el ajuste de pesos por hallazgo sobre un conjunto Gold de 58 estudios y el shrinkage hacia pesos iguales presentaron diferencias de no mas de 0,1 puntos porcentuales en el LB privado. Cuanto mas se ajustaban los pesos al conjunto Gold, mejor era la puntuacion en ese conjunto y peor en el leaderboard publico. La validacion cruzada split-half ya indicaba que ese ajuste era perjudicial.

Que podemos aprender

• Si la inferencia esta limitada por el tiempo, pruebe a destilar predicciones OOF: el alumno puede igualar o incluso superar al maestro.
• Los objetivos blandos generados por un LLM a partir de informes textuales son una forma economica de obtener etiquetas probabilisticas.
• No optimice los pesos del blend sobre un conjunto de validacion diminuto: los pesos iguales casi siempre son mas seguros.
• Para captar detalles pequeños, añada recortes locales a un modelo global en lugar de aumentar la resolucion de toda la imagen.

Tambien conviene recordar las limitaciones. Los propios autores reconocen que terminaron confiando en el leaderboard publico y que el conjunto Gold de 58 casos no permitia comparar estrategias de forma fiable. Es un caso practico de una competicion medica de Kaggle, no un sistema validado clinicamente, pero la receta puede trasladarse a cualquier tarea en la que el ensemble no quepa en el presupuesto de tiempo de inferencia.