Destilacao de ensemble no Kaggle: um unico modelo superou o professor e economizou 6,5 horas

Em competicoes com um limite rigoroso para inferencia, o gargalo muitas vezes nao e a qualidade, mas o tempo. Foi exatamente isso que aconteceu com a equipe que ficou em 19.º lugar na RSNA Knee Abnormality Detection do Kaggle: seu ensemble de ConvNeXt, CoAtNet e ResNet-GRU consumia cerca de sete das nove horas permitidas. Simplesmente nao havia espaco para adicionar outros modelos fortes.

Como comprimir um ensemble em um unico modelo

A solucao foi uma destilacao classica, mas executada com bastante cuidado nos detalhes. O professor foi formado pelas previsoes out-of-fold de um ensemble inicial: cada estudo era avaliado apenas por modelos que nao o haviam visto durante o treinamento. Assim, os targets suaves nao transferiam vazamento de rotulos para o aluno.

Os targets foram criados com uma mistura 50/50: probabilidades inferidas por um LLM a partir de laudos radiologicos e probabilidades OOF do professor. O aluno era um ConvNeXt-Tiny com uma cabeca de slice-attention: campo de visao de 140 mm, entrada de 384 px, oito janelas por serie durante o treinamento e 16 durante a inferencia. A configuracao tambem usou EMA dos pesos, uma loss de ranking pareado sobre a BCE e learning rates separados para o backbone e a cabeca.

O resultado: no LB privado, o aluno marcou 95,1%, contra 94,8% do professor, enquanto a inferencia levou cerca de meia hora em vez de sete horas. A media de seis ou 12 alunos quase nao acrescentou nada (95,2%), portanto um unico modelo foi suficiente.

Visao global e local

A segunda parte da solucao foi um ramo com MedSAM. Quando uma imagem inteira e reduzida para um tamanho pequeno, os detalhes finos desaparecem. Por isso, um modelo global examinava todo o joelho, enquanto cinco especialistas analisavam crops locais voltados a achados especificos.

O MedSAM foi mantido congelado e usado sem fine-tuning: ele segmentava o osso no corte central, e o limite superior do maior componente da mascara servia como ancora. A partir dela, crops de 288×288 pixels, ou cerca de 80 mm, eram posicionados com deslocamentos fixos. O blend do modelo global com os especialistas obteve 96,4% no leaderboard publico e 95,3% no privado, enquanto, separadamente, eles registraram 96,0/95,1% e 95,9/94,8%, respectivamente.

LLM como anotador

O processo de rotulagem e particularmente interessante. Para cada estudo, era iniciado um novo agente com o prompt «voce e um radiologista». Ele lia o laudo e os dados DICOM e retornava probabilidades para 12 achados, com a instrucao de usar todo o intervalo de 0 a 1. O melhor resultado veio da media de duas execucoes: uma com os dados DICOM e o laudo, e outra apenas com os dados DICOM. A rotulagem baseada somente nos laudos, feita com outro modelo, foi perceptivelmente pior. A equipe refez os rotulos de 440 casos controversos de Lateral OA, mas os autores nao conseguiram medir o efeito.

O que aconteceu com o blending

A secao mais pratica trata dos pesos do blend. Pesos fixos, ajuste de pesos por achado em um conjunto Gold de 58 estudos e shrinkage em direcao a pesos iguais diferiram em no maximo 0,1 ponto percentual no LB privado. Quanto mais precisamente os pesos eram ajustados ao conjunto Gold, melhor era o score nesse conjunto e pior no leaderboard publico. A validacao cruzada split-half ja indicava que esse ajuste era prejudicial.

O que aprender com isso

• Se a inferencia estiver limitada pelo tempo, experimente destilar previsoes OOF: o aluno pode igualar ou ate superar o professor.
• Targets suaves gerados por um LLM a partir de laudos textuais sao uma forma barata de obter rotulos probabilisticos.
• Nao otimize os pesos do blend em um conjunto de validacao minúsculo: pesos iguais quase sempre sao mais seguros.
• Para detalhes pequenos, adicione crops locais a um modelo global em vez de aumentar a resolucao da imagem inteira.

Tambem vale lembrar as limitacoes. Os proprios autores reconhecem que, no fim, confiaram no leaderboard publico e que o conjunto Gold de 58 casos nao permitia comparar estrategias de forma confiavel. Trata-se de um caso pratico de uma competicao medica do Kaggle, nao de um sistema clinicamente validado, mas a receita se aplica a qualquer tarefa em que o ensemble nao caiba no orcamento de tempo de inferencia.