OMNI: um único encoder compacto reúne o conhecimento de 10 modelos para patologia

Uma equipe de pesquisadores publicou no arXiv o trabalho Scaling Multi-Teacher Distillation for Digital Pathology. O artigo mostra como comprimir o conhecimento de dez modelos foundation de ponta para patologia digital em um único encoder compacto. O resultado se chama OMNI. Segundo os autores, esses modelos-aluno são até 10 vezes mais eficientes que os grandes modelos-professor. Ao mesmo tempo, têm qualidade comparável à deles e, em boa parte das tarefas, os superam. A avaliação abrangeu mais de 10 modelos foundation e 39 tarefas, tanto no nível de tiles individuais quanto de lâminas inteiras (whole slides).

Onde a destilação multiprofessor quebra

Nos últimos tempos, surgiram muitos modelos foundation robustos em patologia digital. Cada um foi treinado com seus próprios dados e sua própria receita, e cada um tem pontos fortes distintos. A ideia da destilação multiprofessor (MTD) surge naturalmente: reunir vários professores e transferir o conhecimento deles para uma única rede-aluno. Assim, não é preciso rodar uma dezena de encoders pesados em imagens de gigapixels.

Na prática, a história é outra. Os autores mostram que a MTD padrão reage mal ao aumento do número de professores. Adicionar especialistas compensa só até certo ponto: depois disso, o aluno não obtém um ganho proporcional. O diagnóstico do artigo é que a chave para escalar está em aprender representações específicas de cada professor. Se todos os professores são misturados em um único espaço compartilhado, as diferenças entre eles se apagam, e é justamente nelas que está o valor do ensemble.

Quatro soluções em vez de uma

Para que o aluno preserve as particularidades de cada professor, os autores alteram tanto a arquitetura quanto a função de perda. Cada professor ganha tokens treináveis. Isso dá à rede um "ponto de entrada" separado para cada especialista. O esquema de atenção é ajustado especificamente para essa construção. O encoder recebe camadas adicionais de mixture-of-experts, que distribuem o cálculo entre ramos especializados. Uma perda contrastiva separa ainda mais as representações de diferentes professores.

Com isso, o método escala melhor conforme o número de professores. Era justamente isso que a MTD básica não conseguia.

O que foi testado e o que foi lançado

Principais parâmetros do trabalho:

• 10 modelos foundation de ponta usados como professores;
• mais de 10 modelos foundation avaliados na comparação;
• 39 tarefas, incluindo os níveis de tiles e de lâminas inteiras;
• alunos até 10x mais eficientes que os grandes professores;
• qualidade no nível dos professores e, em alguns casos, superior.

Ao final, os autores lançam a coleção OMNI, um conjunto de modelos foundation eficientes treinados com o conhecimento de dez professores. Eles também analisaram separadamente as representações aprendidas. Constataram que elas são complementares, ou seja, carregam informações diferentes. É assim que os autores explicam por que essas representações são fáceis de agregar na etapa downstream.

O que mudar na prática

Para equipes que constroem pipelines em patologia, a principal conclusão prática diz respeito ao custo. A análise de lâminas esbarra no poder de computação: cada lâmina é dividida em um número enorme de tiles, e todos passam pelo encoder. Um modelo dez vezes mais eficiente, com qualidade comparável, reduz diretamente o custo de inferência e permite rodar o processamento em hardware mais modesto.

A segunda conclusão é metodológica. Ao destilar a partir de vários modelos, não vale a pena fundi-los em um único vetor-alvo. Tokens separados, camadas MoE e separação contrastiva provavelmente serão úteis também fora da patologia, em qualquer domínio com muitos modelos especializados fortes. Isso ainda é uma hipótese, que o artigo não testou.

As limitações merecem atenção. As informações se baseiam no resumo do preprint, e as métricas detalhadas por tarefa precisam ser consultadas no próprio trabalho. As condições de licenciamento dos pesos do OMNI e os resultados nos seus próprios dados devem ser verificados separadamente. Para uso clínico, a precisão em benchmarks por si só não basta: são necessárias validação com dados do laboratório específico e os procedimentos regulatórios.