DISC aprende a combinar métricas de similaridade de séries temporais e prever o sucesso da transferência

Pesquisadores apresentaram o DISC (Domain-Integrated Similarity Cost), um framework treinável que calibra e combina métricas de similaridade entre datasets de séries temporais. O objetivo é prever de antemão quão bem um modelo de previsão se transfere dos dados de origem para os dados de destino. O principal resultado: a pontuação integrada concorda mais com os erros reais de previsão do que qualquer uma das métricas individuais usadas como referência no split de relatório.

Por que estimar a transferência com antecedência

A previsão de séries temporais é uma ferramenta de trabalho essencial em energia, varejo, finanças e monitoramento de infraestrutura. Quando uma equipe tem vários candidatos a origem para pré-treinamento ou fine-tuning, surge a pergunta: com quais dados treinar para obter o melhor resultado nos dados de destino? A única resposta confiável é a força bruta: adaptar o modelo a cada par "origem — destino" e comparar os erros. Isso é caro, principalmente quando há muitos candidatos.

Por isso, é preciso uma estimativa rápida. Já foram propostas muitas métricas de similaridade entre datasets, mas elas medem coisas diferentes e se correlacionam de formas distintas com o que realmente importa: a qualidade da previsão após a transferência. Os autores do DISC mediram essa lacuna diretamente: compararam as pontuações de similaridade entre origem e destino com os erros de previsão downstream em diferentes configurações, incluindo transfer learning.

Nenhuma métrica funciona para todas as tarefas

A validação mostrou que nenhuma métrica é um indicador universal. A utilidade da similaridade depende da tarefa. Uma métrica que reflete bem a transferência em uma configuração pode ter correlação fraca com o erro em outra. Se a métrica for escolhida manualmente, o risco de errar já na partida é grande.

O DISC resolve isso por meio de treinamento com dados observados de transferência. O framework:

• seleciona quais métricas de similaridade são realmente necessárias para a tarefa em questão;
• atribui pesos a elas;
• combina os valores das métricas em uma única pontuação;
• calibra a pontuação final em relação à qualidade real da previsão.

A ideia central é a complementaridade. Cada métrica enxerga um aspecto diferente da relação entre os datasets, e a combinação separa com mais precisão as diferenças entre origem e destino que afetam o comportamento do modelo após a transferência daquelas que não afetam.

O que sai no final

Depois da calibração, o DISC avalia os pares "origem — destino" usando apenas os valores das métricas de similaridade. Não é necessário fazer fine-tuning dos modelos de previsão para isso. Segundo os autores, no split de relatório essa avaliação tem maior concordância com os resultados downstream do que as métricas de referência isoladas.

A segunda conclusão diz respeito à própria área: a similaridade entre séries temporais é um conceito que depende da tarefa. A integração treinada de métricas funciona como um proxy mais forte do comportamento na transferência do que a escolha manual de uma única métrica.

Onde isso pode ser útil

Para equipes que trabalham com previsão e reaproveitam dados entre domínios, o DISC oferece um cenário de uso concreto. Primeiro, calcula-se um conjunto de métricas de similaridade para os candidatos; depois, obtém-se a pontuação integrada e selecionam-se as origens mais promissoras para a adaptação real. Assim, a busca exaustiva dá lugar a uma verificação curta.

Há também uma limitação: a calibração se baseia em observações de transferência, então a qualidade da estimativa depende de quanto as novas tarefas se parecem com aquelas em que o framework foi ajustado. Os resultados foram apresentados para o split de relatório, e vale verificar como eles se sustentam nos seus domínios. Para quem monta corpora de pré-treinamento de modelos de séries temporais, o que mais importa é o próprio arcabouço metodológico: medir a similaridade não pela "métrica de costume", mas pelo quanto ela prevê o erro final.

O artigo está disponível no arXiv sob o número 2610.31288.