DISC aprende a combinar métricas de similitud de series temporales y a predecir el éxito de la transferencia

Un grupo de investigadores ha presentado DISC (Domain-Integrated Similarity Cost), un framework entrenable que calibra y combina métricas de similitud entre datasets de series temporales. Su objetivo es predecir de antemano cuán bien se transferirá un modelo de pronóstico desde los datos de origen a los de destino. El resultado principal: la puntuación integrada se alinea mejor con los errores reales de pronóstico que cualquiera de las métricas individuales utilizadas como referencia en el split del informe.

Por qué estimar la transferencia de antemano

El pronóstico de series temporales es una herramienta de trabajo básica en energía, retail, finanzas y monitorización de infraestructuras. Cuando un equipo tiene varios candidatos como fuente para el preentrenamiento o el ajuste fino, surge la pregunta: ¿con qué datos entrenar para obtener el mejor resultado en los datos de destino? Solo la búsqueda exhaustiva ofrece una respuesta fiable: adaptar el modelo a cada par «origen — destino» y comparar los errores. Es un proceso costoso, sobre todo cuando hay muchos candidatos.

Por eso hace falta una estimación rápida. Para ello se han propuesto numerosas métricas de similitud entre datasets, pero miden cosas distintas y se correlacionan de forma desigual con lo que de verdad importa: la calidad del pronóstico tras la transferencia. Los autores de DISC midieron esa brecha de forma directa: compararon las puntuaciones de similitud entre origen y destino con los errores de pronóstico downstream en distintos escenarios, incluido el transfer learning.

Ninguna métrica sirve para todas las tareas

La validación mostró que ninguna métrica es un indicador universal. La utilidad de la similitud depende de la tarea. Una métrica que refleja bien la transferencia en un escenario puede correlacionarse débilmente con el error en otro. Si la métrica se elige a mano, el riesgo de equivocarse desde el principio es alto.

DISC lo resuelve mediante entrenamiento con datos observados de transferencia. El framework:

• elige qué métricas de similitud se necesitan para la tarea en cuestión;
• les asigna pesos;
• combina los valores de las métricas en una única puntuación;
• calibra el score final con respecto a la calidad real del pronóstico.

La idea clave es la complementariedad. Cada métrica capta aspectos distintos de la relación entre datasets, y su combinación separa con más precisión las diferencias entre origen y destino que afectan al comportamiento del modelo tras la transferencia de las que no influyen.

Qué se obtiene al final

Una vez calibrado, DISC evalúa los pares «origen — destino» usando solo los valores de las métricas de similitud. No es necesario reentrenar los modelos de pronóstico para ello. Según los autores, en el split del informe esta estimación logra una mayor concordancia con los resultados downstream que las métricas de referencia individuales.

La segunda conclusión atañe al propio campo: la similitud entre series temporales es un concepto que depende de la tarea. La integración entrenada de métricas funciona como un proxy más sólido del comportamiento en la transferencia que la elección manual de una sola métrica.

Dónde puede resultar útil

Para los equipos que trabajan con pronóstico y reutilizan datos entre dominios, DISC propone un flujo de trabajo concreto. Primero se calcula un conjunto de métricas de similitud para los candidatos; después se obtiene el score integrado y se seleccionan las pocas fuentes más prometedoras para una adaptación real. Así, la búsqueda exhaustiva se sustituye por una comprobación breve.

Hay también una limitación: la calibración se apoya en observaciones de transferencia, de modo que la calidad de la estimación depende de cuánto se parezcan las tareas nuevas a aquellas con las que se ajustó el framework. Los resultados se presentan para el split del informe, y conviene comprobar cómo se sostienen en sus propios dominios. Para quienes reúnen corpus para el preentrenamiento de modelos de series temporales, lo más valioso es el marco metodológico en sí: medir la similitud no «con la métrica habitual», sino por cuánto predice el error final.

La publicación está disponible en arXiv con el número 2610.31288.