La telemetría del router MoE delata los datos de fine-tuning: el ataque mejora entre 2,7 y 9,4 p. p.

Si ajusta un modelo MoE con datos cerrados y, a la vez, registra logs de enrutamiento «para monitorización», esos logs pueden convertirse en un canal de fuga. En un nuevo trabajo en arXiv (2610.10616), los autores describen un ataque de membership inference que usa la telemetría del router. El ataque determina si un ejemplo concreto estaba en el dataset de fine-tuning. En tres arquitecturas MoE y tres dominios de datos, el aumento del TPR con 1% de FPR fue de entre 2,7 y 9,4 puntos porcentuales en cada una de las nueve configuraciones. La referencia fue un sólido ensamble de señales del lado de la salida del modelo.

Cómo funciona el ataque

En cada capa, los modelos Mixture-of-Experts eligen qué expertos activar para cada token. Estas decisiones suelen registrarse para depuración, análisis de carga y auditorías de seguridad. A diferencia del texto de la respuesta, estos datos muestran el funcionamiento interno de la red.

Los autores combinan dos tipos de rasgos. El primero son las señales de salida habituales, como la confianza del modelo y la pérdida sobre el ejemplo. El segundo son rasgos agregados de enrutamiento. El clasificador de pertenencia se entrena con shadow models ajustados de forma independiente y después se aplica al modelo objetivo. Para ello no necesita acceso a los datos de entrenamiento de este último.

Principales resultados del abstract:

• 3 arquitecturas MoE × 3 dominios de datos = 9 configuraciones, y en todas la telemetría mejora el ataque.
• Aumento del TPR con 1% de FPR: de +2,7 a +9,4 p. p. sobre el ensamble de señales de salida.
• La fuga persiste con fine-tuning completo, entrenamiento con router congelado, LoRA e instruction tuning.
• Bastan las elecciones discretas de expertos, una telemetría limitada o un solo shadow model.
• Añadir ruido a la telemetría reduce la fuga adicional solo a costa de su precisión.

Por qué el router no necesita memorizar

La defensa intuitiva es esta: si congelamos el router, no podrá memorizar los ejemplos de entrenamiento. El análisis mecanicista muestra que no funciona. El fine-tuning escribe la información de pertenencia en las representaciones ocultas. El router lee esas representaciones y, con ello, expone su proyección, incluso cuando sus propios parámetros no han cambiado. Para que haya fuga no hace falta una memoria específica del router.

De aquí se desprende una conclusión importante para la defensa. Basta con que el router vea los estados ocultos, así que los retoques puntuales en él no resolverán nada. La solución pasará por actuar sobre la propia telemetría o sobre la forma en que los datos llegan a los pesos.

Conviene leer las cifras con cautela. El abstract no da valores absolutos de TPR, solo el aumento. Nueve puntos con 1% de FPR son notables, mientras que dos y medio parecen modestos. Pero precisamente este régimen de bajos falsos positivos determina hasta qué punto el ataque sirve para una auditoría real o para un abuso. Que el efecto sea positivo de forma sistemática en las nueve configuraciones resulta convincente por sí mismo.

Qué deben hacer los equipos que registran el enrutamiento

Conclusiones prácticas del trabajo y sus consecuencias más inmediatas:

• Trate los logs de enrutamiento como datos derivados de la muestra de entrenamiento. Limite el acceso, el plazo de conservación y la exportación a sistemas externos de monitorización.
• No entregue la telemetría en bruto a clientes ni a auditores externos junto con las respuestas del modelo, sobre todo si el modelo se ha ajustado con datos de usuarios o datos médicos.
• Reduzca la granularidad. Los agregados en lugar de las elecciones de expertos por token disminuyen la señal. Pero los autores muestran que las elecciones discretas ya bastan, así que esto es una mitigación, no una garantía.
• Añadir ruido funciona como un intercambio. La fuga baja justo en la medida en que baja la utilidad de la telemetría para depurar. Hay que decidir de antemano cuánta precisión se está dispuesto a sacrificar.
• Incluya la comprobación en el proceso de evaluación de riesgos. Entrene varios shadow models con su propia arquitectura y mida cuánto mejora el ataque al añadir el enrutamiento. El trabajo muestra que basta con uno.
• Considere una protección en el propio fine-tuning, por ejemplo la privacidad diferencial. Esta es una conclusión mía, no un resultado del artículo, pero la lógica es directa: si la señal vive en las representaciones ocultas, hay que cerrar la fuente.

La monitorización de la infraestructura MoE, donde los logs de expertos son necesarios para el balanceo de carga y la depuración, deberá diseñarse teniendo en cuenta la privacidad.