Telemetria do roteador MoE vaza dados de fine-tuning: ataque fica de 2,7 a 9,4 p.p. mais preciso

Se você faz fine-tuning de um modelo MoE com dados fechados e, ao mesmo tempo, grava logs de roteamento "para monitoramento", esses logs podem virar um canal de vazamento. Em um novo trabalho no arXiv (2610.10616), os autores descrevem um ataque de membership inference que usa a telemetria do roteador. Ele determina se um exemplo específico estava no dataset de fine-tuning. Em três arquiteturas MoE e três domínios de dados, o ganho de TPR com 1% de FPR ficou entre 2,7 e 9,4 pontos percentuais em cada uma das nove configurações. A comparação foi feita com um ensemble forte de sinais do lado da saída do modelo.

Como funciona o ataque

Em cada camada, os modelos Mixture-of-Experts escolhem quais especialistas acionar para cada token. Essas decisões costumam ser registradas para depuração, análise de carga e auditoria de segurança. Ao contrário do texto da resposta, esses dados mostram o funcionamento interno da rede.

Os autores combinam dois tipos de características. O primeiro são os sinais de saída habituais, como a confiança do modelo e a loss no exemplo. O segundo são características agregadas de roteamento. O classificador de pertencimento é treinado em shadow models ajustados de forma independente e, depois, aplicado ao modelo-alvo. Para isso, não é preciso ter acesso aos dados de treinamento do alvo.

Principais resultados do abstract:

• 3 arquiteturas MoE × 3 domínios de dados = 9 configurações, e em todas a telemetria melhora o ataque.
• Ganho de TPR com 1% de FPR: de +2,7 a +9,4 p.p. sobre o ensemble de sinais de saída.
• O vazamento persiste com fine-tuning completo, treinamento com roteador congelado, LoRA e instruction tuning.
• Bastam as escolhas discretas de especialistas, uma telemetria limitada ou um único shadow model.
• Adicionar ruído à telemetria reduz o vazamento adicional só na mesma medida em que reduz a precisão dela.

Por que o roteador não precisa memorizar

A defesa intuitiva é esta: congelar o roteador para que ele não consiga memorizar os exemplos de treinamento. A análise mecanicista mostra que isso não funciona. O fine-tuning grava a informação de pertencimento nas representações ocultas. O roteador lê essas representações e, com isso, expõe uma projeção delas, mesmo quando seus próprios parâmetros não mudaram. Para haver vazamento, o roteador não precisa de memória específica.

Daí sai uma conclusão importante para a defesa. Basta que o roteador enxergue os estados ocultos, e ajustes pontuais nele não resolvem nada. A correção terá de atuar ou na própria telemetria, ou na forma como os dados chegam aos pesos.

Os números pedem uma ressalva. O abstract não traz valores absolutos de TPR, apenas o ganho. Nove pontos com 1% de FPR são expressivos, enquanto dois e meio parecem modestos. Mas é justamente esse regime de baixa taxa de falsos positivos que define o quanto o ataque é viável para uma auditoria real ou para abuso. O efeito sistematicamente positivo nas nove configurações já é convincente por si só.

O que fazer se sua equipe registra logs de roteamento

Conclusões práticas do trabalho e seus desdobramentos mais imediatos:

• Trate os logs de roteamento como dados derivados da amostra de treinamento. Restrinja o acesso, o prazo de retenção e a exportação para sistemas externos de monitoramento.
• Não entregue telemetria bruta a clientes e auditores terceirizados junto com as respostas do modelo, sobretudo em modelos ajustados com dados de usuários ou dados médicos.
• Reduza a granularidade. Agregados no lugar das escolhas de especialistas por token diminuem o sinal. Mas os autores mostram que as escolhas discretas já bastam, então isso é uma mitigação, não uma garantia.
• Adicionar ruído funciona como uma troca. O vazamento cai exatamente na medida em que cai a utilidade da telemetria para depuração. É preciso decidir de antemão quanta precisão você aceita sacrificar.
• Inclua a verificação no processo de avaliação de riscos. Treine alguns shadow models na sua arquitetura e veja quanto o ataque melhora ao incluir o roteamento. O trabalho mostra que até um só basta.
• Considere uma proteção no nível do próprio fine-tuning, por exemplo privacidade diferencial. Essa conclusão é minha, não um resultado do artigo, mas a lógica é direta: se o sinal vive nas representações ocultas, é a fonte que precisa ser fechada.

O monitoramento de infraestrutura MoE, em que os logs de especialistas são necessários para balanceamento de carga e depuração, terá de ser projetado com a privacidade em mente.