Distillation ECG vers PPG : le modèle mémorisait l'identité, la fixed-effects distillation fait plus que doubler le signal d'état

On achète des objets connectés pour voir comment évolue l'état cardiovasculaire d'une personne donnée : le pouls est plus élevé aujourd'hui, la récupération était meilleure hier. Mais le preprint arXiv:2610.10662 montre que la distillation standard d'ECG vers des modèles PPG apprend autre chose. Le vecteur de caractéristiques moyen d'un enregistrement, que les auteurs appellent « trait », représente 40–59% du signal cible du professeur ECG gelé. Autrement dit, près de la moitié de ce que l'élève tente de reproduire décrit qui est la personne, et non ce qui lui arrive. La fixed-effects distillation proposée par les auteurs supprime cette part, et l'accord sur l'état plus que double.

Où se cache l'identité

L'ECG sert depuis longtemps d'« étalon-or » pour entraîner des modèles qui travaillent uniquement à partir de la photopléthysmographie (PPG), c'est-à-dire du capteur optique d'une montre ou d'une bague. Le professeur observe l'électrocardiogramme, l'élève observe le PPG, et l'élève ajuste ses embeddings sur ceux du professeur. La qualité se mesure généralement par la similarité cosinus, et c'est là que se trouve le piège. Un prédicteur constant, qui produit le même vecteur quelle que soit l'entrée, atteint 0,793 sur cette métrique. Un cosinus élevé prouve donc peu de chose : une part importante de la similarité s'obtient simplement parce que le modèle tombe sur le « point moyen » de la distribution cible.

Pire, les modèles entraînés sur un pool commun d'enregistrements mémorisent ce trait mais ne le transfèrent pas aux nouveaux enregistrements. C'est le pire des cas : l'élève dépense sa capacité sur l'identité, sans en tirer d'information utile pour des enregistrements inconnus. Les auteurs ont vérifié ce lien sur 34 runs. La tendance est directe : plus l'étudiant mémorise d'identité, moins il apprend d'état.

Comment fonctionne la fixed-effects distillation

L'idée vient de l'économétrie et des données de panel : si l'on s'intéresse à la variation au sein d'une unité, il faut mettre son niveau moyen de côté. Ici, on soustrait la moyenne de l'enregistrement correspondant à la fois de la prédiction de l'élève et de la cible du professeur, puis on calcule la loss de distillation habituelle. Le trait s'annule exactement, car il est par définition constant au sein d'un enregistrement. L'autre variante, le pooled anchor, conserve cette composante et sert de contrôle.

Selon les données des auteurs :

• Le trait représente 40–59% du signal cible du professeur ECG gelé.
• Le prédicteur constant obtient 0,793 au cosinus d'alignement brut.
• L'expérience porte sur 34 runs, dans lesquels la mémorisation de l'identité est corrélée négativement à l'état appris.
• L'accord sur l'état (state agreement) plus que double.
• Les étiquettes intra-individuelles s'améliorent, tandis que l'âge et le sexe restent au même niveau.
• L'effet se reproduit sur deux backbones et sur deux autres bases de données.

Le résultat sur l'âge et le sexe est important à part. Ce sont des caractéristiques statiques de la personne, et si la méthode améliorait simplement toutes les métriques, cet indicateur progresserait aussi. Il n'a pas progressé, ce qui concorde avec l'affirmation selon laquelle l'identité est retirée de la représentation tandis que la dynamique est conservée. Selon la formule des auteurs, le conditionnement sur l'enregistrement oriente la distillation vers les variations intra-individuelles, celles que suivent justement les objets connectés.

Que vérifier dans son pipeline

Pour les équipes qui développent des modèles PPG pour montres, bagues et patchs médicaux, la conclusion est pratique. Premièrement, ne pas se fier au cosinus brut ni à une métrique d'alignement similaire sans ligne de base : calculez le résultat du prédicteur constant et soustrayez-le. Deuxièmement, évaluez le modèle sur des tâches intra-individuelles, c'est-à-dire sur les changements par rapport à l'enregistrement propre de la personne, et pas seulement sur des étiquettes inter-sujets comme l'âge et le sexe. Troisièmement, si la distillation part de l'ECG ou d'un autre signal « coûteux », essayez le centrage par enregistrement comme modification peu coûteuse de la loss : il ne nécessite pas de nouveau professeur.

Les limites sont aussi visibles. Il s'agit d'un preprint, et le « plus que double » annoncé concerne la métrique d'accord sur l'état choisie par les auteurs. Le centrage exige que le batch d'entraînement contienne des enregistrements entiers ou des fragments suffisants, faute de quoi la moyenne sera bruitée. Pour les tâches qui exigent une identification absolue (biométrie, estimation de l'âge), la méthode, d'après les résultats des auteurs, n'aidera pas et n'est pas censée le faire. Mais pour le suivi de la dynamique, elle apparaît comme une correction soignée et peu coûteuse de ce qui est réellement optimisé.