Дистилляция ECG в PPG запоминала личность: fixed-effects более чем удвоил сигнал состояния

Носимые устройства покупают, чтобы видеть, как меняется состояние сердечно-сосудистой системы у конкретного человека: сегодня пульс выше, вчера восстановление было лучше. Но препринт arXiv:2610.10662 показывает, что стандартная дистилляция ECG в PPG-модели учит другое. Средний по записи вектор признаков, который авторы называют trait, составляет 40–59% целевого сигнала замороженного ECG-учителя. То есть почти половина того, что ученик пытается воспроизвести, описывает, кто этот человек, а не что с ним происходит. Предложенный авторами fixed-effects distillation убирает эту часть, и согласие по состоянию вырастает более чем вдвое.

Где прячется личность

ECG давно служит «золотым стандартом» для обучения моделей, которые работают только по фотоплетизмограмме (PPG), то есть по оптическому датчику в часах или кольце. Учитель смотрит на электрокардиограмму, ученик на PPG, и ученик подгоняет свои эмбеддинги под эмбеддинги учителя. Качество обычно меряют косинусным сходством, и здесь кроется ловушка. Константный предсказатель, который выдаёт один и тот же вектор независимо от входа, набирает по этой метрике 0,793. Высокий косинус доказывает мало: значительная часть сходства достигается тем, что модель попадает в «среднюю точку» целевого распределения.

Хуже того, модели, обученные на общем пуле записей, этот trait запоминают, но не переносят на новые записи. Выходит худший из вариантов: ученик тратит ёмкость на идентичность, а полезной информации для незнакомых записей это не даёт. Авторы проверили связь на 34 запусках. Закономерность прямая: чем больше идентичности запоминает студент, тем меньше состояния он выучивает.

Как работает fixed-effects distillation

Идея заимствована из эконометрики и панельных данных: если интересует вариация внутри объекта, средний уровень объекта нужно вывести за скобки. Здесь это делается так: из предсказания ученика и из цели учителя вычитается среднее по соответствующей записи, после чего считается обычный дистилляционный лосс. Trait сокращается точно, потому что он по определению постоянен внутри записи. Альтернативный вариант, pooled anchor, сохраняет эту компоненту, и именно он служит контрольным.

По данным авторов:

• Trait занимает 40–59% целевого сигнала замороженного ECG-учителя.
• Константный предсказатель получает 0,793 по сырому косинусу выравнивания.
• Эксперимент охватывает 34 запуска, в которых запоминание идентичности отрицательно связано с выученным состоянием.
• Согласие по состоянию (state agreement) растёт более чем вдвое.
• Внутрииндивидуальные метки улучшаются, а возраст и пол остаются на прежнем уровне.
• Эффект воспроизводится на двух бэкбонах и ещё двух базах данных.

Отдельно важен результат по возрасту и полу. Они относятся к статическим характеристикам человека, и если бы метод просто улучшал все метрики подряд, вырос бы и этот показатель. Он не вырос, что согласуется с утверждением: из представления убрана идентичность, а динамика осталась. Формулировка авторов: кондиционирование на запись разворачивает дистилляцию к внутрииндивидуальным изменениям, за которыми и следят носимые устройства.

Что проверить в своём пайплайне

Для команд, которые делают PPG-модели для часов, колец и медицинских пластырей, вывод прикладной. Во-первых, не полагаться на сырой косинус или на похожую метрику выравнивания без базовой линии: посчитайте результат константного предсказателя и вычтите его. Во-вторых, оценивайте модель на внутрииндивидуальных задачах, то есть на изменениях относительно собственной записи человека, а не только на кросс-субъектных метках вроде возраста и пола. В-третьих, если дистилляция идёт из ECG или другого «дорогого» сигнала, попробуйте центрирование по записи как дешёвую модификацию лосса: она не требует нового учителя.

Ограничения тоже видны. Это препринт, и заявленные «более чем вдвое» относятся к выбранной авторами метрике согласия по состоянию. Центрирование требует, чтобы в обучающем батче были целые записи или их достаточные фрагменты, иначе среднее будет шумным. Для задач, где нужна абсолютная идентификация (биометрия, определение возраста), метод, по результатам авторов, не поможет и не должен. Но для мониторинга динамики он выглядит как аккуратная и недорогая коррекция того, что оптимизируется на самом деле.