Cox-регрессию научили учиться на усечённых данных быстрее EM на порядки

Группа исследователей опубликовала на arXiv препринт 2610.12538 о моделях выживаемости, которые обучаются на данных, отфильтрованных по самому исходу. На четырёх датасетах учёт усечения уменьшает смещение предсказаний обычной регрессии Кокса, а по скорости новый подход опережает стандартный алгоритм ожидания-максимизации (EM) на порядки. Главный теоретический результат: при известном базовом риске модель Кокса обучается обычной оптимизацией первого порядка, хотя функция потерь невыпукла.

Выборка, которая искажает картину

Большинство моделей обучают в предположении, что тренировочные данные похожи на те, с которыми модель встретится на практике. Реальные наборы этому условию часто не отвечают. Авторы берут один частный случай: наблюдение попадает в датасет в зависимости от своей метки. Это и называется outcome-dependent truncation, усечение, зависящее от исхода. Пример из общих соображений: в когорту входят только те, кто дожил до момента включения в исследование. Короткие траектории в данных просто отсутствуют.

К усечению добавляется цензурирование справа. Для части объектов событие к концу наблюдения не наступило, и известно лишь, что оно случится позже некоторой точки. Анализ выживаемости умеет работать с цензурированием давно. Литература об эффективном обучении при усечении развивалась отдельно. Работа сводит эти два направления.

Что доказано и где спрятана ловушка

Существующие методы для усечённой выживаемости не описывали геометрию задачи оптимизации. Они опирались на итеративные процедуры вроде EM, которые работают, но медленно и без гарантий о ландшафте функции потерь. Авторы закрывают этот пробел.

Результат для известного базового риска: регрессию Кокса при усечённых и цензурированных справа данных можно эффективно выучить методами первого порядка. Нелинейность здесь не мешает, хотя задача невыпукла.

Если же базовый риск оценивается вместе с остальными параметрами, картина меняется. Исследователи строят модели, которые идентифицируемы и корректно специфицированы, но в их отрицательном логарифме правдоподобия есть строгие субоптимальные локальные минимумы. Градиентный метод в такой точке остановится, хотя истинное решение лежит в другом месте. Практический вывод: правильная постановка задачи сама по себе не гарантирует, что оптимизатор дойдёт до ответа.

Что показали эксперименты

Проверка шла на четырёх датасетах по выживаемости. Авторы сравнивали наивную Cox-регрессию, игнорирующую усечение, с вариантом, который его учитывает.

• Наивная Cox-регрессия даёт смещённые предсказания, когда данные усечены по исходу.
• Учёт усечения снижает это смещение на всех четырёх датасетах.
• Подход переносится с линейной модели на нейросети.
• Против стандартного EM заявлено ускорение на порядки.
• Гарантии сходимости доказаны для известного базового риска; для совместного обучения показаны контрпримеры с локальными минимумами.

Где это пригодится

Препринт пока не прошёл рецензирование, а в аннотации нет названий датасетов и точных величин смещения. Поэтому масштаб эффекта лучше проверять в полном тексте и по опубликованному коду, если он появится.

Для практиков вывод такой. Если ваша выборка формируется по условию, связанному с исходом, например в медицинских регистрах, страховых данных, оттоке клиентов или оценке ресурса оборудования, наивная Cox-модель будет систематически ошибаться. Когда форму базового риска можно взять из внешних источников, стоит зафиксировать её и воспользоваться градиентной оптимизацией с гарантиями. Если базовый риск приходится учить вместе с моделью, нужно запускать оптимизацию из нескольких начальных точек и сверять результаты. Для команд, у которых EM был узким местом на больших выборках, порядковое ускорение означает возможность чаще переобучать модели и перебирать больше архитектур.