OcuFlow убирает блики с очков за один шаг и берёт 67,32% голосов в слепом тесте

Команда авторов с arXiv представила два артефакта для одной узкой, но очень практичной задачи: удаления бликов с очков на портретах. Первый — бенчмарк OcuBench из 10 280 управляемых синтетических пар, 732 псевдопар на реальных входах и 458 независимых реальных тестовых изображений. Второй — модель OcuFlow, которая восстанавливает область глаз за один шаг генерации. В слепом пользовательском исследовании она получила 67,32% выборов, то есть в 6,2 раза больше, чем следующий по результату метод. Код и датасет авторы обещают опубликовать.

Почему блики на очках так неудобны

Задача выглядит мелкой, пока не вспомнишь, где она возникает. Смартфонная камера, видеозвонок, селфи-фильтры, любые приложения, завязанные на лицо: везде, где человек в очках сидит перед окном или экраном, на линзах появляется паразитная засветка. Иногда это лёгкое искажение цвета и контраста. Иногда стекло полностью закрывает глаз, и информации под бликом просто нет.

Отсюда двойное требование. Для слабых бликов нужна точечная коррекция без побочных эффектов. Для сильных нужна правдоподобная реконструкция, причём так, чтобы не поменялась личность человека и не появился «пластиковый» вид кожи и радужки. Авторы указывают на слабое место существующих датасетов: они покрывают узкий набор условий освещения и отражений, поэтому модели хуже переносятся на сложные реальные сцены, а сравнение методов получается неполным.

Как устроены OcuBench и OcuFlow

OcuBench собран из трёх частей с разной ролью. Синтетические пары дают контролируемую разметку: известно, как выглядел кадр без блика. Псевдопары на реальных входах приближают распределение к жизни. Независимые реальные изображения вообще не имеют сгенерированной эталонной разметки, и на них проверяют, не научилась ли модель лишь угадывать артефакты синтетики.

OcuFlow построена на pixel MeanFlow (pMF) — одношаговом генеративном подходе, работающем в пространстве пикселей. Вместо многошагового шумоподавления, как в классической диффузии, модель делает восстановление за один проход. Для задачи с видеосвязью это важное свойство: задержка там критична.

По описанию авторов, в архитектуре два ключевых решения:

• геометрически адаптивное представление направляет реконструкцию на области глаз, закрытые бликом, а не на всё лицо целиком;
• синтез в нативном разрешении с сохранением частот переносит в результат достоверные детали исходного кадра, чтобы не размывать текстуру кожи, ресниц и оправы.

Что известно о результатах

Основные заявленные показатели:

• 10 280 синтетических пар, 732 реальных псевдопары, 458 независимых реальных снимков в OcuBench;
• стабильное преимущество OcuFlow по качеству удаления бликов, точности воспроизведения области глаз и эффективности на разных типах отражений;
• 67,32% выборов в слепом опросе пользователей;
• 6,2-кратный отрыв от второго места: из этих цифр следует, что у ближайшего конкурента порядка 10,9% голосов.

Осторожность здесь нужна в двух местах. Во-первых, в аннотации нет числовых метрик вроде PSNR или LPIPS и нет данных о скорости в миллисекундах, поэтому тезис об эффективности пока можно проверить только по полному тексту и коду. Во-вторых, слепой опрос показывает субъективное предпочтение, но не гарантирует, что идентичность лица сохраняется во всех случаях. Для реконструкции глаз под сильным бликом это принципиальный риск: модель дорисовывает то, чего не видела.

Кому и как это пригодится

Если авторы выполнят обещание и опубликуют код и данные, у индустрии появится общий стенд для сравнения таких методов, а это обычно двигает область быстрее, чем отдельные модели. Для разработчиков видеосвязи и камер смартфонов интерес представляет одношаговый режим: его проще встроить в пайплайн реального времени, чем многошаговую диффузию.

Практический план простой. Дождитесь релиза и прогоните OcuFlow на собственных кадрах с тяжёлыми бликами, а не только на OcuBench. Отдельно проверьте сохранение идентичности: сравните эмбеддинги лиц до и после обработки. Замерьте задержку на целевом железе. И решите заранее, как маркировать кадры, где область глаз была реконструирована, а не очищена: для верификации личности и для документов это критично.