OcuFlow supprime les reflets sur les lunettes en une seule étape et recueille 67,32% des votes lors d'un test à l'aveugle

Une équipe d'auteurs publiant sur arXiv présente deux artefacts pour une tâche étroite mais très concrète : la suppression des reflets sur les lunettes dans les portraits. Le premier est le benchmark OcuBench, composé de 10 280 paires synthétiques contrôlables, de 732 pseudo-paires sur entrées réelles et de 458 images de test réelles indépendantes. Le second est le modèle OcuFlow, qui restaure la zone des yeux en une seule étape de génération. Lors d'une étude utilisateur à l'aveugle, il a obtenu 67,32% des choix, soit 6,2 fois plus que la méthode suivante. Les auteurs promettent de publier le code et le jeu de données.

Pourquoi les reflets sur les lunettes posent problème

La tâche paraît mineure, jusqu'à ce qu'on regarde où elle se pose. Caméra de smartphone, appel vidéo, filtres de selfie, toutes les applications reposant sur le visage : dès qu'une personne portant des lunettes se tient devant une fenêtre ou un écran, un reflet parasite apparaît sur les verres. Parfois, il ne s'agit que d'une légère distorsion des couleurs et du contraste. Parfois, le verre masque complètement l'œil, et l'information située sous le reflet n'existe tout simplement plus.

D'où une double exigence. Pour les reflets faibles, il faut une correction ponctuelle, sans effets secondaires. Pour les reflets forts, il faut une reconstruction plausible, qui ne modifie pas l'identité de la personne et ne donne pas un aspect « plastique » à la peau et à l'iris. Les auteurs pointent une faiblesse des jeux de données existants : ils couvrent un éventail étroit de conditions d'éclairage et de réflexions. Les modèles se transposent donc moins bien aux scènes réelles complexes, et la comparaison des méthodes reste incomplète.

Comment sont conçus OcuBench et OcuFlow

OcuBench se compose de trois parties, chacune avec un rôle distinct. Les paires synthétiques fournissent une annotation contrôlée : on sait à quoi ressemblait l'image sans reflet. Les pseudo-paires sur entrées réelles rapprochent la distribution de celle du monde réel. Les images réelles indépendantes ne disposent d'aucune vérité terrain générée. Elles servent à vérifier que le modèle n'a pas simplement appris à deviner les artefacts de la synthèse.

OcuFlow repose sur pixel MeanFlow (pMF), une approche générative en une étape qui opère dans l'espace des pixels. Au lieu du débruitage en plusieurs étapes de la diffusion classique, le modèle effectue la restauration en une seule passe. Pour la visioconférence, c'est une propriété importante : la latence y est critique.

D'après les auteurs, l'architecture repose sur deux choix clés :

• une représentation géométriquement adaptative oriente la reconstruction vers les zones des yeux masquées par le reflet, et non vers l'ensemble du visage ;
• une synthèse en résolution native, avec préservation des fréquences, reporte dans le résultat des détails fidèles de l'image d'origine, afin de ne pas lisser la texture de la peau, des cils et de la monture.

Ce que l'on sait des résultats

Principaux indicateurs annoncés :

• 10 280 paires synthétiques, 732 pseudo-paires réelles, 458 images réelles indépendantes dans OcuBench ;
• un avantage constant d'OcuFlow en qualité de suppression des reflets, en fidélité de reproduction de la zone des yeux et en efficacité, sur différents types de réflexions ;
• 67,32% des choix lors du sondage utilisateur à l'aveugle ;
• un écart de 6,2 fois avec la deuxième place : ces chiffres impliquent que le concurrent le plus proche recueille de l'ordre de 10,9% des votes.

Il faut rester prudent sur deux points. Premièrement, le résumé ne contient aucune métrique chiffrée comme PSNR ou LPIPS, ni de données de vitesse en millisecondes. L'affirmation d'efficacité ne pourra donc être vérifiée qu'avec le texte complet et le code. Deuxièmement, un sondage à l'aveugle mesure une préférence subjective, mais ne garantit pas que l'identité du visage soit préservée dans tous les cas. Pour la reconstruction des yeux sous un fort reflet, c'est un risque de fond : le modèle redessine ce qu'il n'a pas vu.

À qui cela servira, et comment

Si les auteurs tiennent leur promesse et publient le code et les données, l'industrie disposera d'un banc d'essai commun pour comparer ces méthodes, ce qui fait généralement avancer un domaine plus vite que des modèles isolés. Pour les développeurs de solutions de visioconférence et de caméras de smartphone, le mode en une étape est le point intéressant : il s'intègre plus facilement dans un pipeline temps réel qu'une diffusion en plusieurs étapes.

Le plan pratique est simple. Attendez la publication et testez OcuFlow sur vos propres images avec de forts reflets, et pas seulement sur OcuBench. Vérifiez séparément la préservation de l'identité : comparez les embeddings des visages avant et après traitement. Mesurez la latence sur le matériel cible. Et décidez à l'avance comment signaler les images dont la zone des yeux a été reconstruite plutôt que nettoyée : pour la vérification d'identité et pour les documents, c'est critique.