arXiv cs.CV→ original

OcuFlow elimina los reflejos de las gafas en un solo paso y logra el 67,32% de los votos en una prueba ciega

Unos investigadores han publicado en arXiv un trabajo sobre la eliminación de reflejos en las gafas en fotos y vídeo. Presentan el benchmark OcuBench (10 280 pares sintéticos, 732 pseudopares con entradas reales y 458 imágenes reales independientes) y el modelo OcuFlow, basado en pixel MeanFlow de un solo paso. En una encuesta ciega a usuarios, OcuFlow obtuvo el 67,32% de los votos, 6,2 veces más que su competidor más cercano. El modelo se concentra en la zona de los ojos y conserva los detalles de la resolución original. Los autores prometen publicar el código y el dataset en abierto. • OcuBench: tres fuentes de datos, incluidas imágenes reales sin etiquetado sintético • OcuFlow: un solo paso de generación en lugar de una larga cadena de difusión • 67,32% de las preferencias en la prueba ciega, frente a una cuota 6,2× menor del segundo puesto

Procesado por IA desde arXiv cs.CV; editado por Hamidun News
OcuFlow elimina los reflejos de las gafas en un solo paso y logra el 67,32% de los votos en una prueba ciega
Fuente: arXiv cs.CV. Collage: Hamidun News.
◐ Escuchar artículo

Un equipo de autores de arXiv ha presentado dos artefactos para una tarea acotada pero muy práctica: eliminar los reflejos de las gafas en retratos. El primero es el benchmark OcuBench, con 10 280 pares sintéticos controlables, 732 pseudopares con entradas reales y 458 imágenes de prueba reales independientes. El segundo es el modelo OcuFlow, que restaura la zona de los ojos en un solo paso de generación. En un estudio ciego con usuarios obtuvo el 67,32% de las preferencias, es decir, 6,2 veces más que el siguiente método. Los autores prometen publicar el código y el dataset.

Por qué los reflejos en las gafas son tan molestos

La tarea parece menor hasta que se piensa en dónde aparece. Cámara del móvil, videollamadas, filtros de selfi, cualquier aplicación que dependa del rostro: siempre que una persona con gafas se sienta frente a una ventana o una pantalla, aparecen destellos parásitos en las lentes. A veces es una ligera distorsión de color y contraste. Otras veces el cristal tapa el ojo por completo y bajo el reflejo simplemente no hay información.

De ahí surge un doble requisito. Para los reflejos débiles hace falta una corrección puntual sin efectos secundarios. Para los fuertes se necesita una reconstrucción verosímil que no cambie la identidad de la persona ni dé a la piel y al iris un aspecto «plástico». Los autores señalan un punto débil de los datasets existentes: cubren un abanico estrecho de condiciones de iluminación y reflexión. Por eso los modelos se trasladan peor a escenas reales complejas y la comparación entre métodos resulta incompleta.

Cómo están construidos OcuBench y OcuFlow

OcuBench consta de tres partes con funciones distintas. Los pares sintéticos aportan un etiquetado controlado: se sabe cómo era el fotograma sin reflejo. Los pseudopares con entradas reales acercan la distribución a la vida real. Las imágenes reales independientes no tienen ningún etiquetado de referencia generado, y sirven para comprobar que el modelo no se ha limitado a aprender a adivinar los artefactos de la síntesis.

OcuFlow se basa en pixel MeanFlow (pMF), un enfoque generativo de un solo paso que trabaja en el espacio de píxeles. En lugar del eliminado de ruido en varios pasos de la difusión clásica, el modelo restaura la imagen en una sola pasada. Para la videoconferencia es una propiedad importante, porque la latencia es crítica.

Según la descripción de los autores, la arquitectura se apoya en dos decisiones clave:

  • una representación geométricamente adaptativa dirige la reconstrucción a las zonas de los ojos cubiertas por el reflejo, y no a todo el rostro;
  • la síntesis en resolución nativa con preservación de frecuencias traslada al resultado detalles fieles del fotograma original, para no difuminar la textura de la piel, las pestañas y la montura.

Qué se sabe de los resultados

Principales cifras declaradas:

  • 10 280 pares sintéticos, 732 pseudopares reales y 458 imágenes reales independientes en OcuBench;
  • ventaja estable de OcuFlow en calidad de eliminación del reflejo, fidelidad de la zona de los ojos y eficiencia con distintos tipos de reflexión;
  • 67,32% de las preferencias en la encuesta ciega a usuarios;
  • ventaja de 6,2 veces sobre el segundo puesto: de estas cifras se deduce que el competidor más cercano tiene en torno al 10,9% de los votos.

Conviene ser prudente en dos puntos. Primero, el abstract no incluye métricas numéricas como PSNR o LPIPS ni datos de velocidad en milisegundos, de modo que la afirmación sobre la eficiencia solo se podrá verificar con el texto completo y el código. Segundo, una encuesta ciega mide la preferencia subjetiva, pero no garantiza que la identidad del rostro se conserve en todos los casos. En la reconstrucción de ojos bajo un reflejo fuerte, esto es un riesgo de fondo: el modelo dibuja lo que no ha visto.

Para quién es útil y cómo aprovecharlo

Si los autores cumplen su promesa y publican el código y los datos, la industria dispondrá de un banco de pruebas común para comparar estos métodos, algo que suele hacer avanzar un campo más rápido que los modelos aislados. Para los desarrolladores de videoconferencia y de cámaras de móvil, lo interesante es el modo de un solo paso: es más fácil de integrar en un pipeline en tiempo real que la difusión de varios pasos.

El plan práctico es sencillo. Espere al lanzamiento y pruebe OcuFlow con sus propios fotogramas con reflejos intensos, no solo con OcuBench. Compruebe por separado la preservación de la identidad: compare los embeddings faciales antes y después del procesamiento. Mida la latencia en el hardware objetivo. Y decida de antemano cómo marcar los fotogramas en los que la zona de los ojos se ha reconstruido en lugar de limpiarse: para la verificación de identidad y para los documentos, esto es crítico.

ZK
Hamidun News
Noticias de AI sin ruido. Selección editorial diaria de más de 50 fuentes. Producto de Zhemal Khamidun, Head of AI en Alpina Digital.
✦ Unified AI Workspace

Access Frontier LLMs & Multimodal AI in One Workspace

Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.

Try NomadNet AI →Launch NomadNet Agent
¿Qué te parece?
Cargando comentarios…