Habr AI mostró cómo funciona la cámara virtual para Shorts y Reels con face tracking

Habr AI demostró cómo funciona una cámara virtual para vídeo vertical, convirtiendo vídeo horizontal común en Shorts o Reels sin el nervioso recorte automático típico de estas conversiones. El autor describe un pipeline de producción donde la cámara rastrea el rostro como un sistema dinámico separado, en lugar de seguir una única caja delimitadora.

Por Qué el Recorte Automático Falla

En teoría, la tarea parece sencilla: tomar un fotograma 16:9, extraer una ventana 9:16 y mantener a la persona centrada. En vídeo real, este enfoque se desmorona rápidamente. El rostro puede desplazarse hacia la izquierda o derecha, una segunda persona puede aparecer en el encuadre y el propio detector introducirá ruido, perderá el objetivo en giros de cabeza, reflejos o gestos. El resultado es un vídeo vertical que se parece a autofoco antiguo: la imagen se agita nerviosamente y constantemente maneja mal la composición.

El autor propone ver el problema no como recorte automático, sino como una cámara virtual con su propia inercia, restricciones de velocidad, retraso de reacción y lógica de fallback. El sistema no puede simplemente "seguir el centro de la caja". Debe existir en el tiempo, tolerar datos imprecisos, no entrar en pánico durante breves pérdidas de rostro y mantener un movimiento significativo incluso en escenas donde no hay rostros en absoluto. Esto es crítico para clips largos.

"Una cámara no es una coordenada, sino un sistema dinámico."

Cómo Funciona el Pipeline

La solución principal utiliza una cadena de detección de rostros de tres niveles: MediaPipe → YuNet → Haar Cascade. El primer detector funciona como la opción principal, el segundo actúa como respaldo de backend ONNX a través de OpenCV, y el tercero permanece como última línea de defensa cuando todo lo demás no está disponible o funciona mal. En conjunto producen un formato de datos unificado: centro del rostro, tamaño, confianza y caja delimitadora. De esta manera, el resto del sistema es independiente del detector específico y puede funcionar de manera estable incluso en modo degradado.

En la parte superior de la detección viene el rastreo simple pero práctico: el sistema compara el centro del rostro del fotograma anterior con los candidatos actuales y selecciona el objeto más cercano. Si el rostro desaparece brevemente, se activa un período de tolerancia—la cámara confía en la última posición conocida durante un breve momento para evitar sacudidas en un único error. Después de esto, la señal se limpia en dos pasos adicionales y recibe un fallback separado para escenas sin rostros.

• Anti-sacudida elimina saltos de coordenadas excesivamente grandes entre fotogramas
• Filtro paso bajo suaviza el ruido residual y la microvibración
• Fallback Ken Burns maneja la escena si el rostro se pierde o está ausente
• Interpolación de ruta convierte análisis de 8 FPS en movimiento suave para salida final de 30 o 60 FPS

En la etapa final, el sistema no solo almacena estados discretos de la cámara—construye una ruta continua. Luego, para cada fotograma, toma el centro y zoom, calcula el ROI, extrae la región necesaria y la escala al formato vertical final. Esto mantiene el pipeline computacionalmente razonable: el análisis se puede realizar en una copia reducida del vídeo, mientras que el recorte final funciona con el original, sin perder suavidad de movimiento en la renderización final.

Cómo la Cámara se Convierte en Operador

La parte más interesante es el modelo de movimiento. En lugar de saltos instantáneos al punto objetivo, la cámara se describe como un oscilador amortiguado: tiene "masa," rigidez, amortiguación, límites de aceleración y velocidad máxima. Este esquema proporciona inercia y hace que el movimiento sea auténtico. Si una persona comienza a moverse más rápido, puede añadir anticipación predictiva para que la cámara mire ligeramente hacia adelante en lugar de solo perseguir el objetivo. Paradójicamente, un ligero retraso artificial—lag humano—también mejora el resultado: las reacciones perfectamente precisas a menudo se ven menos naturales que las ligeramente retrasadas.

En la parte superior de la física, el autor aplica reglas composicionales. La cámara puede desplazar el rostro hacia las líneas de tercios, elevar el punto de atención más cerca del nivel de los ojos, ignorar micromovimientos dentro de una zona muerta y mantener un margen seguro de rostro para evitar cortar orejas, cabello y gestos en los bordes del encuadre. Para escenas de talking-head, hay un modo single-face dedicado con velocidad más conservadora y estabilización reforzada, y para vídeos sin rostros—una transición suave a Ken Burns con panorámica y zoom en lugar de un centro "congelado".

Qué Significa Esto

Este desglose muestra hacia dónde se dirigen las herramientas de edición de vídeo AI. La calidad aquí no nace de un único modelo "mágico", sino de ensamblaje de ingeniería: detectores de fallback, rastreo, filtrado, física de movimiento y composición funcionan juntos. Para creadores de contenido y equipos que producen en masa vídeos largos recortados en Shorts y Reels, esto ya no es un recorte automático de juguete, sino una plantilla práctica de cámara de producción que se puede replicar y adaptar a diferentes estilos de grabación.