Segmentación de secuencias de video en tiempo real utilizando una WebCam V Taller de Procesamiento de Imágenes (PI 2008) Presenta: Francisco Javier Hernández López Asesor: Dr. Mariano José Juan Rivera Meraz CIMAT, Agosto/2008

Problema Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background) en tiempo real. Secuencia de Video Nuevo Fondo Ilustramos nuestros resultados mediante la sustitución del fondo.

Problema EspacioCaso ICaso IICaso IIICaso IV Primer Plano Móvil Estático FondoEstáticoMóvil Estático Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video: Tabla 1. Casos del Problema

Utilización Videoconferencia Video vigilancia

Propuesta WebCam Tomamos N imágenes y calculamos μ(x) Leemos la siguiente imagen I S (x) Calculamos Verosimilitud de ser Fondo V B Segmentamos con QMPF y sustituimos el Fondo.

Propuesta Verosimilitud de ser Fondo Inicialmente probamos con una distribución gaussiana: (1) Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente: Distribución GaussianaDistribución Exponencial

Propuesta Segmentación con el método QMPF. Siguiendo el método QMPF tenemos el siguiente funcional: (2) donde: Resolviendo (2) para P(x) tenemos: Utilizando Gauss - Seidel Con

Propuesta Sustitución del Fondo Si P(x)>Umbral entonces de lo contrario Donde: Umbral=0.5 Al realizar los experimentos observamos los siguientes problemas:  Cambio de Intensidad en la escena.  Semejanza del color Modificación de la Intensidad Corrección de semejanza del color

Propuesta Modificación de la Intensidad restringida al área donde estamos seguros que es fondo, donde Calculamos μ RGB de los elementos de Div(x). Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).

Propuesta Corrección de Semejanza del Color Calculamos el Flujo Óptico (Lucas & Kanade), obtenemos d(x). Si de lo contrario Finalmente

Implementación El método fue implementado en Visual C Express Edition, utilizando:  GPU: Tarjeta de Video NVIDIA GeForce 8800 GT, Lenguaje CUDA (Compute Unified Device Architecture).  OpenCV.  Una WebCam Creative.  Computadora Pentium 4 con CPU a 3.40 GHz y 512 MB de RAM.

Implementación Diagrama de Flujo Principal del Método N imágenes I(x), FN(x), I S2 (x)  I S (x) Ban ≤ C Ban  Ban+1 Calculamos V B (x) Segmentación con QMPF, Obtenemos P(x) P_ant(x)  P(x) Cambiamos Fondo I SEG (x) Si Con P_ant(x) Calculamos Div(x) Calculamos µ R GB I S (x)  I S (x) µ R GB Calculamos V B (x) Calculamos F.O. Calculamos V B2 (x) V B (x)  V B2 (x) Ban  0 Calculamos µ(x) Siguiente imagen I S (x) No Segmentación del Primer Plano Modificación de la Intensidad Corrección de Semejanza del Color OpenCV GPU OpenCV GPU CPU GPU OpenCV CPU

Implementación Segmentación con QMPF Por GS resolvemos (3) para encontrar P(x) (3) Calculamos las Distancias y Pesos V B (x) Este proceso se implemento en GPU, utilizando MGrid (Estructura Piramidal), sin necesidad de crear memoria para toda la pirámide.

Implementación Modificación de la Intensidad P_ant(x) Calculamos Div(x), restringida al área del Fondo GPU Modificamos la Intensidad de la imagen I S (x) GPU Calculamos la media #PF  Numero de Píxeles del Fondo F  Fondo CPU

Implementación Corrección de Semejanza del Color V B (x), P_ant(x) Calculamos el FO. Lucas & Kanade d(x) cvCalcOpticalFlowHS(prev,curr,use_pre vious,velx,vely,lambda,CvTermCriteria ); cvCalcOpticalFlowLK(prev,curr, win_size, dx, dy ); OpenCV Modificar el valor de V B (x) Si un píxel era primer plano en la solución anterior P_ant(x), y ahora es clasificado como fondo, entonces damos oportunidad a que siga teniendo la misma probabilidad de ser fondo que tenía en la P_ant(x). CPU Nota: Esta pendiente la implementación de este proceso en GPU.

Experimentos Los experimentos fueron realizados con secuencias de video de resolución 320x240. Método Propuesto M_1: Método sin ajuste de iluminación y sin corrección de semejanza del color, corre a 50 f/s. M_2: Método Completo, corre a 27 f/s.

Experimentos Método Creative Resolución 320x240, corre a 29 f/s

Experimentos Método Propuesto Método Creative

Conclusión Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.

Trabajo a Futuro Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.

Referencias [1] Mariano Rivera and Pedro P. Mayorga, “Quadratic Markovian Probability Fields for Image Binary Segmentation” [2] Stefano Messelodi, Carla Maria Modena, Nicola Segata, Michele Zanin, “A Kalman Filter Based Background Updating Algorithm Robust to Sharp Illumination Changes”, pages , (2005). [3] CUDA ZONE: [4] GPGPU: [5] OpenCV Manual Referente:

Preguntas …