Segmentación de secuencias de video en tiempo real utilizando una WebCam V Taller de Procesamiento de Imágenes (PI 2008) Presenta: Francisco Javier Hernández López Asesor: Dr. Mariano José Juan Rivera Meraz CIMAT, Agosto/2008

Problema Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background). Secuencia de Video Nuevo Fondo Ilustramos nuestros resultados mediante la sustitución del fondo.

Problema EspacioCaso ICaso IICaso IIICaso IV Primer Plano Móvil Estático FondoEstáticoMóvil Estático Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video: Tabla 1. Casos del Problema

Utilización Videoconferencia Video vigilancia

Propuesta WebCam Tomamos N imágenes y calculamos μ(x) Leemos la siguiente imagen I S (x) Calculamos Verosimilitud de ser Fondo V B Segmentamos con QMPF y sustituimos el Fondo.

Propuesta Verosimilitud de ser Fondo Inicialmente probamos con una distribución gaussiana: (1) Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente: Distribución GaussianaDistribución Exponencial

Propuesta Segmentación con el método QMPF. Siguiendo el método QMPF tenemos el siguiente funcional: (2) donde: Resolviendo (2) para P(x) tenemos: Utilizando Gauss - Seidel Con

Propuesta Sustitución del Fondo Si P(x)>Umbral entonces de lo contrario Donde: Umbral=0.5 Al realizar los experimentos observamos los siguientes problemas:  Cambio de Intensidad en la escena.  Semejanza del color Modificación de la Intensidad Corrección de semejanza del color

Propuesta Modificación de la intensidad restringida al área donde estamos seguros que es fondo, donde Calculamos μ RGB de los elementos de Div(x). Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).

Propuesta Corrección de semejanza del color Calculamos el Flujo Óptico, obtenemos d(x). Si de lo contrario Finalmente

Propuesta Diagrama de Flujo Principal del Método N imágenes I(x), FN(x), I S2 (x)  I S (x) Ban ≤ C Ban  Ban+1 Calculamos V B (x) Segmentación con QMPF, Obtenemos P(x) P_ant(x)  P(x) Cambiamos Fondo I SEG (x) Si Con P_ant(x) Calculamos Div(x) Calculamos µ R GB I S (x)  I S (x) µ R GB Calculamos V B (x) Calculamos F.O. Calculamos V B2 (x) V B (x)  V B2 (x) Ban  0 Calculamos µ(x) Siguiente imagen I S (x) No 1ra. Parte 2da. Parte 3ra. Parte

Experimentos Método Propuesto Método de Creative

Conclusión Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.

Trabajo a Futuro Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.

Preguntas …