Using Incremental Principal Component Analysis to Learn a Gender Classifier Automatically M. Castrillón, O. DÉNIZ, D. Hernández, J. Lorenzo

Contenidos Motivación Descripción del sistema Detección: ENCARA2 Detección de elementos faciales Selección de ejemplares Representación y clasificación Esquema de aprendizaje Resultados Conclusiones

Motivación El rostro humano: Importante canal de comunicación entre humanos Los humanos somos expertos leyendo rostros Proceso aprendido, los bebés detectan rostros pero requieren unos años hasta caracterizarlos de forma robusta Familiaridad, other race effect Esquema de aprendizaje supervisado y multimodal

Motivación Los sistemas automáticos obvian ese largo aprendizaje. Problemas detectando rostros en tiempo real Problemas entrenando en caliente Sin embargo disponemos actualmente de herramientas para abordar este enfoque: Detectores, esquemas incrementales ¿Qué pasaría si intentamos emplear ese esquema evolutivo a un sistema automático?

Descripción del sistema Visión global: Se dispone de un sistema de detección facial Se hace uso de un esquema de representación y clasificación basado en PCA+SVM El espacio de representación evoluciona con la experiencia (PCA incremental) Sólo interviene un supervisor humano para corroborar o rechazar la clasificación aportada por el sistema Actualización del clasificador en caliente con bajo coste computacional

Detección de personas Técnicas: Implícitas o basadas en patrones, p.e. Viola-Jones [1] Explícitas o basadas en conocimiento: movimiento, color, coherencia temporal, etc. [1] P. Viola and M. J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Computer Vision and Pattern Recognition, [2] H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), [3] Clasificadores para OpenCV disponiblesdisponibles Esquema de Viola-Jones aplicado a: Rostros frontales [1] Cabeza y hombros [2] Elementos faciales: ojos, nariz y boca [3].

Descripción del sistema: ENCARA2 ENCARA2 combina distintas técnicas con el objetivo de aprovechar sus ventajas individuales: Detectores basados en el marco de Viola-Jones [2,3], sirven de inicializadores. Distintas técnicas (Color de piel, seguimiento multinivel, ojos, rostro, etc.) se combinan de forma robusta haciendo uso de la coherencia temporal en vídeo. [1] M. Castrillón, O. Déniz, C. Guerra, M. Hernández "ENCARA2: Real-time Detection of Multiple Faces at Different Resolutions in Video Streams“ Journal of Visual Communication and Image Representation, ISSN , vol 18, issue 2, pp , April 2007.M. Castrillón, O. Déniz, C. Guerra, M. Hernández "ENCARA2: Real-time Detection of Multiple Faces at Different Resolutions in Video Streams“ Journal of Visual Communication and Image Representation, ISSN , vol 18, issue 2, pp , April 2007 [2] P. Viola and M. J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Computer Vision and Pattern Recognition, [3] H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.

Descripción del sistema: ENCARA2 Una primera detección permite la creación del modelo particular para la cara detectada: La coherencia temporal se emplea en las imágenes posteriores.

Descripción del sistema: ENCARA2 Una detección provoca una búsqueda localizada en las siguientes imágenes, aplicando primero las técnicas más rápidas.

Descripción del sistema: eltos. faciales Ampliando la detección de elementos faciales de ENCARA2 Clasificadores individuales de libre disposición obtenidos a partir de 7000 rostros anotados manualmente. Múltiples candidatos de elementos faciales se escogen en base a la estructura promedio. Clasificadores para OpenCV disponiblesdisponibles

Descripción del sistema: Ejemplares ENCARA2 proporciona para cada sesión de intereacción, IS, una serie de hilos de detección, dt, uno por cada individuo detectado. Cada hilo contiene las caras detectadas para un individuo: Los posibles ejemplares son aquellos que no han podido ser seguidas por medio de seguimiento ocular

Descripción del sistema: Ejemplares

Cada hilo de detección, dt, se clasifica ponderando, en base a su persistencia, pe, la clasificación binaria de los distintos ejemplares que lo representan: Los ejemplares con una persistencia reducida, o con un error PCA mayor que la media no son considerados.

Descripción del sistema: Representación Se requieren esquemas veloces de representación y clasificación. PCA ha sido un esquema muy utilizado. Usamos 7000 rostros para calcular un espacio PCA

Descripción del sistema: Representación ¿Qué ratio se obtiene con un esquema offline? ¿Qué dimensión utilizar para representar? Colección de 7000 rostros. Elementos faciales anotados. Mitad entreno, mitad test. Clasificación con SVM.

Descripción del sistema: Representación Utilizar un esquema de representación fijo es restrictivo. Comprobamos la evolución haciendo uso de un esquema fijo y otro incremental. Emplearemos distintas zonas del rostro, así como resoluciones: Cropped A (59x65) Cropped A-IN [1] (59x65) Uncropped (75x90) Eyes (45x11) Cropped B (75x90) 1/4 1/8 1/2 [1] Xudong Xie and Kin-Man Lam. An efficient illumination normalization method for face recognition. Pattern Recognition Letters, 27(6) 2006.

Descripción del sistema: Aprendizaje Para clasificar un hilo de detección: Un supervisor humano proporciona la clase para el individuo, C p : if P(C p |e j )!=1, then e j se añade al conjunto de entrenamiento. El espacio PCA se actualiza si fuera necesario. El clasificador SVM se reentrena.

Aplicaciones Reconocimiento Aprendizaje desde cero. Extracción automática de los ejemplares. Supervisión para aumentar la experiencia del sistema. Aproximación basada en PCA incremental y SVM. M. Castrillón, O. Déniz, J. Lorenzo, M. Hernández: “Learning to recognize faces by successive meetings”,: Journal of Multimedia, vol 1, issue 7, pp 1-8, 2006

Resultados: Reconocimiento del género 1130 encuentros. PCA, PCA incremental (IPCA) e IPCA con normalización Tendencia de reducción del error. Entrenamiento (15 msegs), actualización PCA msegs.

Resultados 1130 encuentros. sólo IPCA Distintas zonas del rostro: Cropped A, Cropped A – IN, Cropped B, with context, eyes Tendencia de reducción del error. Entrenamiento (15 msegs), actualización PCA msegs.

Resultados Distintas resoluciones para las tres mejores

Resultados Con un conjunto de test independiente de 7000 imágenes

Conclusiones Mejor rendimiento con IPCA Peor resultado que offline, unos 10 puntos menos, pero empleando sólo un 10% de imágenes en el conjunto de entrenamiento. Suficientemente rápido para aplicar en línea Mejor rendimiento con más área del rostro. Buenos resultados hasta tamaño aprox. 20x20