Cecilia Aguerrebere – Germán Capdehourat Proyecto Final de Reconocimiento de Patrones Reconocimiento de Caras con características locales

Objetivos Ratificar elección del algoritmo EBGM para el reconocimiento de caras. Encontrar una cota superior de performance para los wavelets de Gabor como descriptores. Evaluar la base de imágenes adquirida. Tener un primer contacto con LBP.

Base de caras 47 individuos de la Base de caras del IIE Conjunto de referencia  4 tomas de frente de cada individuo Conjuntos a clasificar  2 tomas de frente (1 semana después)  1 toma de perfil, hacia arriba, abajo y con iluminación lateral

Diagrama de bloques Imagen de la Base Medida de similitud Extracción de características Marcado manual de puntos Normalización Clasificación de patrones

Normalización Reduce el tamaño de las imágenes. Transformaciones geométricas ubican los ojos en posiciones predeterminadas. Se ajusta el rango dinámico de la imagen y se realiza un suavizado en el margen.

Marcado de puntos Ojo izquierdo 1 izquierda 2 arriba 3 centro 4 derecha Nariz 9 izquierda 10 abajo 11 derecha Ojo derecho 5 izquierda 6 arriba 7 centro 8 derecha Boca 12 izquierda 13 arriba 14 derecha 15 abajo

Extracción de características Se utilizan dos descriptores: Wavelets de Gabor Local Binary Patterns (LBP)

Wavelets de Gabor Núcleo sinusoidal ponderado por forma gaussiana. Brinda información frecuencial localizada. Parámetros a setear oOrientación oFrecuencia oFase oRadio de la Gaussiana oRelación de aspecto de la Gaussiana

Wavelets de Gabor Se eligen dos juegos de parámetros:  Wiskott - 40 coeficientes complejos por punto  Nestares - 16 coeficientes complejos por punto Jet = Conjunto de coeficientes complejos que describen un punto principal dado.

Medidas de similitud Medidas de similitud entre jets  Módulo  Módulo y Fase  Combinación de módulo y fase con corrección de posición del punto principal. Similitud entre patrones = promedio de similitud de sus jets. Distancia geométrica con ajuste de posiciones.

Análisis de datos: Edición Se clasifica cada elemento del conjunto de referencia utilizando reglas: 1-NN 3-NN En el peor caso se obtiene 1 prototipo mal clasificado. Decisión: No se realiza edición.

Clasificación Se clasifica utilizando reglas 1-NN y 3-NN para:  Set de Wiskott  Set de Nestares Se consideran todas las distancias mencionadas.

Resultados Mejor performance en distancias más complejas:  Fase y módulo  Combinada con estimación de desplazamiento Distancia considerando solamente el módulo logra tiempos menores. Distancia geométrica funciona bien sólo en tomas frontales.

Resultados Clasificadores 1-NN y 3-NN dan resultados similares. Mayor dimensión = Mejores resultados  Frente: 100 % vs % (No significativo)  Perfil: 97.8 % vs % (Considerable)  Iluminación: 93.5 % vs % (Importante)

Conclusiones: Wavelets de Gabor Muy buena preformance en reconocimiento. Mayor dimensión es importante para los casos más complicados. Los descriptores demuestran gran poder de discriminación.

Local Binary Patterns (LBP) Se calcula el histograma de las etiquetas.

Local Binary Patterns (LBP) Se calcula un histograma para cada región. Tomamos en cuenta solo 4 regiones:  Ojos  Nariz  Boca Se trabaja con radios de 1, 2 y 3.

Medida de similitud - LBP Xi cuadrado Por regiones Con pesos

Ensayos realizados LBP Se clasifica con 1-NN y 3-NN para los 3 radios: 1, 2 y 3. Se usa distancia con y sin pesos.

Resultados obtenidos LBP Los resultados obtenidos no son buenos. Mejoran al aumentar dimensión. Mejor caso – de frente y radio 3  Sin pesos – 81.9 %  Con pesos – 84.0 %

Conclusiones LBP Mejores resultados:  Caso de mayor dimensión y más apropiado. Promesa de mejores resultados.

Agrupamiento Basado en la matriz de similaridad Agrupamientos = Componentes conexas

Ensayos y Resultados Se realizan pruebas con distintos conjuntos de patrones. Se mueve el umbral desde la mínima a la máxima distancia entre patrones. En todos los casos similares resultados.

Resultados Agrupamiento Ejemplo: 6 de frente Distancia predictiva

Conclusiones No se forman agrupamientos debido a rasgos similares o condiciones comunes. Destaca una importante característica del descriptor: Guarda la información de la persona y no la pose, la luz, etc.

Conclusiones finales Se ratifica EBGM como algoritmo de reconocimiento de caras. Las cotas de performance obtenidas son muy prometedoras. Se destacan las propiedades del descriptor vistas con el agrupamiento.

FIN Dudas, preguntas... Muchas gracias