Perceptrón multicapa 1 Detección de caras Descripción general del sistema. Tiene dos etapas 1 Aplica filtros basados en redes neuronales, a diferentes escalas 2 Un árbitro evalua los resultados de la detección mediante los filtros y elimina detecciones solapadas Problema básico: la detección de caras es un problema de clasificación en dos clases que necesita infinitos ejemplos negativos. Solución “bootsrap”

Perceptrón multicapa 2 Preproceso de las ventanas de 20x20 Ignora los pixels de fondo Ajusta una función lineal para modelar los efectos de la iluminación y la substrae para corregir Ecualiza la imagen

Perceptrón multicapa 3 Algunas caracteristicas de la red neuronal 3 tipos de unidades ocultas 4 que observan subregiones 10x10 16 que observan regiones 5x5 6 que observan bandas 20x5 con solapamiento (para detectar ojos, boca,etc Entrenamiento: 1050 patrones de caras Los ojos, punta de la nariz, esquinas y centro de la boca se etiquetaron manualmente y se usaron para normalizar a la misma escala, orientación y posición a las imágenes de caras. La normalización se realiza con un algoritmo iterativo que estima la posición promedio de cada caracteristica de la cara (5 iterac.)

Perceptrón multicapa 4 De cada imagen original se generan 15 imágenes mediante rotación (menos de 10º) traslaciones (hasta medio pixel), espejo, escalado (entre 90% y 110%)

Perceptrón multicapa 5 Generación de ejemplos negativos durante el entrenamiento (bootstraping) 1 Conjunto inicial de no caras: 100o imágenes aleatorias con el mismo preproceso 2 Entrenamieno inicial de la red. 3 Aplicar el sistema a imágenes que no contienen caras. Seleccionar los falsos positivos y añadirlos al conjunto de entrenamiento. Repetir

Perceptrón multicapa 6 Arbitraje: resolución de múltiples detecciones y falsos positivos Se observa que se producen detecciones redundantes y solapadas y esta redundancia es menor en los falsos positivos. Contabiliza el numero de detecciones en un entorno si supera el umbral se decide deteccion. El centroide del cluster de detecciones es la posición de la detección. sino es un falso positivo Las detecciones que se solapan se eliminan

Perceptrón multicapa 7

8 Arbitraje entre multiples redes: no coincidiran en los falso positivos

Perceptrón multicapa 9 Uso de una red para realizar el arbitraje. Es consistente con el heurístico

Perceptrón multicapa 10

Perceptrón multicapa 11

Perceptrón multicapa 12

Perceptrón multicapa 13

Perceptrón multicapa 14

Perceptrón multicapa 15

Perceptrón multicapa 16

Perceptrón multicapa 17 Detección invariante a rotación rowley, baluja, kanade

Perceptrón multicapa 18 Las imágenes son procesadas por el router que detecta el ángulo de rotación. La imagen se corrige invirtiendo la rotación Se aplica el algoritmo de detección frontal

Perceptrón multicapa 19 La red router: input imágenes 20x20, output 36 unidades de ángulo cuya salida deseada es La salida de la red es de la forma Entrenamiento: las imágenes regularizadas empleadas (1048) se rotan aleatoriamente 15 veces (15720 casos) y se emplean para entrenar el router Arquitectura: input 400, hidden 15, output 36

Perceptrón multicapa 20 Detección de la imagen con la rotación corregida: igual que en el sistema anterior Esquema de arbitraje: cada detección es un punto en un espacio 4D (posición, escala y ángulo) se establece un umbral de detección en el espacio 4D cuantizado detecciones con solapamiento se ignoran. se utilizan dos redes de detección en paralelo.

Perceptrón multicapa 21

Perceptrón multicapa 22

Perceptrón multicapa 23 Example based learning for view based human face detection K.K. Sung, T Poggio

Perceptrón multicapa 24 Sistema de detección de caras basado en muestras/ejemplos Robusted frente a variaciones de escala: procesa un piramide de imágenes Se basa en trozos de imagen que contienen la boca y los ojos Imágenes de 19x19, se modela la distribución de las caras en función de las muestras. La detección se basa en la extracción de ventanas 19x19, el cálculo de diferencias respecto del modelo de distribución de las caras y un clasificador.

Perceptrón multicapa 25

Perceptrón multicapa 26 Superficie (manifold) canónica de las caras: Volumen ocupado por las imágenes 19x19 de caras. Pocos (6) clusters de caras y pocos (6) clusters de no caras Aproximación por partes a la distribución de caras y no caras. Cada cluster es una gausiana con centroide y matriz de covarianza. Preproceso Toma ventanas de 19x19 Aplica una máscara para eliminar los pixels en las esquinas (reduce la dimensión) Corrección de gradiente de iluminación mediante el ajuste de un plano. Ecualización de la imagen

Perceptrón multicapa 27

Perceptrón multicapa 28 Construcción del modelo de la distribución de las caras: Se usan 4150 patrones normalizados de caras frontales, 1067 son reales, los restantes son generados mediante rotación y simetría. Se calculan 6 clusters de caras (la determinación del número es empírica) Utilizan un método k-means elíptico, usando una métrica de distancia normalizada de Mahalanobis adaptativa. Estimación: k-means con estimación de la matriz de covarianza Parte de centroides iniciales arbitrarios y matrices de covarianza identidad Itera la reestimación de los centroide con covarianza fija Acttualiza la covarianza cuando converge el k-means simple.

Perceptrón multicapa 29 Modelado de la distribución de las imágenes de no caras: Modelado con 6 clusters gausianos (empírico) La muestra inicial es de 6189 imágenes de no caras La muestra de no caras se incrementa mediante bootstraping.

Perceptrón multicapa 30 El vector de diferencia son las distancias a los centros de cluster que modelan las caras y no caras. Las distancias se consideran en el subespacio generado por los 75 autovectores principales localmente a cada cluster. La distancia entre un patron de test y cada cluster tiene dos componentes: La distancia en el subespacio relativa a los autovectores principales del cluster respecto del centroide del cluster. La distancia entre el patrón y su proyección en el subespacio de los autovectores principales.

Perceptrón multicapa 31 El clasificador MLP con 12 pares de unidades input, 24 unidades ocultas, un a unidad de salida Entrenamiento: patrones (4150 ejemplos positivos) Backprop standard. Generación de patrones negativos: bootstraping. Añade a la base de datos de entranamiento los patrones que dan falso positivo.

Perceptrón multicapa 32 Bases de datos de entrenamiento 301 mugshots de 71 personas con imagenes de alta calidad 23 imágenes con 149 patrones de caras de calidad variable. Experimentos de sensibilidad Clasificador: MLP multicapa, un único perceptron lineal y vecino más cercano Distancia: sólo uno de los componentes de la distancia versus la distancia de Mahalanobis estándar. Modelos de las distribuciones: con el modelado explicito de las no caras (12 clusters) y sin él (6 clusters).

Perceptrón multicapa 33

Perceptrón multicapa 34

Perceptrón multicapa 35

Perceptrón multicapa 36 Organization of face and object recognition in modular neural network models dailey, cottrell, NN 12( ) En base al fenómeno de la prosopagnosia (la imposibilidad de reconocer caras) postulan la existencia de modulos especificos de reconocimiento de caras en el cerebro. Proponen un sistema basado en mezcla de expertos. Comparan una mezcla de expertos pura con su método. El objetivo es reproducir la prosopagnosia al destruir parte de la estructura de los expertos.

Perceptrón multicapa 37

Perceptrón multicapa 38

Perceptrón multicapa 39 Mezcla de expertos Red lineal de una capa: experto Gating: ponderación exponencial de las salidas salida de la red Verosimilitud de una salida de la red Adaptación de la combinación de expertos Adaptación de los pesos de los expertos

Perceptrón multicapa 40 Mezcla de capas ocultas Gating: Capa oculta Salida de la red

Perceptrón multicapa 41 Objetos: 12 caras, 12 copas, 12 libros, 12 soda cans, 5 imágenes de cada 64x64 pixels monocromos Preproceso: filtros de Gabor

Perceptrón multicapa 42 Entrenamiento de la mezcla de expertos Modelo I (sobre vectores reducidos desde el resultado de los filtros de Gabor mediante PCA a 192 coeficientes) Entrena por separado las dos redes expertas. La tarea es diferenciar todas las caras y los objetos como grupo (lata, libro, copa). Escoge a posteriori como experta en caras la que da los mejores resultados sobre caras Necesita un ajuste fino de las velocidades de aprendizaje en cada capa. Consigue 100% de aciertos

Perceptrón multicapa 43 Pesos asignados en la puerta a los expertos en relación con el nivel de error en la tarea.

Perceptrón multicapa 44 Efecto de la eliminación de pesos en los expertos. Se observa un cierto efecto de prosopagnosia.

Perceptrón multicapa 45 Entrenamiento del modelo II Los vectores obtenidos mediante filtros de Gabor se procesa mediante PCA aplicado a cada escala por separado, para preservar caracteristicas frecuenciales. Se obtienen vectores de 40 coeficientes Tres tareas: 1- clasificación de tipos de objetos (superordinate) 2- clasificación subordinada de libros, superordenada del resto 3- clasificación subordenada de caras, sup. del resto. Modos: A-todos reciben todos los inputs B- Las puertas reciben todos los inputs, los módulos reciben los componentes de alta frecuencia o los de baja frecuencia

Perceptrón multicapa 46 En la partición frecuencial del entrenamiento se observa una especialización en las caras del módulo que recibe las bajas frecuencias. No ocurre lo mismo con la discriminación de libros.

Perceptrón multicapa 47 Los daños en el modulo de alta frecuencia no afectan al reconcimiento de caras, sin embargo los daños al módulo de baja frecuencia son catastróficos.

Perceptrón multicapa 48 Verificación de la capacidad de discriminación de las bajas frecuencias. Entrenamiento de una red monolitica con backprop. para las tareas de identificación de caras e identificación de libros. Se entrenan con los componentes de altas frecuencias y de bajas frecuencias alternativamente atenuados Entrena 10 redes en cada condición/tarea Condición de parada del entrenamiento: convergencia en el error del conjunto de validación. Resultados: resulta dificil entrenar las redes en base a la información de altas frecuencias

Perceptrón multicapa 49

Perceptrón multicapa 50

Perceptrón multicapa 51 Resultados aplicando la estrategia del vecino más cercano a la identificación Se confirma la importancia de los componentes de baja frecuencia para la discriminación.

Perceptrón multicapa 52 Segmentation of virus-infected areas in retinal angiograms using a learning-by-example approach D. Brahmi y otros, ICJCNN’2000 Los angiogramas presentan fuertes variaciones de contraste, brillo y enfoque

Perceptrón multicapa 53 Funciones de base descubiertas por la transformada en componentes principales Estructura del sistema: Analiza ventanas 32x32: realiza la transformación en componentes principales ( muestras) clasifica con un MLP

Perceptrón multicapa 54

Perceptrón multicapa 55 sobreexpuesta irregular borrosas

Perceptrón multicapa 56