Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1 Manuel Mazo Quintas Daniel Pizarro Pérez Departamento de Electrónica. Universidad de Alcalá.

Presentación del tema: "Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1 Manuel Mazo Quintas Daniel Pizarro Pérez Departamento de Electrónica. Universidad de Alcalá."— Transcripción de la presentación:

1 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1 Manuel Mazo Quintas Daniel Pizarro Pérez Departamento de Electrónica. Universidad de Alcalá. Email:mazo@depeca.uah.es VISIÓN POR COMPUTADOR

2 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 2 Contenido  Extracción (Detección) de bordes.  Detección de esquinas.

3 Extracción (Detección) de bordes

4 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 4 Detección de bordes  ¿Qué es un borde? “Él estaba sentado en el borde de su asiento.” “Ella pinta con bordes muy pronunciados” “Yo siempre corro por fuera de los bordes de la carretera” “Ella estuvo parada al borde del rio” “Los negativos de fotografías deberían cogerse únicamente por los bordes” “Ellos corren al borde de sus posibilidades”  La definición de borde no es clara.  En visión por computador, los bordes son frecuentemente relacionados con discontinuidades dentro de un conjunto de píxeles.

5 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 5 Detección de bordes Discontinuidades A C B D A: Discontinuidad de profundidad: cambios abruptos de profundidad en la escena B: Discontinuidades normales de superficies: cambios en la orientación de la superficie C: Disconinuidades de iluminación: sombras, cambios de luz. D: Discontinuidades de reflectancia: propias de las superficies, marcas huellas

6 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 6 Detección de bordes Objetivo  Idear algoritmos para la extracción de bordes (edges) significativos de una imagen.  Lo que se quiere decir con significantes no está claro. En parte definido por el contexto en el que se están aplicando los detectores de bordes.

7 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 7 Detección de bordes Bordes locales (“Edgels”)‏  Un borde local (o edgel) es un cambio rápido en una imagen dentro de un área pequeña. Por tanto los “edgels” deberán detectarse en un entorno local.  Edgels no son contornos, límites o líneas. Los “edgels” sirven de soporte para definir contornos, límites o líneas. Contornos, límites o líneas se construyen a partir de los “edgels”  Los “Edgels” tienen propiedades Orientación Magnitud Longitud (frecuentemente una unidad de longitud)‏

8 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 8 Bordes ¿Cómo detectar “Edgels”? f(u)‏ Línea Nivel de gris de la línea u u u Primera derivada f´(u)‏ Segunda derivada f´´(u)‏ Máximo Cruce por cero

9 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 9 Bordes Ejemplos

10 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 10 Bordes Propiedades Original Orientación Magnitud

11 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 11 Bordes Descriptores cuantitativos  Normal: Vector unitario en la dirección de máxima variación de intensidad (máximo gradiente de intensidad)‏  Dirección: Vector unitario perpendicular al vector normal.  Posición o centro: posición de la imagen en la cual se localizan los bordes.  Longitud: relacionado con el gradiente local (cómo de rápido varía la intensidad a través del borde en la dirección de la normal). normal Dirección

12 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 12 Bordes Efecto del ruido Borde ideal Borde+ruido Aumento de ruido

13 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 13 Bordes Ejemplo real

14 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 14 Bordes Pasos a seguir en su detección  Eliminación de ruido Suprimir todo lo que se pueda el ruido mientras se mantengan los bordes. En ausencia de otro tipo de información, se supone que el ruido es “blanco” con distribución gausiana.  Realce de bordes Diseñar filtros que respondan bien a los bordes. Filtros que tengan respuestas elevadas en donde existan bordes y respuesta baja en el resto.  Localización de bordes Determinar qué píxeles deberían ser descartados por representar ruido, y cúales se deben mantener. Bordes de ancho delgado (de un píxel de ancho): máxima supresión Establecer un valor mínimo para considerar un máximo local de un filtro como un borde (umbralización)‏

15 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 15 Bordes Métodos de detección  Estimación de la primera derivada Detectores de bordes tipo “gradiente”. Detectores de bordes tipo “orientación” (brújula o compás). Detectores de bordes tipo “Canny*”  Segunda derivada Laplaciana Laplaciana de la Gaussiana  Modelos parámetricos de bordes * nombre en honor de su autor.

16 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 16 Bordes Operadores primera derivada: Gradiente  El gradiente de una imagen f(u,v) en un punto (u,v) se define como un vector bidimensional (vector perpendicular al borde):  Se considera que existe borde si la magnitud del gradiente supera un determinado umbral.  !Se debe fijar un umbral T!: v u f (u,v)‏ G f  v θ  u Interpretación

17 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 17 Bordes Operadores primera derivada: Gradiente  Las derivadas se pueden aproximar por: 1 0 0 0 0 0 0 0 1 0 0 00 0 0 0 u v máscara h 11 (u,v)‏ h 21 (u,v)‏ 0 0 -2 2 1 0 1 0 2 10 0 -2 1 h 12 (u,v)‏ h 22 (u,v)‏

18 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 18 Bordes Ejemplo real: gradiente g 1 (u,v)=f(u,v)*h 21 (u,v)‏ g 2 (u,v)=f(u,v)*h 11 (u,v)‏ f(u,v)‏ g(u,v)= g 1 (u,v)+ g 2 (u,v)‏

19 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 19 f(u,v)‏ Bordes Ejemplo real: gradiente g m (u,v)=|G[f(u,v])| g(u,v), con T= 30 θ(u,v)‏

20 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 20 Bordes Otros operadores: gradiente Sobel Previtt Roberts

21 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 21 Bordes Ejemplos con máscaras de Prewitt

22 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 22 Bordes Ejemplos con máscaras de Prewitt

23 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 23 Bordes Operadores: T tipo “orientación” (brújula)‏ Máscaras de Kirsch  Para cada píxel f(u,v): |G[f(u,v)]| =máx{k 0 *f(u,v), k 1 *f(u,v), …, k 7 *f(u,v) }=k i *f(u,v)‏  =ángulo de la dirección correspondiente a k i

24 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 24 Bordes Ejemplos con Máscaras de Kirsch  |G|

25 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 25 Bordes Detectores tipo “Canny”  Se fundamenta en los operadores derivada.  Resulta especialmente interesante porque extrae bordes y cierra los contornos.  Se desglosa en tres fases: Obtención del gradiente (|G| y  ) en cada píxel. Adelgazamiento del ancho de los bordes, obtenidos con el gradiente, hasta lograr bordes de un píxel de ancho. Histéresis de umbral al resultado de la supresión no máxima.

26 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 26 Bordes Detectores tipo “Canny” 1.Obtención del gradiente: 1.1 Suavizar imagen original: f 1 (u,v)‏Filtro Gausiano f 2 (u,v)‏ 1.2. Obtener el gradiente: Gradiente f 2 (u,v)‏ |G|: imagen módulo E m  : imagen ángulo E a 1.Supresión no máxima al resultado del gradiente: 2.1. Con E m y E a como entrada generar una imagen de salida I N : 2.1.1. Para cada píxel (u,v), encontrar cuál de las direcciones d k {0º, 45º, 90º, 135º) se parece más a al dirección E a (u,v)‏ 2.1.2. Si E m (u,v) es más pequeño que al menos uno de sus dos vecinos en la dirección d k, entonces I N (u,v) =0, de otro modo I N (u,v) =E m (u,v)‏

27 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 27 Bordes Detectores tipo “Canny”  I N (u,v) es una imagen con los bordes adelgazados. Supresión no máxima (I N (u,v) Imagen binarizada con umbral T=30 para la magnitud del gradiente (E m (u,v)‏ La salida I N (u,v) suele contener máximos locales creados por el ruido. ¿Cómo se puede eliminar esto?. La eliminación fijando un umbral da problemas.

28 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 28 Bordes Detectores tipo “Canny” 1.Histéresis de umbral a la supresión no máxima: 3.1. Fijar dos umbrales T 1 y T 2 tales que T 1 <T 2 3.2. Para todos los puntos de I N (u,v) y explorando en un orden fijo: 3.1.1. Localizar el siguiente punto de borde no explorado previamente, I N (u,v), tal que I N (u,v) >T 2. 3.1.2. Comenzar a partir de I N (u,v), seguir las cadenas de máximos locales conectados en ambas direcciones perpendiculares a la normal del borde, siempre que I N >T 1. Marcar todos los puntos explorados y salvar la lista de todos los puntos en el entorno conectado encontrado. 3.3. La salida es un conjunto de bordes conectados de contornos de la imagen, así como la magnitud y orientación, describiendo las propiedades de los puntos de borde. Este método elimina las uniones en Y y T de los segmentos que confluyen en un punto

29 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 29 Bordes Detectores tipo “Canny”

30 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 30 Bordes Detectores tipo “Canny”  =1, T 2 =255, T 1 =1  =1, T 2 =255, T 1 =220  =2, T 2 =128, T 1 =1  =1, T 2 =128, T 1 =1

31 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 31 Bordes Segunda derivada: Laplaciana

32 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 32 Bordes Ejemplo: Laplaciana Máscara 5x5 Máscara 9x9

33 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 33 Bordes Laplaciana de la gausiana Operador Sombrero Mexicano

34 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 34 Bordes Laplaciana de la gausiana  2 = 0.5  2 = 1.0  2 = 2.0

35 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 35 Bordes Laplaciana de la gausiana Convolución bidimensional Cuatro convoluciones unidimensionales Un ejemplo: máscara de 5x5

36 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 36 Bordes Laplaciana de la gausiana  ¿Cómo se generan las máscaras bidimensionales? 1.Fijar el valor de σ. 2.Determinar el valor de la ecuación anterior para los diferentes valores de (u,v): u=0, 1,2,…. y v=,0, 1, 2, …Dada la simetría sólo hay que calcular en un cuadrante. 3.Escalar los valores y redondear los valores al entero más próximo. 4.Extender el ancho de la máscara de forma que contenga todos los valores distintos de cero. 5.Ajustar de forma simétrica los valores, mediante la adición o substracción de valores pequeños hasta conseguir que todos los valores de la máscara sumen cero

37 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 37 Bordes Ejemplo: Laplaciana de la gausiana Máscara 13x13

38 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 38 Bordes Laplaciana de la gausiana Máscara de 17x17

39 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 39 Bordes Detección en imágenes en color Imagen ROJO VERDE AZUL Grad_R Grad_G Grad_B Bord_R Bord_G Bord_B Mapa de Bordes Descomposición Gradiente Detec. De Bordes Fusión de salida Mapa de Bordes Imagen ROJO VERDE AZUL Grad_R Grad_G Grad_B Gradiente Descomposición Gradiente Grad. Multidim. Detección de bordes Dos alternativas frecuentes:

40 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 40 Bordes Resumen  Los operadores Prewit y Sobel por si solos se pueden aplicar a imágenes con poco ruido y bordes finos.  El operador ‘Canny’ puede afrontar imágenes con ruido y cualquier grosor de borde. (Parámetro σ)‏  Todos los operadores de gradiente: Histéresis de umbral al resultado de la supresión no máxima. Aportan información de la orientación del borde en la imagen.  El operador laplaciana de la gaussiana o de paso por cero, no aporta información de la dirección y no es dado a técnicas de supresión no máxima

41 Detección de esquinas.

42 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 42 Extracción de esquinas Esquinas  Esquina: Región de la imagen donde existen variaciones apreciables en la intensidad de la imagen f(u,v) en ambas coordenadas ‘u’ y ‘v’.  Existen dos algoritmos muy usados como detectores de esquinas 1.Operador Kanade-Lucas-Tomasi (KLT)‏ 2.El operador Harris.  Se introduce el concepto de matriz de estructura local. EsquinaBorde

43 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 43 Extracción de esquinas Matriz de Estructura Local  Se define el tensor:  Se calculan las derivadas para cada punto de la imagen en una región de vecindad D.  Si es necesario se suaviza la imagen antes con un filtro gaussiano.  Las propiedades de la matriz son:  Simetría : Puede ser diagonalizada mediante una matriz de paso ortogonal.  Definida o Semi-definida positiva : Ambos autovalores son positivos o cero

44 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 44 Extracción de esquinas Matriz de Estructura Local  La interpretación geométrica de los autovalores es:  Para una imagen uniforme:  La imagen de un borde produce:, donde el autovector asociado con el autovalor positivo es la normal al borde  Una esquina produce dos autovalores positivos. Cuanto mayores sean, mayor será el contraste en la imagen producido por la esquina.  Observaciones básicas:  Los autovectores expresan direcciones de borde y los autovalores magnitud de gradiente.  Se puede considerar una esquina a aquella matriz de Estructura Local que tiene el menor autovalor suficientemente grande.

45 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 45 Extracción de esquinas Algoritmo KLT  Se define un umbral para el autovalor menor y una region de vecindad D:  Calcular las derivadas de la imagen para cada punto en la región de vecindad D.  Computar la matriz de Estructura en cada uno.  Calcular el autovalor mas pequeño.  Si es mayor que el umbral establecido añadirlo a una lista.  Ordenar la lista de mayor a menor y elegido un punto, eliminar aquellos que estan dentro de la region D de vecindad.  Observaciones básicas:  El umbral para el autovalor mas pequeño debe ser elegido con cuidado en función del histograma de autovalores.  El criterio para elegir D es una relación de compromiso entre ruido y lo juntas que pueden aparecer dos esquinas.

46 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 46 Extracción de esquinas Algoritmo Harris  Es anterior a KLT y define una medida de lo bueno que es una esquina en función de la matriz de Estructura.  Una esquina es detectada si H es superior a un umbral establecido.  Cuanto mayor sea ‘α' menor será H y por tanto se detectarán menos bordes.  Se utiliza también un análisis de vecindad D.

47 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 47 Extracción de esquinas Harris y KLT KLT Harris

48 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 48 Extracción de esquinas Harris y KLT KLT Harris

49 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 49 Extracción de esquinas Método: Kitchen y Rosenfeld  Un método habitual es el uso de derivadas de segundo orden, para medir la razón de cambio de la dirección del gradiente (“rcdg”) con la magnitud del gradiente (“mg”).  Una esquina se declara como tal si: rcdg ≥T 1 y/o mg ≥ T 2. siendo T 1 y T 2 dos umbrales predeterminados.  Detector de esquinas de Kitchen y Rosenfeld:

50 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 50 Extracción de esquinas Método: Kitchen y Rosenfeld Por tanto: Donde:

51 Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 51 Extracción de esquinas Método: Kitchen y Rosenfeld Ejemplo de detección de esquinas