1 PARTE I: Introducción Antonio Sanz Montemayor Grupo GAVAB (http://gavab.escet.urjc.es) Departamento de Ciencias de la Computación ETSII - URJC.

Presentación del tema: "1 PARTE I: Introducción Antonio Sanz Montemayor Grupo GAVAB (http://gavab.escet.urjc.es) Departamento de Ciencias de la Computación ETSII - URJC."— Transcripción de la presentación:

1 1 PARTE I: Introducción Antonio Sanz Montemayor Grupo GAVAB (http://gavab.escet.urjc.es) Departamento de Ciencias de la Computación ETSII - URJC

2 2 Bibliografía R.C. González y R.E. Woods, Digital Image Processing, Prentice Hall, 2ª Edición, 2002. (caps. 1 y 2) J. Vélez, Á. Sánchez, A.B. Moreno y J.L. Esteban, Visión por Computador, Ed. Dyckinson y Serv. Public. URJC, 2003. (caps. 1 y 2) J. González, Visión por Computador, Ed. Paraninfo, 2001. (cap. 1) G. Pajares y J.M. de la Cruz, Visión por Computador, Ed. Ra-Ma, 2001. (cap. 1)

3 3 Introducción a los Sistemas de Visión Artificial (SVA) Aspectos generales sobre imágenes Etapas de los SVA Elementos de un SVA Clases fundamentales de procesado de imágenes Algoritmos y aplicaciones sobre imágenes digitales PARTE I: Introducción Tema 1: Panorámica de la Visión Artificial

4 4 Panorámica de la Visión Artificial Introducción a los SVA: Objetivo I magen o una secuencia de imágenes  extraer e interpretar de manera automática la información del mundo real 3D. - Escena de tráfico - Número de vehículos - Clases de vehículos - Localización de obstáculos - Interpretación de la escena

5 5 Panorámica de la Visión Artificial Introducción a los SVA: ¿Por qué un SVA? “Una imagen tiene más información que mil palabras” Muchos sistemas biológicos dependen de su sistema de visión (inspiración biológica) En la actualidad, los ordenadores, cámaras y otros dispositivos son baratos y sus prestaciones aumentan El “mundo real” es 3D y dinámico

6 6 Panorámica de la Visión Artificial Introducción a los SVA: Visión Activa En ocasiones, los sensores y su entorno se pueden modificar de manera activa en un SVA (sistemas activos). Se trata de controlar la óptica y la estructura soporte de las cámaras para simplificar el problema de Visión Artificial a resolver. Características de un sistema activo: -modo continuo, -filtrado de la información, -tiempo real (tiempo de respuesta limitado), -control del proceso (regiones de interés), …

7 7 Panorámica de la Visión Artificial Introducción a los SVA: Aspectos de Interés para un SVA: ¿Cuál es la información relevante a extraer de la escena para el problema a resolver? ¿Cómo se puede extraer dicha información? ¿Cuál es la forma más apropiada de representar la información extraída? ¿Cómo se puede usar dicha información para resolver el problema de VA planteado?

8 8 Panorámica de la Visión Artificial Introducción a los SVA: La Visión Artificial es un área multidisciplinar, relacionada con: Tratamiento de imágenes Reconocimiento de patrones Fotogrametría Gráficos por ordenador Inteligencia artificial Geometría proyectiva Teoría de control ….

9 9 Panorámica de la Visión Artificial Física de la imagen: ¿Cómo se forman las imágenes? * Cámaras (sensores): - ¿Cómo funciona una cámara? - ¿Cómo posicionar la/s cámara/s en un SVA? * Luz: - ¿Cómo medir la cantidad de energía luminosa? - ¿Cómo interactúa la luz con la superficie de los objetos? - ¿Cómo se calculan los valores de brillo de los píxeles? * Color: - ¿Cuáles son los mecanismos físicos del color? - ¿Cómo representar y medir el color?

10 10 Teorías antiguas: “luz emitida por el ojo”,... Teoría corpuscular (Newton, 1669): explica fenómenos como la reflexión y la refracción Teoría ondulatoria (Huygens, 1690): explica fenómenos de difracción e interferencia luminosa Posteriores trabajos de Young y Fresnel (s. XIX), relacionados con la teoría ondulatoria Teoría electromagnética (Maxwell, s. XIX): teórico del modelo ondulatorio, establece relaciones entre luz y electromagnetismo. Cada tipo de radiación electromagnética se caracteriza por su longitud de onda ( = c/ ). Panorámica de la Visión Artificial Aspectos generales sobre imágenes: la luz

11 11 Teoría cuántica (Planck, 1900): la radiación electromagnética emitida no se realizaba en forma continua sino en “cuantos de energía” o fotones de valor E = h. Efecto fotoeléctrico (Einstein, 1905): “un haz de luz que incide sobre una superficie metálica limpia hace que emita electrones”. Se explica mediante la teoría cuántica. Teoría onda-corpúsculo (de Broglie-Bohr, 1925): la luz tiene a la vez naturaleza ondulatoria (teoría electromagnética) y corpuscular (teoría cuántica). Ambas son manifestaciones diferentes de un mismo fenómeno: el luminoso. Panorámica de la Visión Artificial Aspectos generales sobre imágenes: la luz

12 12 Una parte pequeña del espectro electromagnético es la zona visible (luz visible) Comprende longitudes de onda aproximadamente desde los 400 hasta los 700 nm Panorámica de la Visión Artificial Aspectos generales sobre imágenes: la luz

13 13 La reflexión se produce cuando las ondas (luz, sonido,..) inciden sobre una superficie de separación entre dos medios, sin pasar de uno a otro. Se presenta en un límite entre dos medios diferentes como una superficie aire-vidrio, en cuyo caso parte de la energía incidente se refleja y parte se absorbe. El ángulo entre rayo incidente y la normal es el ángulo de incidencia, que por la Ley de la Reflexión es el mismo que el reflejado (reflexión especular). Panorámica de la Visión Artificial Aspectos generales sobre imágenes: la luz

14 14 La refracción se produce cuando la luz incide sobre una superficie límite de separación entre dos medios, atravesando de uno a otro La parte transmitida se desvía un cierto ángulo de refracción El índice de refracción (n) de un material: Panorámica de la Visión Artificial Aspectos generales sobre imágenes: la luz

15 15 Otro fenómeno a destacar es la dispersión (Newton) Descomposición de la luz en sus componentes monocromáticos al penetrar en un medio, como consecuencia de la variación del índice de refracción del medio, que desvía las distintas componentes de la luz según sus respectivas longitudes de onda. Así cuando luz blanca penetra en un prisma, este descompone el haz en sus colores básicos constituyentes. Panorámica de la Visión Artificial Aspectos generales sobre imágenes: la luz

16 16 Aspectos generales sobre imágenes: Sistema Visual Humano Panorámica de la Visión Artificial

17 17 Panorámica de la Visión Artificial Ilusiones ópticas:

18 18 Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Sistema Visual Humano

19 19 La luz visible es absorbida (enfocada) por el cristalino, que actúa como lente, y se proyecta en la retina. La retina está compuesta por 2 tipos de células fotosensibles: Conos: responsables del color Bastones: responsables de la percepción de la intensidad (concentrados en el exterior) En general un humano posee del orden de 120 millones de bastones y 6 millones de conos Panorámica de la Visión Artificial Aspectos generales sobre imágenes: el Sistema Visual Humano

20 20 Un típico ojo humano mide unos 24 mm desde la córnea hasta la retina Un ojo puede desviarse de su medida “ideal” siendo su sistema de enfoque normal, en tal caso: Si el ojo es más largo: ojo miope Si es más corto: ojo hipermétrope Si el ojo no posee una buena simetría de revolución respecto al eje óptico hablamos del astigmatismo Las cataratas es una opacidad del cristalino que impide la llegada de luz a la retina Panorámica de la Visión Artificial Aspectos generales sobre imágenes: el Sistema Visual Humano

21 21 Las imágenes se forman cuando un sensor (p.ej. cámara) registra la cantidad de radiación luminosa que ha interaccionado con los objetos físicos de la escena. Una imagen digital es una función bidimensional discreta f(x,y) que asocia a cada punto o píxel (x, y) un valor de brillo. El valor f(x,y), podría representar un valor de distancia u otra cantidad física. El tratamiento digital de imágenes consiste en destacar las características de interés en imágenes (y atenuar el detalle irrelevante) para conseguir de éstas información útil Panorámica de la Visión Artificial Aspectos generales sobre imágenes digitales

22 22 Parámetros ópticos: caracterizan al sensor - tipo de lente, distancia focal, campo de visión, grado de apertura angular,... Parámetros fotométricos: caracterizan la luz reflejada por el objeto -características de la iluminación (tipo, intensidad, dirección), propiedades de reflectancia del objeto visto,... Parámetros geométricos: caracterizan la proyección del objeto en el sensor - tipo de proyección, posición y orientación del (de los) sensor(es), distorsiones debidas a la perspectiva, … Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Parámetros físicos involucrados

23 23 Imágenes fotográficas: luz reflejada Imágenes de rango: distancias Imágenes de tomografía: densidad de tejidos Imágenes infrarrojas: temperatura Trabajaremos principalmente con imágenes fotográficas (tanto en niveles de gris y como en color) Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Tipos de imágenes

24 24 Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Tipos de imágenes 256 colores/canal 3 canales (RGB) 24 bpp = 8 bpp/canal 256 colores/canal 1 canal (gris) 8 bpp 2 colores/canal 1 canal (gris) 1 bpp

25 25 Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Tipos de imágenes Escala de grises 256 colores/canal Valores: {0,1,2,...,255} [0,255][0,1] Monocromática 2 colores/canal Valores: {0,255} {0,255}{0,1}

26 26 Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Representación de las imágenes x y

27 27 Panorámica de la Visión Artificial Aspectos generales sobre imágenes: Reconstrucción 3D Las formas 3D se pueden obtener a partir de: –visión estereroscópica (múltiples imágenes 2D) –movimiento (secuencias de vídeo) –variaciones de intensidad, textura, enfoque, … Estrategia de la Visión Estereoscópica: –Obtener distintas medidas del mismo objeto (o región) de la imagen Aspectos a considerar: –Correspondencia: ¿qué píxeles en las diferentes imágenes son proyecciones del mismo punto 3D? –Representación: ¿cómo describir el objeto 3D? –Ruido: ¿cómo minimizar su influencia?

28 28 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Definición Es el análogo artificial de la visión humana

29 29 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas Las etapas en un SVA son: Adquisición de la imagen Preproceso Segmentación Representación y descripción (extracción de características) Reconocimiento e interpretación

30 30 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas El preproceso es la mejora de la calidad de una imagen para usarse en etapas posteriores: p. ej. aumento de contraste

31 31 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas

32 32 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas Segmentación: División de una imagen en regiones homogéneas que se corresponden con los objetos contenidos en ella

33 33 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas Extracción de características: Obtención de medidas de características de los objetos segmentados. Color Textura Forma (área, perímetro, número de agujeros,...) Características invariantes a transformaciones geométricas. Obtención de vectores de características normalizados.

34 34 Panorámica de la Visión Artificial Ejemplos de texturas:

35 35 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas Ejes mayor y menor Perímetro Área Bounding box

36 36 Panorámica de la Visión Artificial Reconocimiento: Consiste en clasificar los objetos de la escena a partir de características extraídas. Los objetos vienen descritos mediante vectores de características. Sistemas de Visión Artificial: Etapas

37 37 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Etapas Escena 3D Modelos / Hipótesis Aplicaciones Imagen(es)Bordes / Regiones / Profundidad Superficies / Características

38 38 Panorámica de la Visión Artificial Ejemplos de reconocimiento (tras segmentar): Interpretación de imágenes: Un paso más allá

39 39 Panorámica de la Visión Artificial Elementos de un SVA: Sensores Cámaras analógicas + tarjetas digitalizadoras Cámaras CCD Cámaras de infrarrojos Escáneres 2D y 3D Cámaras digitales de fotografía

40 40 Panorámica de la Visión Artificial Elementos de un SVA: relación entre dispositivos

41 41 Panorámica de la Visión Artificial Cámaras: modelo “pinhole” Se trata de un modelo abstracto de cámara (caja que contiene un agujero pequeño en ella) Modelo sencillo que funciona en la práctica

42 42 Panorámica de la Visión Artificial Cámaras: modelo “pinhole” Los objetos distantes son más pequeños

43 43 Panorámica de la Visión Artificial Cámaras: ecuación de proyección En coordenadas cartesianas, por semejanza de triángulos e ignorando la tercera componente se obtiene:

44 44 Panorámica de la Visión Artificial Cámaras: parámetros y calibración -Dos tipos de parámetros: 1. Extrínsecos: (posición de la cámara con respecto al origen de referencia del S.V.A. 2. Intrínsecos: son los parámetros internos de la cámara, como la distancia focal, el ratio de aspecto, los ángulos entre ejes, etc. - Calibración: obtener los parámetros de la cámara minimizando el error (por ejemplo, mediante mínimos cuadrados) -Estrategia general de calibración: 1)Utilizar un objeto (plantilla de calibración) 2) Identificar ciertos puntos de la imagen 3) Obtener la matriz de calibración de la cámara minimizando el error 4) Obtener los parámetros intrínsecos a partir de la matriz de calibración

45 45 Panorámica de la Visión Artificial Elementos de un SVA: Cámaras de visión Capturan la imagen proyectada en el sensor y la transmiten al computador que la almacena, analiza y/o visualiza. Sensores CCD y CMOS. Estándar de vídeo analógico: Europa y USA CCIR y PAL: 625 líneas entrelazadas, 25 cuadros/seg (50 campos/seg) RS-170 y NTSC: 525 líneas entrelazadas, 30 cuadros/seg (60 campos/seg) Características cámaras visión artificial: obturación, integración, captura asíncrona, sincronización. Tipos cámaras: analógicas y digitales, alta velocidad, alta definición, cámaras lineales, lineales color, cámaras inteligentes, cámaras infrarrojas térmicas,...

46 46 Panorámica de la Visión Artificial Elementos de un SVA: Escáner 3D Un escáner 3D dispone de un elemento activo que recorre el objeto a escanear tomando medidas de las posiciones de los puntos por los que pasa. Se pueden distinguir los digitalizadores táctiles y los láser. El digitalizador 3D láser no tiene contacto con el objeto durante el muestreo. Utiliza un método conocido como tiempo de vuelo para obtener puntos de la superficie del objeto, y genera una nube de puntos regular de su superficie.

47 47 Panorámica de la Visión Artificial Elementos de un SVA: Problemas con la captura de imágenes La captura de imágenes no está exenta de problemas: imagen óptica  señal eléctrica continua  señal digital El más típico es el ruido que es información no deseada que contamina la imagen. Existen fundamentalmente 2 tipos de ruido: Ruido gausiano : produce pequeñas variaciones en la imagen Ruido impulsional (o Salt and Pepper) : el valor del píxel no tiene relación con el valor ideal sino con el valor de ruido que toma valores muy altos o bajos

48 48 Panorámica de la Visión Artificial Elementos de un SVA: Problemas con la captura de imágenes Ruido Impulsivo Ruido Gaussiano

49 49 Panorámica de la Visión Artificial Clases fundamentales de procesado de imágenes Podemos distinguir: Realzado Restauración Compresión Síntesis Análisis

50 50 Panorámica de la Visión Artificial Clases fundamentales de procesado de imágenes Realzado: mejora de la calidad de una imagen como preproceso de tratamientos posteriores

51 51 Panorámica de la Visión Artificial Clases fundamentales de procesado de imágenes Restauración: - mejora de imágenes degradadas: g(x,y) = H [f(x,y)] + η(x,y) - Soluciones: filtrado inverso, aproximación algebraica, …

52 52 Panorámica de la Visión Artificial Clases fundamentales de procesado de imágenes Compresión: reducción de la cantidad de memoria para representar una imagen

53 53 Panorámica de la Visión Artificial Clases fundamentales de procesado de imágenes Síntesis: - crear imágenes de objetos o escenas a partir de imágenes o primitivas geométricas básicas - objetivo de la Informática Gráfica (Computer Graphics)

54 54 Panorámica de la Visión Artificial Clases fundamentales de procesado de imágenes Análisis: extracción de información relevante de una imagen

55 55 Se pueden utilizar diferentes niveles de cómputo Nivel punto Nivel local Nivel global Nivel objeto Panorámica de la Visión Artificial Algoritmos y aplicaciones sobre imágenes digitales

56 56 Algunas operaciones que hacemos sobre imágenes producen una salida basándose en los píxeles de la misma: Nivel punto Un ejemplo claro es la umbralización Panorámica de la Visión Artificial Algoritmos y aplicaciones sobre imágenes digitales f A (x,y) f B (x,y) (x,y)

57 57 Una operación a nivel local produce una salida en la que la intensidad de un punto depende de la vecindad del correspondiente punto en la imagen de entrada Ejemplos pueden ser los filtros espaciales para detección de bordes, reducción de ruido,... Panorámica de la Visión Artificial Algoritmos y aplicaciones sobre imágenes digitales f A (x,y) f B (x,y) (x,y)

58 58 Existen ciertos operadores cuya salida depende de toda la imagen de entrada El histograma o ciertas transformaciones son ejemplos de operaciones de nivel global Panorámica de la Visión Artificial Algoritmos y aplicaciones sobre imágenes digitales f A (x,y) f B (x,y) (x,y)

59 59 Muchas aplicaciones de Visión Artificial requieren realizar operaciones, que permitan extraer características a nivel de objeto P. ej. tamaño, forma, media de intensidad,… deben ser calculados por un SVA para llegar a reconocerlo Otro ejemplo de operación a nivel de objeto es el análisis de su movimiento. Seguimiento de un móvil en una secuencia de fotogramas es más sencillo si se analizan sólo las zonas de movimiento Panorámica de la Visión Artificial Algoritmos y aplicaciones sobre imágenes digitales

60 60 Panorámica de la Visión Artificial Sistemas de Visión Artificial: Aplicaciones Sistemas de inspección visual automática Aplicaciones médicas Reconocimiento biométrico Análisis de terrenos (remote sensing images) Robótica Videovigilancia /Aplicaciones militares Recuperación de imágenes por contenido (CBIR) Domótica …

61 61 Algunas librerías y herramientas SW: Entorno de programación MATLAB para trabajar con matrices de forma sencilla: Image Processing Toolbox Entornos dispositivos (Matrox MIL, Logitech SDK,…) Entorno de programación visual Khoros mediante uso de módulos o toolboxes específicas OpenCV, AVIFile, DirectShow, WMF (DXVA2.0),… OpenGL Programas de usuario: PhotoShop, Paint Shop Pro, Gimp, Xv,... Panorámica de la Visión Artificial Herramientas SW: imágenes digitales y vídeo

62 62 Imagen  cabecera + mapa de bits Formatos: Imágenes: TIFF, GIF, BMP, JPEG, RAW (sin formato)... Secuencias de imágenes (vídeos): MPEG, AVI,... Panorámica de la Visión Artificial Ficheros de imágenes (Graphical File Formats)