Diego Hernán Peluffo Ordóñez

Presentación del tema: "Diego Hernán Peluffo Ordóñez"— Transcripción de la presentación:

1 Diego Hernán Peluffo Ordóñez www.diegopeluffo.com
Introducción a la segmentación de imágenes usando técnicas de Machine Learning Diego Hernán Peluffo Ordóñez

2 CONTENIDO INTRODUCCIÓN ADQUISICIÓN Y PREPROCESAMIENTO
SEGMENTACIÓN USANDO MACHINE LEARNING APLICACIONES EJERCICIO PRÁCTICO USANDO MATLAB

3 CONTENIDO INTRODUCCIÓN ADQUISICIÓN Y PREPROCESAMIENTO
SEGMENTACIÓN USANDO MACHINE LEARNING APLICACIONES EJERCICIO PRÁCTICO USANDO MATLAB

4 Concepto de Visión Artificial
INTRODUCCIÓN Concepto de Visión Artificial La Visión Artificial trata de deducir e interpretar de forma automática las estructuras y propiedades de un mundo tridimensional posiblemente dinámico a partir de una o varias imágenes bidimensionales. Procesamiento Digital de Imágenes Clasificación y Reconocimiento de Patrones (Machine Learning)

5 INTRODUCCIÓN (Cont.) Procesamiento Digital de Imágenes:
Este término hace referencia al procesamiento digital de una imagen en dos dimensiones por un ordenador. En un contexto más amplio implica el procesamiento digital de datos de dos dimensiones. Clasificación y Reconocimiento de Patrones: Es la disciplina científica cuya meta es la clasificación de objetos dentro de un número de categorías o clases.

6 INTRODUCCIÓN (Cont.) ¿Qué estructuras y propiedades del mundo tridimensional se quieren deducir con VA? Propiedades geométricas como: Forma Tamaño Localización Propiedades de los materiales como: Color Composición Textura

7 INTRODUCCIÓN (Cont.) ¿Por qué es tan difícil el problema de la VA?
Una imagen bidimensional engloba muchas y diferentes imágenes tridimensionales. Dada una imagen bidimensional, determinar la escena tridimensional de la que procede, no tiene solución única. Se trata de un proceso de reducción de información, ya que se manipula la imagen para extraer de ella la información más relevante, para resolver un determinado problema.

8 Modelo del Ojo Humano: Cámara digital
INTRODUCCIÓN (Cont.) Modelo del Ojo Humano: Cámara digital

9 Modelo del Cerebro Humano: Computador y Algoritmos Informáticos
INTRODUCCIÓN (Cont.) Modelo del Cerebro Humano: Computador y Algoritmos Informáticos

10 Interpretación de una Imagen
INTRODUCCIÓN (Cont.) Interpretación de una Imagen En ciertos casos la interpretación puede ser relativamente “sencilla” para el hombre y para la máquina

11 Interpretación de una Imagen (cont.)
INTRODUCCIÓN (Cont.) Interpretación de una Imagen (cont.) En general el hombre interpreta una imagen más fácil que la máquina.

12 Interpretación de una Iimagen (cont.)
INTRODUCCIÓN (Cont.) Interpretación de una Iimagen (cont.) La interpretación de escenas naturales es compleja para la máquina

13 Interpretación de una Iimagen (cont.)
INTRODUCCIÓN (Cont.) Interpretación de una Iimagen (cont.) Más fácil para la máquina Están las líneas inclinadas ?

14 Interpretación de una Iimagen (cont.)
INTRODUCCIÓN (Cont.) Interpretación de una Iimagen (cont.) Más fácil para la máquina Cuántos puntos negros hay en la imagen ?

15 Interpretación de una Iimagen (cont.)
INTRODUCCIÓN (Cont.) Interpretación de una Iimagen (cont.) Más fácil para el hombre Triángulo de Kanizsa muestra unos contornos que no pueden ser explicados por un sistema de visión artificial.

16 Interpretación de una Iimagen (cont.)
INTRODUCCIÓN (Cont.) Interpretación de una Iimagen (cont.) Más fácil para el hombre Cuantos rostros se ven en la imagen ?

17 CONTENIDO INTRODUCCIÓN ADQUISICIÓN Y PREPROCESAMIENTO
SEGMENTACIÓN USANDO MACHINE LEARNING APLICACIONES EJERCICIO PRÁCTICO USANDO MATLAB

18 ETAPAS DE UN SISTEMA DE PROCESAMIENTO DE IMÁGENES
Adquisición de imágenes Procesamiento Segmentación Representación y descripción Reconocimiento e interpretación Base de Conocimiento Resultado Entrada

19 ADQUISICIÓN DE IMÁGENES
Adquisición de una Imagen 2D Digital Una imagen digital a[x,y] describe en un espacio 2D, a una imagen análoga a(s,t) en un espacio 2D continuo. El proceso de obtención de esta imagen se conoce como digitalización. Una imagen digital bi-dimensional, es una función f(x,y) donde x y y son las coordenas espaciales, y el valor de f en cualquier punto (x, y) es proporcional al brillo o al valor de gris de la imagen en ese punto.

20 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 2D Digital (Cont.) Valor de los pixels en la región resaltada Imagen en niveles de gris

21 ADQUISICIÓN DE IMÁGENES (Cont.)
Imágenes a Niveles de Gris Cámara QuickCam CCD 324X423 Escala de 16 o 64 nivéles de gris Conexión por puerto paralelo

22 ADQUISICIÓN DE IMÁGENES (Cont.)
Imágenes a Color Cámara JVC 3CCD 640X480 Tarjeta digitalizadora National Instruments (PCI 1411) Cámara Digital Logitech 510 Conexión por puerto USB

23 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital La adquisición de una imagen digital 3D consiste en la conversión de la superficie de un objeto en coordenadas digitales tridimensionales (x,y,z). La más sencilla y conveniente (pero no única) manera de representar y almacenar las medidas de profundidad tomadas de una escena es una imagen de rango (profundidad). Una imagen de rango es como una imagen de niveles de gris excepto que la información z reemplaza la información de intensidad.

24 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital (Cont.) Sistemas de profundidad láser Los sistemas láser trabajan con el principio que la superficie del objeto refleja la luz láser hacia un receptor, y mide el tiempo (o la diferencia de fase) entre la transmisión y la recepción para así calcular la profundidad. Cámaras láser desarolladas CNRC Cámara Autosincronizada Cámara Biris

25 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital (Cont.) Cámara autosincronizada La geometría de la cámara sincronizada está basada en un espejo doble (los dos lados) que es utilizado para proyectar y detectar un rayo láser. Velocidad: ~ points/s Precisión: ~ 25 mm

26 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital (Cont.) Sistemas de luz estructurada Proyecta patrones de luz (puntos, mallas, patrones elípticos, etc.) sobre un objeto. Las formas de los objetos son deducidas de las distorsiones de los patrones que son producidas en la superficie del objeto. Conociendo la información relevante de la geometría de la cámara y el proyector, la información de profundidad puede ser inferida por el método de triangulación.

27 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital (Cont.) Dirección de desplazamiento del sensor Región digitalizada

28 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital (Cont.)

29 ADQUISICIÓN DE IMÁGENES (Cont.)
Adquisición de una Imagen 3D Digital (Cont.)

30 PREPROCESO DE IMAGENES
Implemantación y Evaluación de Algortimos para: Suavizado de la Imágenes 2D Realce de Características Reducción de Ruido

31 PREPROCESO DE IMÁGENES (Cont.)
Filtros Suavizantes Filtro de Mediana Filtro Gaussino Filtro Pasabajas Filtro Kuwahara

32 Efectos de los Filtros Suavizantes
PREPROCESO DE IMÁGENES (Cont.) Efectos de los Filtros Suavizantes Imagen Original Filtro de Mediana 3x3 Filtro Gaussiano 5x5 =0.6 Filtro Gaussiano 7x7 =1

33 PREPROCESO DE IMÁGENES (Cont.)
Filtros Realzantes Operador de Sobel Operador Laplaciano de Gaussiano (LoG) Filtro de HighBoost Operador de Prewitt Poerador de Roberts

34 PREPROCESO DE IMÁGENES (Cont.)
Operador de Sobel Filtros Realzantes: Imágenes de Contornos Operador LoG Filtro de HighBoost

35 PREPROCESO DE IMÁGENES (Cont.)
Filtros Realzantes: Imágenes de Contornos Prewitt Roberts Laplaciano Sobel LoG

36 PREPROCESO DE IMÁGENES (Cont.)
Reducción de Ruido Imagen de Bordes Eliminación por Conectividad

37 Transformaciones de una Imagen
Operaciones puntuales Característica El resultado de aplicarlas a un pixel depende únicamente del valor de intensidad de ese pixel Pueden ser: Independiente de las características globales Con una sola imagen Transformaciones de una imagen según una función Entre varias imágenes Dependiente de la imagen

38 Transformaciones de una Imagen
Operaciones puntuales Independientes de las Características Globales Operaciones de UNA imagen con una CONSTANTE Suma Resta Multiplicación División Máximo Mínimo Umbralización Inversa

39 Transformaciones de una Imagen
Operaciones puntuales: División por una constante

40 Transformaciones de una Imagen
Operaciones puntuales: Umbralización

41 Transformaciones de una Imagen
Operaciones puntuales: Inversa

42 Transformaciones de una Imagen
Operaciones puntuales Independientes de las Características Globales Transformaciones según una FUNCIÓN racional o irracional Valor absoluto de una imagen con signo Transformación logarítmica Transformación exponencial Operaciones entre varias imágenes suma, resta, multiplicación, división máximo, mínimo AND, OR, XOR

43 Transformaciones de una Imagen
Operaciones puntuales: Resta

44 Transformaciones de una Imagen
Operaciones puntuales: mínimo

45 Transformaciones de una Imagen
Operaciones puntuales Dependientes de las Características Globales: Manipulación del Histograma

46 Transformaciones de una Imagen
Operaciones puntuales Dependientes de las Características Globales: Autoescalados de la imagen

47 Transformaciones de una Imagen
Operaciones locales La imagen se transforma en función de los niveles de gris de cada píxel considerado y de los de su entorno (Filtro) Pueden ser: Lineales No lineales: Estadísticas Analíticas Media geométrica Media aritmética Morfológicas

48 Transformaciones de una Imagen
Operaciones locales: Convolución

49 Transformaciones de una Imagen
Operaciones locales: Convolución

50 Transformaciones de una Imagen
Operaciones locales: Convolución

51 Transformaciones de una Imagen
Operaciones locales: Convolución

52 Transformaciones de una Imagen
Operaciones locales: No lineales Dilatación de imágenes binarias

53 Transformaciones de una Imagen
Operaciones geométricas Zoom Rotación Imagen Warping

54 Transformaciones de una Imagen
Operaciones locales: No lineales

55 CONTENIDO INTRODUCCIÓN ADQUISICIÓN Y PREPROCESAMIENTO
SEGMENTACIÓN USANDO MACHINE LEARNING APLICACIONES EJERCICIO PRÁCTICO USANDO MATLAB

56 Resultado en imágenes de laboratorio
SEGMENTACION DE IMÁGENES 2D (Cont.) Resultado en imágenes de laboratorio

57 Resultado en imágenes de campo
SEGMENTACION DE IMÁGENES 2D (Cont.) Resultado en imágenes de campo Imagen de Campo Elipses Ajustadas

58 Crecimiento Euclídeo de Regiones
SEGMENTACION DE IMÁGENES 2D (Cont.) Crecimiento Euclídeo de Regiones Medida de Homogeneidad: R G B Distancia euclidiana entre los píxeles P1, y P2 P1 P2 C.E RGB: C.E YUV: -C.E YIQ:

59 Resultados Crecimiento Euclidiano
SEGMENTACION DE IMÁGENES 2D (Cont.) Resultados Crecimiento Euclidiano Crecimiento Euclidiano en el espacio RGB, dRGB=50

60 SEGMENTACION DE IMÁGENES 2D (Cont.)
ANÁLISIS DE LOS RESULTADOS

61 SEGMENTACIÓN Fundamentos de la umbralización (Thresholding)

62 SEGMENTACIÓN Umbralización Ejemplo

63 SEGMENTACIÓN Umbralización multinivel.

64 SEGMENTACIÓN Umbralización Ejemplo de umbralización multimodal

65 SEGMENTACIÓN Pueden darse distintas situaciones:
Distribución unimodal: Los objetos están poco contrastados respecto al fondo. El histograma integra toda la información y sólo aparece un pico dominante (usualmente el fondo). Distribución bimodal: Los objetos aparecen claramente contrastados respecto al fondo y todos ellos presentan la misma distribución de niveles de gris. Distribución multimodal: Varios objetos bien contrastados con distribuciones de gris diferentes. El histograma tiene forma de varias colinas con valles de separación.

66 SEGMENTACIÓN Método p-Tile:
Supongamos una imagen con objetos (p.e. Oscuros) contrastados contra un fondo (claro): distribución bimodal. En el método p-Tile se supone conocido el tamaño de los objetos en la imagen, por lo tanto se supone que éstos ocuparan un p% de la misma. Usando este conocimiento se particiona el histograma de la imagen buscando el nivel de gris que hace que un p % de los pixeles pertenezcan a los objetos. Claramente este método tiene una utilidad limitada.

67 SEGMENTACIÓN Búsqueda Gausiana:

68 Segmentación de imágenes con machine learning

69 Caracterización con espacios de color - RBG

70 Peluffo, D.

71 Data set representation
Data matrix Label vector n samples, p features

72 Example: 3-dimensional 3-class data set

73 PR system

74 Data classification

75 Data classification Not always it is that simple…

76 CONTENIDO INTRODUCCIÓN ADQUISICIÓN Y PREPROCESAMIENTO
SEGMENTACIÓN USANDO MACHINE LEARNING APLICACIONES EJERCICIO PRÁCTICO USANDO MATLAB

77 ETAPAS DE LOS SISTEMAS DE RECONOCIMIENTO AUTOMÁTICO DE FORMAS
Adquisición de imágenes Procesamiento Segmentación Representación y descripción Reconocimiento e interpretación Base de Conocimiento Resultado Entrada

78 ETAPAS DE LOS SISTEMAS DE RECONOCIMIENTO AUTOMÁTICO DE FORMAS

79 Realización de máscaras
RECONOCIMIENTO DE PATRONESc Realización de máscaras

80 CARACTERIZACION Y CLASIFICACION (Cont.)
Caracterización Parámetros de caracterización Color Tamaño

81 CARACTERIZACION Y CLASIFICACION (Cont.)
Color Media Desviación Simetría

82 CARACTERIZACION Y CLASIFICACION (Cont.)
Posición de media de la componente en tono para granos maduros e inmaduros

83 CARACTERIZACION Y CLASIFICACION (Cont.)
Tamaño Tamaño normalizado

84 CONTENIDO INTRODUCCIÓN ADQUISICIÓN Y PREPROCESAMIENTO
SEGMENTACIÓN USANDO MACHINE LEARNING APLICACIONES EJERCICIO PRÁCTICO USANDO MATLAB

85 Segmentar una imagen con métodos no supervisados de machine learning
Segmentar usando litekmeans Comprobar el efecto de cambiar el número de grupos

86 https://sites.google.com/site/diegopeluffocourses/image_segmentation

87 Gracias por su atención
Diego Hernán Peluffo Ordóñez