4. Imágenes Binarias Universidad de Valladolid Visión Artificial Industrial Eusebio de la Fuente López Félix Miguel Trespaderne Universidad de Valladolid

Visión Artificial Industrial. Univ. Valladolid Imágenes Binarias 1. Binarización 2. Definiciones topológicas básicas 3. Etiquetado de componentes conexas 4. Seguimiento de contornos en imágenes binarias 5. Extracción de características en img. binarias 6. Binarización y extrac. de características con MATLAB 7. Conclusiones Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización Las imágenes digitales están compuestas por un rango de valores de intensidad. A estas imágenes las denominamos imágenes de nivel de gris. El proceso de conversión de una imagen de nivel de gris a una imágen formada sólo por dos valores de intensidad (0 y 1) se conoce como binarización. a) Imagen de nivel de gris b) Imagen Binaria Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización La binarización tiene muchísima utilidad en procesamiento automático de imagen pues reduce enormemente la cantidad de datos. Las imágenes binarias sólo están representadas por dos niveles de gris: el blanco y el negro. Internamente en la memoria del ordenador cada píxel estará codificado por un cero o un uno. Se reduce así la representación de la imagen y su posterior procesamiento al mínimo. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización Si se parte de imágenes contrastadas, con muy poco procesamiento la binarización permite extraer fácilmente los objetos de interés de la imagen (esta es una tarea básica, conocida como segmentación, necesaria en cualquier aplicación de visión industrial). Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización Las imágenes binarias son muy interesantes por: 1) Empleo óptimo de la memoria y potencia computacional. 2) Las propiedades geométricas y topológicas de los objetos puede obtenerse muy rápidamente a partir de imágenes binarias. La inspección del nivel de llenado en botellas es una de las muchas aplicaciones industriales que hacen uso de imágenes binarias. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid Las imágenes binarias se utilizan cuando la silueta del objeto a analizar contiene la información necesaria para poder llevar a cabo su reconocimiento En aplicaciones industriales la utilización de técnicas de retroiluminación (contraluz) permite obtener imágenes muy contrastadas que pueden reducirse a binarias sin pérdida de información. Aplicaciones de procesamiento imágenes binarias: reconocimiento de caracteres (OCR), reconocimiento y determinación de posición de piezas industriales… 1. Binarización Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización Configuración con retroiluminación para determinar la presencia de pescante en envases farmaceúticos Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización En aplicaciones de inspección dimensional también es muy común la utilización de imágenes binarias ya que estas contienen toda la información referente a la silueta de un objeto y de ellas se puede extraer perfectamente la totalidad de las cotas. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Umbral. Las imágenes binarias se obtienen a partir de imágenes de niveles de gris empleando una técnica llamada binarización. La binarización consiste a partir de un determinado nivel de gris, que denominaremos umbral de binarización, transformar en negro puro todos los píxeles con niveles de gris igual o inferior a ese umbral y en blanco puro los que tengan un nivel de gris superior. Si la imagen está bien contrastada es posible separar los objetos del fondo. Es fundamental que la imagen tenga un alto contraste. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Umbral. I(i , j) – Imagen Original de Niveles de Gris. B(i , j) – Imagen binaria resultante. B(i , j) = 0 si I(i , j) < Umbral B(i , j) = 1 si no. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Elección del umbral. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Elección del umbral. Utilizando el histograma se puede determinar el umbral más idóneo. Este será el que mejor divida los niveles de gris en dos poblaciones bien diferenciadas. Por tanto el umbral óptimo estará en el valle del histograma. a) Imagen Original b) Histograma c) Img.binarizada umbral=80 Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Elección Automática del umbral. Si la iluminación no es estable el valle desplaza y se reduce y puede haber problemas. Algoritmo de Binarización Automática Calcular el histograma de I Para cada valor k del nivel de gris Generar dos poblaciones dividiendo el histograma en k Calcular las varianzas de los dos grupos generados Calcular la suma ponderada de estas dos varianzas (ponderar con el porcentaje de píxeles de su población) Guardar este valor de la suma en un vector de N elementos Buscar el índice m correspondiente a la suma mínima de las varianzas Binarizar la imagen I en el umbral m Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Aplicación Industrial. En aplicaciones industriales, cuando interesa obtener imágenes para binarizar se emplean imágenes capturadas a contraluz (retroiluminación). Cuanto mayor sea la anchura del valle más garantías hay de obtener una buena imagen binaria. a) Imagen Original b) Histograma Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1. Binarización. Aplicación Industrial. Si la iluminación no es buena la anchura del valle se reduce y puede haber problemas. Conviene utilizar un ajuste automático del umbral de binarización. a) Imagen Original b) Histograma c) Mala Imagen binaria (umbral 220). ¡¡ Nos hemos salido del valle !! Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 2. Definiciones topológicas básicas. Píxeles considerados vecinos de P(x,y) en la 4-vecindad : N4(P) = {(x,y-1) , (x,y+1), (x-1,y), (x+1,y)} En la 8-vecindad se incluyen además como vecinos los píxeles en las diagonales: N 8(P) = N 4(P) U {(x-1,y-1) , (x-1,y+1), (x+1,y-1), (x+1,y+1) } Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 2. Definiciones topológicas básicas. Si se considera 8-adyacencia, los píxeles en contacto únicamente por el vértice son vecinos y formarían parte de una misma región de 8 píxeles. Si se considera 4-adyacencia pertenecerían a dos regiones distintas, de 4 píxeles cada una. Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado de Componentes Conexas Cuando existen varios objetos en la imagen es preciso identificar de alguna forma los píxeles que pertenecen a cada uno de los objetos para extraer sus características individualmente. No podemos obtener, por ejemplo, área o el centro de gravedad de cada objeto de la imagen si no marcamos de alguna forma los píxeles que pertenecen a un mismo objeto. Este proceso se conoce como etiquetado y consiste en definitiva en asignar una misma etiqueta a cada uno de los píxeles de una región conexa. La etiqueta será un valor numérico que no tiene otro significado más que como marca de todos los píxeles que forman parte de un mismo objeto. Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado de Componentes Conexas Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado de Componentes Conexas Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado de Componentes Conexas Etiquetado de regiones conexas: Etiqueta los componentes con un número Agrupa los píxeles de una imagen en componentes basándose en la conectividad Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado. Algoritmo Iterativo 1. Recorrer la imagen binaria B si píxel es blanco etiqueta=0 else etiqueta=etiqueta+1 2. Recorrer la imagen de etiquetas de arriba a abajo y de izda. a dcha. si píxel no es blanco le asignamos el valor mínimo de la etiquetas de sus vecinos 3. Recorrer la imagen de etiquetas de abajo a arriba y de dcha. a izda. 4. Repetir 3 y 4 hasta que no haya cambios en la imagen de etiquetas. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1 2 3 35 42 Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1 2 3 35 42 Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 1 3 35 Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado de Componentes Conexas Las carasterísticas de cada componente (áreas, perímetros, cdg,…) pueden obtenerse individualmente siguiendo los componentes etiquetados de la imagen y contabilizando los valores de los píxeles con cada etiqueta. Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado. Contar el número de agujeros El número de agujeros que presenta un objeto puede ser una característica muy útil para discriminarle entre otros. Para contabilizar el número de agujeros lo más sencillo es invertir la imagen y etiquetar a continuación esa imagen inversa. En la inversión, los agujeros que estaban en negro se transformarán a blanco junto con el fondo de la imagen. Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado. Contar el número de agujeros Los nuevos objetos serán ahora los agujeros. Además se etiquetará también el fondo de la escena como un objeto al estar en blanco. Por tanto se tiene que el número de agujeros del objeto será inferior en una unidad al número de etiquetas obtenidas. numAgujeros = numEtiquetasImgInversa – 1 Visión Artificial Industrial. Univ. Valladolid

3. Etiquetado. Contar el número de agujeros Si tenemos imágenes con varios objetos es importante indicar que para contabilizar el número de agujeros de un objeto la imagen invertir debe contener sólo ese objeto. Si no contabilizaremos el número total de agujeros que hay en la imagen. Para ello, a partir del etiquetado de la imagen original será preciso, para cada etiqueta, crear una imagen intermedia donde sólo figure cada objeto y sobre cada una de ellas se realizará el análisis del número de agujeros. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 4. Seguimiento de Contornos en Img. Binarias. Los contornos contienen mucha información pues proporcionan la figura de los objetos. Para extraer el contorno de un objeto en una imagen binaria se utiliza un sencillo algoritmo conocido como Tortuga de Papert. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 4. Contornos. Algoritmo de la Tortuga de Papert. Buscar un píxel que pertenezca al contorno de R y marcarle como inicio. Posicionarse en el píxel de su izquierda. Mientras no se alcance el píxel inicio. ¿El píxel sobre el que estoy pertenece a R? SI: Guardarle como píxel de contorno y posicionarse a su izquierda. NO: Posicionarse a su derecha Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 4. Contornos. Algoritmo de la Tortuga de Papert. Y X Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 4. Contornos. Algoritmo de la Tortuga de Papert. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 4. Contornos. Representación. (3,9),2,3,3,2,4,2,1,2,2,0,0,2,4,4,4,5,… Representación del contorno utilizando los códigos de Freeman. En primer lugar figuran las coordenadas del píxel de inicio del contorno que aparece marcado con un aspa en la figura. A continuación se apunta cada píxel de contorno con un único dígito entre 0 y 7 dependiendo de la posición que ocupen respecto al píxel anterior. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Extracción de características Las propiedades geométricas de las figuras que aparecen en una imagen permiten localizar los elementos de interés. A la hora de elegir las características más adecuadas es preciso tener en cuenta ciertos factores como: Capacidad discriminante. Estabilidad. Fácilmente evaluables. Las características más utilizadas para localizar objetos son: Tamaño. Posición. Orientación. Circularidad Número de agujetos Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Tamaño. El tamaño o área de un objeto en la imagen vendrá dado por el número de píxeles que constituyen ese objeto. El ára se obtiene fácilmente como: 𝐴𝑟𝑒𝑎= 𝑥=1 𝑓𝑖𝑙𝑎𝑠 𝑦=1 𝑐𝑜𝑙𝑢𝑚𝑛𝑎𝑠 𝐵(𝑥,𝑦) A este parámetro también se le denomina momento de orden cero. El tamaño es una característica invariante a la traslación y rotación. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Tamaño. Aplicación de clasificación de tornillos por tamaño. Dos tipos de tornillos: unos pequeños con un área entorno a los 4000 píxeles en la imagen y otros grandes, con un área que supera los 8000 píxeles en la imagen. En estas circunstancias, el área o tamaño del objeto en la imagen es una característica discriminante que se puede utilizar para distinguir unos de otros. Por ejemplo, el área obtenida sobre cada una de estas imágenes ha sido 4015, 3995 y 8403 respectivamente. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Filtro de tamaño. A veces las imágenes binarias presentan ruido. El ruido puede generar regiones dispersas de pequeño tamaño comparado con las regiones de interés. Empleando un filtro de tamaño es posible eliminar todos los componentes que no superen un determinado umbral de tamaño. Para extraer el tamaño en imágenes con varias regiones es precisa una etapa previa llamada etiquetado que se verá en breve. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Posición. La posición de un objeto en la imagen normalmente se calcula determinando la posición del centro de gravedad de los píxeles que integran el objeto. El centro de gravedad es poco sensible al ruido y resulta muy útil en la aprehensión de objetos con manipuladores. El cálculo del centro de gravedad del área en una imagen binaria es análogo al cálculo del centro de masas, donde la intensidad en cada pixel es considerada como la masa en ese punto. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Posición. La posición del centro de gravedad de un objeto queda definida por sus coordenadas en la imagen C(Ci, Cj). Son los momentos de primer orden divididos por el área. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Orientación. La orientación del un objeto puede determinarse mediante el cálculo de su eje de elongación que no es otro sino el eje inercia de momento mínimo. Como en mecánica, el eje de orientación de un objeto en una imagen se define como la línea tal que la suma de las distancias al cuadrado entre los píxeles del objeto y dicha línea es mínima. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Orientación. Para el cálculo de los ejes principales de inercia del objeto en primer lugar calculamos los momentos de segundo orden: Los ejes principales vendrán definidos por los autovectores del tensor de inercia, es decir, por aquellos vectores v(x,y) que cumplen: Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Orientación. Eje Principal Centro de Gravedad Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Orientación. Muchas aplicaciones industriales requieren conocer la orientación del objeto para su aprehensión. La garra del robot precisa no sólo el centro de gravedad de la pieza sino también debe conocer el giro necesario para que los dedos cierren a lo largo del eje de inercia de momento máximo para tener éxito en la captura. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Circularidad. A partir del contorno se puede cuantificar el perímetro del objeto que combinado con el área nos da una idea de la forma (circularidad). El valor de la circularidad oscila entre 0 y 1. Sobre objetos redondeados toma valores próximos a 1 y para objetos irregulares o alargados la circularidad tiende al cero. La circularidad es una característica invariante a la traslación, rotación y escala. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Envolvente Convexa. La envolvente convexa (convex hull) de un conjunto de píxeles C es la figura poligonal convexa más pequeña que contiene al conjunto. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Número de agujeros. La presencia de agujeros en un objeto puede resultar muy útil para diferenciarlo de otros. Piezas con similar área y forma pero con agujeros en unas y en otras no se pueden diferenciar con total garantía. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 5. Ext. de Características. Número de Euler. Se define como el número de componentes menos el número de agujeros. numeroEuler = Componentes – Agujeros. El número de Euler es una característica invariante a la traslación, rotación y escala. El númeroEuler para: A = 1 -1 = 0. B = 1 -2 = -1. ñ = 2 -0 = 2 Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 6. Funciones MATLAB El algoritmo iterativo presentado es especialmente lento cuando se ejecuta en MATLAB. Es conveniente hacer uso de la función que presenta MATLAB bwlabel que proporciona los resultados mucho más rápidamente. bwlabel toma como objetos los píxeles en blanco y como fondo los negros. prop=regionprops(BW); Mide las propiedades de los objetos en la imagen como área, centro de gravedad, número agujeros, etc. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 6. Funciones MATLAB >> B = im2bw(I,umbral); Binariza la imagen I con el umbral especificado. >> umbralOpt=graythresh(I) Halla el umbral [0,1] de binarización mediante el método de Otsu. >> CC=bwconncomp(B) Etiqueta los objetos blanco y guarda en la estructura CC. >> L = labelmatrix(CC); Crea la imagen de etiquetas a partir de la estructura CC. >> BW2 = bwboundaries(BW1) Devuelve las coordenadas de los bordes de todos los objetos y sus agujeros >> BW2 = imfill(BW1,'holes') Rellena a 1 los agujeros de las regiones de la imagen BW1, generando la imagen BW2. >> reg = regionprops (L,'EulerNumber'); Calcula las características de los objetos en la imagen. Se puede especificar también'Area', 'Centroid', 'Orientation', 'Eccentricity', … >> numEuler = bweuler(BW) Número de Euler de una imagen binaria BW. >> BW2 = bwperim(BW1) Devuelve una imagen binaria con los píxeles del contorno de los objetos. Visión Artificial Industrial. Univ. Valladolid

Visión Artificial Industrial. Univ. Valladolid 7. Conclusiones En muchas aplicaciones industriales la binarización permite obtener directamente las regiones conexas que corresponden a los objetos y fondo asignando un valor a los píxeles del objeto y otro a los del fondo. Una vez que estas regiones están definidas, la etapa siguiente es la extracción de características donde se efectúan sobre ellas una serie de medidas tales como área, centro de gravedad, momentos de inercia, circularidad, etc. Si en la imagen aparecen varios objetos, para cuantificar dichas propiedades a nivel individual, será preciso un proceso previo de asignación de una etiqueta a cada uno de los objetos que aparecen en la imagen. Este proceso se conoce como etiquetado de componentes conexas. Visión Artificial Industrial. Univ. Valladolid