Segmentación por umbralización Se basa en el establecimiento de un umbral T (o varios) y reasignar el valor de la intensidad de gris según: Para un caso general el histograma es una transformación de la forma: T=T[x,y,p(x,y),f(x,y)] f(x,y) nivel de gris en el punto (x,y). p(x,y) alguna propiedad local al punto. x,y coordenadas del punto. Suele usarse para diferenciar entre objeto y fondo, la iluminación no uniforme es fuente de problemas. La dificultad está en encontrar el valor correcto del umbral.

Umbralización global Se basa en el histograma de la imagen. Búsqueda del umbral óptimo en base a suponer un histograma bimodal. Emplea funciones de densidad de probabilidad (FDP). Suponer que cada modo se ajusta a una FDP (gaussiana) Calcular las probabilidades de pertenecer a cada región. Minimizar la posibilidad de errar al asignar un pixel de fondo a objeto o viceversa. Exige un método iterativa de ajuste. T2 255 T1 255 T 255 Histograma bimodal Histograma multimodal Histograma sin forma definida

Ejemplo de umbralización 1 Imagen original Histograma de la Imagen original Imagen binarizada con umbral en 156

Ejemplo de umbralización 2 Imagen original Histograma de la Imagen original Imagen binarizada con umbral en 195

Umbrales locales y dinámicos Son muy útiles cuando: Hay varios objetos en la imagen de distintos niveles de gris. Las condiciones de iluminación no son uniformes. Se subdivide la imagen en subregiones: Se calcula el histograma para cada región, si es bimodal se puede determinar el umbral óptimo. Pueden aplicarse propiedades locales p(x,y),por ejemplo establecer una diferencia mínima entra los valores max y min de la región. Algunos umbrales se pueden calcular por interpolación entre los de las regiones vecinas.

Umbrales basados en las características del límite Se considerarán solamente los pixels situados en el límite entre los objetos y el fondo. Así el histograma se hace menos dependiente de los tamaños relativos de objeto y fondo. Si se han empleado operadores de gradiente o laplaciana se aumentan las diferencias entre los picos del histograma. Con el empleo del gradiente y la laplaciana se puede determinar si un punto está en un contorno claro-oscuro u oscuro-claro. No está en un contorno Lado oscuro de un contorno Lado claro de un contorno Luego se analizan por filas y columnas las combinaciones de 0, 1 y 2 para marcar claramente los contornos.

Segmentación basada en regiones Se divide una imagen R en regiones Ri estableciendo similitudes de acuerdo a las siguientes 5 reglas: Donde P es un predicado, una condición que se verifica en todos los puntos pertenecientes a una región y que es falsa en las demás. (niveles de gris, gradiente, textura etc.).

Crecimiento de regiones Agrupa pixels o subregiones dentro de regiones más grandes. Se establecen puntos semilla, tantos como regiones se espera que haya, y en torno a ellos se van añadiendo más. Una de las dificultades es establecer los puntos semilla, generalmente dependen de la naturaleza del problema. Generalmente también debe establecerse una regla de parada.

División y fusión de regiones Se subdivide la imagen en un conjunto de regiones que luego se pueden fusionar y/o dividir nuevamente para cumplir las condiciones que se impongan. Dividir en 4 cuadrantes disjuntos cualquier región Ri donde P(Ri)=falso. Fusionar las regiones adyacentes Rj y Rk para las cuales P(Rj U Rk)=Verdadero Parar cuando no sea posible realizar más fusiones o divisiones. Típicamente se utiliza la división por árboles cuaternarios

Ejemplo de descomposición cuaternaria Criterio: La diferencia en una región < 5 1 1 1 1 2 3 6 6 1 1 2 1 4 5 6 8 1 1 1 1 10 15 7 7 1 1 1 1 20 25 7 7 20 22 20 22 1 2 3 4 20 22 22 20 5 6 7 8 20 22 20 20 9 10 12 12 22 22 20 20 13 14 15 16 0 0 0 0 1 1 2 2 0 0 0 0 3 13 4 4 0 0 0 0 14 15 4 4 5 5 5 5 6 6 7 7 5 5 5 5 8 8 9 10 5 5 5 5 8 8 11 12

Ejemplo con imagen de granos de aluminio Imagen con valores promedios en cada región Imagen original Descomposición según árbol cuaternario

Utilización del movimiento Se deriva de un desplazamiento relativo entre los sensores y la escena. Un método básico estriba en comparar pixel a pixel dos imágenes de una misma escena, estableciendo una imagen de diferencias. Este mecanismo se puede establecer con imágenes grabadas y con la iluminación relativamente constante. Aparecería un 1 en los pixels que ahora ocupa el móvil, en los pixels que abandonó y en algunos pixels ruidosos, que se eliminan fácilmente imponiendo condiciones de conectividad.

Diferencias acumuladas

Operaciones morfológicas Se denominan operaciones morfológicas porque trabajan en base a la forma de los objetos Pueden trabajar con imágenes binarias o de niveles de gris. Se van a presentar operaciones morfológicas binarias. Son operaciones a nivel de conjuntos. Se trabaja a nivel de lógica booleana. Rellenan pequeños huecos o discontinuidades Eliminan pequeños salientes. Reducen una imagen a su esqueleto. Eliminan fragmentos de acuerdo a un patrón

Algunas definiciones básicas Sean A y B dos conjuntos en Z2 con componentes a=(a1,a2) y b=(b1,b2). La traslación de A por x=(x1,x2) representada por (A)x se define como: La reflexión de A, representada por  se define como: El complemento del conjunto A es: La diferencia de dos conjuntos A-B se define como: Con estas operaciones es posible hacer un simil con la convolución.

Erosión y dilatación Dado un conjunto de pixels G (imagen no cero) y un conjunto de pixels M (máscara no nulos) con un punto origen. Erosión, contrae los objetos (útil para eliminar pequeños objetos) Es dada por el conjunto p de los puntos para los cuales Mp está contenido en G. Dilatación, expande los objetos (útil para eliminar huecos) Es dada por el conjunto de los desplazamientos x para los cuales la reflexión de la máscara se solape con la imagen al menos en un elemento distinto de cero. Dilatación y erosión son duales entre sí con respecto a los conjuntos complemento y reflexión

Ejemplo de operación de dilatación/erosión Imagen dilatada Imagen erosionada Máscara empleada

Apertura A partir de las operaciones de erosión y dilatación pueden definirse nuevas operaciones: Apertura: elimina objetos pequeños pero sin reducir los restantes (como pasa con la erosión). Consta de una erosión seguida de una dilatación con la misma máscara. Propiedades: G ° M es un subconjunto (subimagen) de G Si C  D , entonces C ° M  D° M (preserva de la monotonía). (G° M) ° M= G ° M (idempotencia).

Ejemplo de operación apertura Imagen erosionada Apertura Máscara empleada

Cierre Cierra pequeños huecos sin agrandar el tamaño de los objetos (como pasa con la dilatación) Consta de una dilatación seguida de una erosión con la misma máscara. Propiedades: G GM Si G D entonces GM  DM (monotonía). (GM) M = GM (idempotencia). Es posible construir múltiples filtros en base a la utilización de operaciones de apertura y cierre. (G°M)M Eliminación de ruido (M cuadrada 3*3 con 1)

Ejemplo de operación cierre Imagen dilatada Cierre Máscara empleada

Extracción de contornos Puede realizarse por diferencia entre la imagen y su erosionada. (G) = G -(G  M) Imagen erosionada Imagen de contorno Máscara empleada

Operación Hit-Miss (concordancia) Sirve para detectar la presencia de objetos de una forma determinada. Requiere de dos operaciones morfológicas Una primera erosión elimina los objetos menores que la máscara. Una segunda operación elimina los objetos mayores que la máscara sobre la imagen de fondo. Al final contiene todos los puntos en los que simultáneamente, M1 encontró una concordancia en G y B2 lo encontró en su complementario

Otras operaciones. Ejemplos Resultan de combinaciones e iteraciones de las anteriores Eliminación de puntos cuyos 4 vecinos son todos 1 Imagen original Esqueleto tras 12 iteraciones Esqueleto tras ‘infinitas’ iteraciones

Descripción Es una fase que suele seguir a la segmentación. Pretende establecer características de las regiones segmentadas. Las características escogidas suelen ser dependientes del problema. Las características escogidas en la medida de lo posible deben ser insensibles a: Rotación. Cambio de escala. Traslación. Punto de inicio. Posteriormente deben adaptarse para un mejor tratamiento numérico por el ordenador.

Extracción de descriptores Se pueden clasificar como: Descriptores de frontera. Descriptores de región. Los descriptores de frontera extraen información de la forma del contorno de los objetos. Los descriptores de región atienden a las características internas algunos de ellos son muy sencillos. Area, número de pixels contenidos en la frontera. Ejes mayor y menor. Perímetro de una región, longitud de su frontera, (Perímetro/área). Número de Euler (descriptor topológico), número de regiones conectadas menos número de huecos.

Representación y descripción del contorno La representación original de un contorno no es cómoda: Es muy sensible al ruido y a defectos de la segmentación. No es eficiente desde el punto de vista computacional y del almacenamiento.

Códigos de cadena Representan una frontera como un conjunto de segmentos de longitud y dirección especificadas. En primer lugar se selecciona el tamaño de la cuadrícula. Después se asignan 0 o 1 a las celdas dependiendo de si tienen más de un 50% de pixels pertenecientes al objeto. Se codifica la frontera con el código seleccionado. Para ello se selecciona un punto de inicio y luego se recorre el contorno según la vecindad escogida. 1 3 2 2 3 1 4 5 7 6

Ejemplo de código de cadena

Números de contorno Una frontera codificada en cadena tiene varias diferencias primeras (restas entre elementos del código) dependiendo del punto de comienzo. El número de contorno de una frontera se define como la primera diferencia de menor valor. Se calculan tomando a los códigos de cadena como secuencias circulares. La primera diferencia es independiente de la rotación (en las direcciones que coinciden con la búsqueda) y del punto de comienzo. Luego se puede expresar de modo que de un ordinal menor (numero de forma). El orden de un número de forma es el número de dígitos de su representación. La frontera en general dependerá de la orientación de la cuadrícula. Se puede inscribir el objeto en un rectángulo (rectángulo básico) con lados paralelos a sus ejes mayor y menor . Al cociente entre estos lados se le denomina excentricidad.

Ejemplo de número de contorno Código de cadena: 0 0 0 0 3 0 0 3 2 2 3 2 2 2 1 2 1 1 Diferencia: 3 0 0 0 3 1 0 3 3 0 1 3 0 0 3 1 3 0 Número de forma: 0 0 0 3 1 0 3 3 0 1 3 0 0 3 1 3 0 3

Aproximaciones poligonales 1 Una frontera digital puede aproximarse, con precisión arbitraria, por un polígono. Se trata de capturar la esencia del contorno. Pueden emplearse técnicas de fusión, basadas en el error o en cualquier otro criterio. Se funden puntos de la frontera hasta que el error que se obtenga al ajustar por mínimos cuadrados la recta que pasa por esos puntos exceda de un umbral. Cuando esto ocurre se almacenan los parámetros de la recta, se pone el error a cero y se comienza una nueva recta. Al final del procedimiento las intersecciones de las rectas forman los vértices del polígono. Este método tiende a perder las inflexiones fuertes del contorno, se pierden las esquinas reales y se proporcionan otras distintas..

Aproximaciones poligonales 2 Técnicas de división Se va subdividiendo cada segmento en dos partes hasta que se satisfaga determinada condición. Por ejemplo, obligar a que la distancia máxima desde un punto de un arco de contorno hasta el segmento que lo delimita no exceda de cierto valor. Si lo excede el punto más lejano se convierte en vértice. Se generan nuevos segmentos entre los nuevos vértices. Se repite el procedimiento hasta que todos los puntos cumplan con la condición impuesta. Este método detecta los puntos de inflexión pero es sensible a puntos espurios. Da problemas con las concavidades Hay muchos trabajos que combinan técnicas de división y fusión.

Ejemplo de aproximación poligonal Frontera original Frontera dividida según puntos más alejados Unión de vértices Polígono obtenido

Ajuste de rectas Ajustan nubes de puntos alineados. Pueden establecerse dos categorías de métodos: Métodos de optimización Métodos no óptimos (transformada de Hough). Cuando se emplean los métodos de optimización se miden las distancias de los píxeles a la recta, estas pueden considerarse: Distancias verticales (u horizontales) de los píxeles a las rectas (regresión lineal). Considerar la distancia perpendicular de los píxeles a la recta. x y pi(xi,yi) y=ax+b y pi(xi,yi) ax+by+c=0   x

Regresión lineal. Se trata de buscar una recta tal que la suma de los cuadrados de las distancias verticales de los puntos a ella sea mínima. Inconvenientes: Las distancias tienden a infinito según la recta se haga más vertical El ajuste no es el mejor, el error depende de la pendiente de la recta.

Ajuste considerando distancias perpendiculares El planteamiento es semejante al caso anterior. Dado un conjunto de puntos se busca la distancia  y la orientación  que minimice la suma de distancias perpendiculares. Se puede resolver por optimización no-lineal, aunque conviene plantearlo de una forma no iterativa.

Descriptores de Fourier La DFT se puede emplear para describir una frontera bidimensional (curva cerrada y periódica). Dada la secuencia de M puntos de la frontera, con sus coordenadas (x,y) puede ser interpretada como una secuencia de números complejos. Es deseable que M sea una potencia de 2 para usar FFT. En general solo se necesitan los primeros componentes de la transformada de Fourier para diferenciar formas razonablemente distintas entre sí. Las transformadas de Fourier se pueden normalizar fácilmente para el tamaño, rotaciones y punto de comienzo de la frontera.

Ejemplo transformada de Fourier Reconstrucción a partir de los coeficientes de la transformada de Fourier del contorno

Propiedades de los descriptores de Fourier La representación empleando descriptores de Fourier tiene una serie de propiedades heredadas de la transformada de Fourier. Al multiplicar los coeficiente por una cte. Se escala el tamaño de la frontera. Multiplicando por ej se rota en el dominio de las frecuencias y en el dominio espacial. Desplazar el punto de comienzo en el dominio del espacio equivale a multiplicar el coeficiente de la frecuencia k-esima por ejkT donde T es la fracción de período que se desplaza el punto de comienzo Con estas propiedades de obtiene la invarianza ante el tamaño, rotación y punto de comienzo.

Signaturas o firmas Es una representación funcional unidimensional de una frontera Por ejemplo representar la distancia desde el centro hasta la frontera en función de un ángulo. Esta podría normalizarse para el punto de comienzo y para el tamaño. Podría representarse la dirección de la tangente a la frontera en función de un ángulo. A 2  A2 2

Signaturas o firmas 2 Suele calcularse un punto característico del interior (el centro de masas). La invarianza al tamaño se consigue dividiendo la función por la distancia máxima al centroide. La invarianza frente al ángulo de comienzo se consigue comenzando por el punto que se encuentra a la distancia máxima al centroide. Este método resulta muy sensible a la posición del centroide. Puede dar problemas con curvas concavas, que darían lugar a puntos multievaluados. Se puede solucionar este caso empleando la envolvente convexa.

Tratamiento de las firmas La función obtenida no es directamente utilizable por el computador para distinguir contornos. Hay que caracterizar a las diferentes firmas. Una técnica muy común es calcular sus momentos. Sea a una variable aleatoria discreta representando la variación en amplitud de la firma. Sea p(ai), con i=1,2,3,......K que representaría su correspondiente histograma, siendo K el número de niveles de amplitud. El momento enésimo con respecto a la media se define como: Suelen bastar los primeros momentos para diferenciar las firmas.

Esqueleto de una región Una región plana se puede reducir a un grafo, mediante esta reducción se puede llegar al esqueleto de la región. Sea una región R con borde B, para cada punto p de R se encuentra su vecino más próximo en B, si tiene 2 vecinos a distancia mínima se dice que pertenece al esqueleto. Esta decisión se verá influida por la medida de distancia adoptada. Esta definición no es realizable de manera práctica.

Esqueletización de regiones binarias Método iterativo en dos etapas aplicadas a los puntos de contorno (pixel con valor 1 y al menos un 8 vecino de valor 1).

Ejemplo de segmentación completa. Análisis de los granos del acero 1 Imagen Original Fotografía microscópica mostrando los granos de acero

Análisis de los granos del acero 2 Imagen binarizada umbral T=70 Imagen binarizada umbral T=210

Análisis de los granos del acero 3 Los puntos de la imagen con T=70 se usan para seleccionar objetos blancos en el negativo de la imagen con T=210. Esto elimina regiones pequeñas que aparecen en la imagen de T=210. Se aplica una esqueletonización y eliminación de puntos extraños (segmentos no cerrados).

Análisis de los granos del acero 4 Imagen segmentada, cada región se ha representado con un color Imagen original

Momentos invariantes 1 Una región dada por sus puntos interiores se puede describir usando momentos invariantes a escala, rotación y traslación. Sea f(x,y) el nivel de gris de un punto (x,y) perteneciente a la región. Se define:

Momentos invariantes 2 El siguiente conjunto de momentos invariantes se obtienen a partir de los momentos centrales normalizados de órdenes 2 y 3.

Textura 1 Es un descriptor orientado a regiones, intuitivamente da una medida de propiedades como la rugosidad, suavidad, regularidad o presencia de ciertos patrones. Hay dos enfoques para su estudio: Estadístico: informa acerca de la rugosidad, granularidad etc. Estructural: Estudian la disposición de formas básicas. Se pueden describir texturas a partir de la información de momentos del histograma de la imagen.

Textura 2 Si se emplea solo la información del histograma no se obtiene información de la posición relativa de los pixels. Mediante operadores de posición se obtiene esta información. Sea P un operador de posición y A una matriz k*k donde cada aij es el número de veces que los puntos cuya intensidad es zi aparecen en la posición especificada por P. P: “un pixel a la derecha y un pixel por por debajo”. C: matriz de coocurrencia de niveles de gris. En este caso el valor más alto de C indica que la mayor alineación en dirección sudeste se encuentra para los niveles de gris 0.

Textura 3 El problema general es, dado un patrón y la consecuente matriz C, encontrar clasificadores de la textura. Los anteriores descriptores dan idea de: Respuesta más fuerte, cercanía a la diagonal principal, lejanía a la diagonal principal, aleatoriedad y uniformidad.

Ejemplos de texturas Tejido de cuadros Pelo de perro

Similitud y correlación. Se pretende establecer la similitud entre una imagen y un patrón. La correlación de dos funciones continuas unidimensionales se expresa por: La detección con esta expresión no es factible, ya que es dependiente de los cambios de escala. Donde w es la media de las intensidades de la imagen w(x,y) que actua como patrón, f’(x,y) es la media de las intensidades de la imagen en la región coincidente con w