Introducción al proceso digital de imagen y visión por computador Ilustraciones extraidas de diversas fuentes

Libros de referencia Gonzalez & Woods “Digital Image Processing” Addison-Wesley Klette& Schluns&Koshan “Computer vision. Three-dimensional data from images” Springer-Verlag Jain&Kasturi&Schunck “Machine Vision” McGraw Hill Horn “Robot Vision” MIT Press Pratt “Digital Image Processing” Haralick&Shapiro “ Computer and Robot Vision” Addison Wesley Castleman “Digital Image Processing” Prentice Hall

Contenido Conceptos iniciales Geometría de la captura de la imagen Calibración Visión estereo y el problema de la correspondencia Modelo radiométrico-fotométrico de la generación de la imagen.

História

Convención de ejes

Estructura del sistema de proceso de imagen

Visión por computador en un contexto robótico

Sensores

Sensores Cámaras basadas en CCD (Charge coupled device) Color: 1 ó 3 chips Problemas de calibración fotométrica Nivel de negro: corrección de la imagen producida por el ruido térmico en el sensor cuando no hay iluminación. Balance de blanco: Equilibrado de los canales para que un objeto blanco se vea como tal. Re-Corrección de gamma: eliminar el ajuste de la emisión del monitor (no-lineal) a la la irradiación recibida por la cámara (lineal). Efectos no lineales: pre-kneeing, clipping, blooming

Técnicas de imagen Médica, basadas en proyecciones

Muestreo y cuantización Muestreo (Sampling): discretización del dominio espacial de la imagen Cuantización (Quantization): discretización del rango de valores de la imagen Resolución: efecto combinado del muestreo y la cuantización

Geometría de la cámara Modelo básico de la cámara Transformación de cámara Calibración Cámara con lente Calibración y corrección (Tsai)

Modelo de cámara puntual

Transformación proyectiva Proyección sin inversión de la imagen Transformación proyectiva

Relación entre las coordenadas en el plano imagen y los índices de los pixels

Proyección ortogonal Transformación entre los sistemas de coordenadas del mundo y la cámara Proyección ortogonal

Offset: desplazamiento del plano imagen Pan: giro horizontal Tilt: giro vertical Offset: desplazamiento del plano imagen Transformación expresada en coordenadas homogéneas

Descomposición de la transformación entre sistemas de coordenadas

Calibración lineal Dados (X,Y,Z) (x,y) el sistema de ecuaciones para estimar [aij] es indeterminado

Objetos de calibración

Modelo de cámara con lente

Pto. desenfocado Diametro del circulo correspondiente al punto desenfocado

Transformaciones de una lente con distorsión

Método de calibración de Tsai Obtenidos a partir de la imagen de calibración donde Más de 7 ptos de calibración, sistema sobredeterminado El signo depende de que las posiciones recalculadas tengan el mismo signo que (xb,yb)

Método de calibración de Tsai (cont) Sistema sobredeterminado

Se trata de minimizar una función de error de ajuste de las proyecciones a partir de las coordenadas del mundo y de la imagen, Para obetener un mejor ajuste de los parámetros Coordenadas obtenidas a partir de las coordenadas del mundo Coordenadas obtenidas a partir de las coordenadas de la imagen Función de error a minimizar Minmización por descenso del gradiente

Imagenes estéreo coplanares

Cámaras en posición arbitraria

Superficie de disparidad nula

Correspondencia basada en bordes Asume que las lineas epipolares coinciden con las filas de la imagen

Correspondencia basada en regiones Detección de puntos de interés Calculo de las varianzas direccionales Selección en base a la máxima varianza Selección de máximos locales de interés Emparejamiento de características en base a la correlación de regiones Asume que las lineas epipolares coinciden con las filas de la imagen

Varianzas direccionales Interés Correlación para decidir la correspondencia

Radiometría y fotometría La luz está relacionada con la emisión de energía y su transmisión. Una fuente de luz emite la energía que es parcialmente reflejada por uno ó varios objetos. Finalmente parte de la energía es recibida por un sensor de imagen (cámara) y codificado en un valor de intensidad (gris)

El flujo radiante o potencia radiante es la energía radiante por unidad de tiempo La emitancia radiante o excitación es el flujo en un área radiante A La irradiación es lapotencia radiante recibida por unidad de tiempo y area La intensidad de radiación es el flujo radiante por ángulo sólido, Corresponde a la densidad angular del flujo radiante La radiancia es el flujo radiante por ángulo sólido y área Radiancia de la escena O reflejada

Relación de intercambio de flujo radiante entre dos superficies

Intensidad radiante en el área emisora Diferencial de la intensidad radiante Diferencial de la irradiancia en el mismo area Integrando se obtiene la irradiancia sobre el área receptora

Función de distribución de la reflectancia La función de distribución bidireccional de reflectancia es la herramienta básica de descripción de la reflectancia

La función de distribución bidireccional de la reflectancia describe como se observa una superficie desde una dirección general cuando se ilumina desde una dirección precisa Si se considera que la irradiación es direccional Integrando sobre el ángulo sólido de llegada de la radiación se obtiene una expressión Para la radiancia reflejada

BRDF de una superficie perfectamente difusa Superficie reflectante perfectamente difusa: Igualmente brillante desde cualquier dirección de observación Independiente del tipo de iluminación Superficie reflectante Lambertiana: emite por reflexión toda la energía que le llega. La radiancia es igual a la irradiación de entrada La radiancia reflejada no depende de la dirección y es constante La BRDF es constante La emitancia radiante es igual a la irradiación La emitancia radiante se puede calcular como la integral de la radiancia reflejada Para una fuente de luz

Relacion geométrica en el caso de materiales isotropicos n normal a la superficie v dirección del observador s dirección de la fuente Dadas direcciones invariantes del observador y la fuente de iluminación, los cambios en la radiación reflejada se deben solo a cambios en la orientación de la superfice: El mapa de reflectancia

Mapas de reflectancia lineales Gradiente de la iluminación Irradiación de la fuente de luz Albedo (coeficiente de absorción de la luz)

Mapas de reflectancia Lambertianos Radiancia de una superficie Lambertiana, asumiendo albedo r, una fuente de luz con irradiancia E0 bajo el ángulo de incidencia i Omitiendo factores constantes, el mapa de reflectancia

Mapas de reflectancia Lambertianos En espacio gradiente En coordenadas estereográficas Mapa rotacionalmente simétrico

Ecuación de irradiancia de la imagen Relaciona la radiancia de la escena con la irradiación del sensor de imagen. La formación de la imagen: Radiancia reflejada Diámetro dela lente Ángulo entre el eje óptico y el rayo Irradiacion dela image Focal length Asunciones: Sistema enfocado. La única fuente de radiación es L. No hay vignetting No hay pérdida por transmisión La refracción es despreciable

Relación de la imagen con el mapa de reflectancia Asumiendo la proyección ortográfica Obviando el factor de escala La relación lineal entre la irradiación medida y el mapa de reflectancia obliga a que se realice la re-corrección de gamma en las cámaras con corrección de gamma si se trata de recuperar el mapa de reflectancia o realizar el análisis en base a él.

Color Las imágenes monócromas pueden considerarse como funciones con rango en un intervalo 0≤f(x,y)≤Gmax Las imágenes en niveles de gris tienen como rango una discretización de ese intervalo Las imágenes en color se representan en los monitores de forma aditiva. Los colores básicos son Rojo (700nm), verde G (546nm) y azul B (435nm). Los triestimulos son Los componentes de color normalizados respecto a la intensidad son Los niveles de gris corresponden a la diagonal del cubo RGB: (u,u,u) RGB es la representación interna más común computacionalmente

Espacio HSI Hue ó Matiz: color dominante. Rojo corresponde a 0° ó 360° Saturación: pureza del color. S=1 corresponde al color puro. S=0 corresponde a los niveles de gris Intesidad: brillo. I=0 corresponde al negro. Definido excepto para R=G=B Definido excepto para R=G=B=0

Conversión RGB a HSI