Estéreo estático 1 Estereo estático. Estéreo estático 2 Indice Introducción Aproximación clásica: Marr-Hildred- Poggio-Grimson Cámaras con planos imagen.

Presentación del tema: "Estéreo estático 1 Estereo estático. Estéreo estático 2 Indice Introducción Aproximación clásica: Marr-Hildred- Poggio-Grimson Cámaras con planos imagen."— Transcripción de la presentación:

1 Estéreo estático 1 Estereo estático

2 Estéreo estático 2 Indice Introducción Aproximación clásica: Marr-Hildred- Poggio-Grimson Cámaras con planos imagen coplanares Cámaras no coplanares Tres o más cámaras

3 Estéreo estático 3 Introducción Visión estéreo estática significa dos o más cámaras toman imágenes del mismo objeto/escena y que el movimiento o el tiempo no es un factor en el análisis de las imágenes para la obtención de información de profundidad. Procesos involucrados –Adquisición de las imágenes –Modelado de la cámara: calibrado geométrico y fotométrico –Extracción de características –Análisis de correspondencias –Triangulación para el cálculo de los valores de profundidad –Interpolación para la obtención de representaciones 3D

4 Estéreo estático 4 Marr y sucesores La estructura del sistema de extracción de información de profundidad consiste en procesar las imágenes estereoscópicas para obtener un bosquejo primordial(localización en la imagen de variaciones físicas del objeto) establecer correspondencias sobre los bosquejos primordiales obtener la información de profundidad mediante triangularización, Experimentos con estereogramas de puntos aleatorios demuestran que la correspondencia estéreo es un proceso de muy bajo nivel

5 Estéreo estático 5 Disparidad: diferencia (angular) de la posición correspondiente al objeto en los dos ojos. Varia con la posición relativa de los objetos, y es posible calcular la profundidad de un objetos a partir de ella.

6 Estéreo estático 6 El problema de los objetivos falsos: cómo determinar cual es el emparejamento correcto. Los emparejamientos no aceptados por el ojo humano se consideran objetivos falsos. Para descartarlos es preciso tener en cuenta dos restricciones básicas: Cada punto de una superficie tiene una única posición espacial La materia es cohesiva y separada en objetos. Además en general las variaciones de las superficies de los objetos son pequeñas en relación a la distancia de la cámara

7 Estéreo estático 7 Marr propuso la detección de variaciones en la intensidad de la imagen (bordes) como bosquejo primordial. Se observa que corresponde a un cruce por cero de la segunda derivada en casi todas las direcciones(excepto la dirección del borde). Además los operadores direccionales deforman las fronteras de los objetos de ahí la aplicación de un operador no direccional como el Laplaciano (el que de todas formas tiene efectos de desplazamiento indeseables). Derivadas segundas obtenidas en direcciones distintas sobre el mismo borde

8 Estéreo estático 8 La detección se aplica sobre una imagen suavizada para disminuir los efectos del ruido, al que son muy sensibles los operadores derivada Función Gausiana de banda limitada Operador Laplaciano El bosquejo primordial es el cruce por cero de la función Por la regla de la cadena de la convolución El operador tiene la forma que se aprecia en la figura (usualmente se presenta su opuesto en los textos)

9 Estéreo estático 9

10 10 El cálculo de las correspondencias se beneficia de las restricciones Unicidad: cada item se puede asociar a no más de un valor de disparidad Continuidad: la disparidad varía de forma suave El número de falsos emparejamientos es proporcional al rango de valores de disparidad considerado y a la escala del bosquejo primordial. Sea w c el rango de disparidades en el bosquejo basto, w f en el bosquejo fino. Se puede considerar un rango de disparidades mayor para el bosquejo más basto (coarse) (w c >w f ). De esta forma disparidades que no se pueden detectar en el bosquejo más fino (debido al alto número de falsos emparejamientos) (izqda), se pueden detectar en el bosquejo basto. Las estimaciones de disparidad en el bosquejo basto sirven para alinear las imágenes y calcular la disparidad fina, ya que los pasos por cero estarán ahora en el rango de disparidades más fino (derecha). ALGORITMO MARR-POGGIO Detecta cambios de intensidad a diferentes resoluciones El emparejamiento de descripciones bastas controla la vergencia de los ojos, hasta alcanzar el emparejamiento Emparejamientos parciales se guardan en memoria de forma independiente Las disparidades se calculan sobre el eje x (filas)

11 Estéreo estático 11 Implementación de Grimson Se extraen ventanas de proceso (retinas o fóveas) sobre las que se calcula el Bosquejo Primordial a distintas resoluciones (4) Se calcula el emparejamiento comenzando por las resoluciones más bastas. Las disparidades se calculan sobre los contornos dados por los cruces por cero. 1- Fijar las posiciones de los ojos 2- Localizar los cruces por cero de una imagen 3- Dividir la región en torno al pto correspondiente en la segunda imagen en 3 areas (pool), con vergencia positiva, nula y negativa. 4- Asignar un emparejamiento de los cruces por cero en base a los emparejamientos potenciales en los grupos 5- Deshacer ambiguedades 6- Guardar los valores de disparidad

12 Estéreo estático 12 Imágenes filtradas con filtros Laplacianos de diámetros 36, 18,9,4

13 Estéreo estático 13 Cruces por cero de las imágenes filtradas

14 Estéreo estático 14 Mapas de disparidades resultantes

15 Estéreo estático 15 Cámaras no coplanares Imágenes con ejes Y paralelos, esto es filas coplanares. baseline distancia b entre los centros ópticos O L y O R. 2  es el ángulo entre los dos ejes ópticos Dsitancia focal f. XYZ se transforma en X L Y L Z L mediante una rotación en torno al eje Y y una traslación en el eje X. Proyección central en los planos imagen de un punto (XYZ) en coordenadas de la cámara

16 Estéreo estático 16 Dados puntos correspondientes en las dos imágenes se pueden recuperar las coordenadas 3D en el sistema de la cámara Reescrito como: Triangularización Cuando el ángulo entre los ejes ópticos es nulo (paralelos), se reduce a las ecuaciones vistas para cámaras coplanares

17 Estéreo estático 17 Restricciones y asunciones Facilitan el cálculo de correspondencias Dependen de las condiciones de captación –Restricción epipolar –Unicidad, compatibilidad y similaridad –Continuidad de las disparidades –Compatibilidad de las características –Limitaciones en la magnitud de la disparidad –Ordenación de los puntos proyectados en el plano imagen

18 Estéreo estático 18 Restricción epipolar El plano epipolar se define por un punto P en el espacio y los dos centros ópticos O L y O R. Las líneas que lo definen son la línea delos centros ópticos al punto y la línea base que une los centros ópticos Una línea epipolar es la intersección del plano imagen con el plano epipolar. Los epipolos son las intersecciones de los planos imagen con la línea base. Las líneas epipolares en cámaras coplanares son las filas de la imagen Un punto p L en la imagen izquierda solo puede corresponder a uno p R en la línea epipolar en la imagen derecha

19 Estéreo estático 19 Unicidad, compatibilidad y similaridad Unicidad: todo pixel en una de las imágenes estéreo sólo puede corresponder a otro pixel en otra de las imágenes Excepción: varios puntos en una línea 3D perpenticular a uno de los planos imagen Compatibilidad de intensidades (compatibilidad fotométrica diferencial): vecinos en una de las imágenes estéreo sólo pueden ser correspondientes a vecinos en la otra imagen si las intensidades son similares y la diferencia también lo es Similaridad geométrica: dos lineas en imágenes estéreo son correspondientes si su longitud y orientación es similar (su diferencia está por debajo de un umbral de decisión)

20 Estéreo estático 20 Continuidad de las disparidades Suavidad y continuidad de las disparidades : puntos vecinos tendrán disparidades similares. Continuidad de las disparidades a lo largo de los bordes (restricción de continuidad en las figuras): dados puntos correspondientes sobre bordes definidos en las imágenes estéreo, los puntos vecinos sobre los bordes son correspondientes si las disparidades son similares

21 Estéreo estático 21 Compatibilidad de las características Las características extraidas sólo deben corresponderse si tienen el mismo origen físico en la escena. No son fiables los bordes que no tienen un origen físico perceptible por ambas cámaras Tipos de bordes: Bordes debidos a la orientación delas superficies en la imagen Bordes de reflectacia debidos a los cambios de caracteristicas de reflectancia en la superficie Bordes de iluminación debidos a efectos de iluminación Bordes de reflejos debidos a especularidades de la superficie (no fiable) Bordes de oclusión debidos a las siluetas de los objetos frente al fondo (no fiable)

22 Estéreo estático 22 Límites en las disparidades Límite de la disparidad: máximo valor de disparidad perceptible (computacionalmente sirve para limitar la búsqueda de correspondencias) Implica la asunción de una distancia mínima de los objetos a la cámara El gradiente de la disparidad es la variabilidad de las disparidades entre puntos cercanos. Esta variabilidad se establece en relación a la separación ciclópea d cs (la distancia entre los puntos que veríamos con un ojo colocado entre los dos ojos). Se establece también un límite para este gradiente que restringe la búsqueda de correspondencias.

23 Estéreo estático 23 Gradiente de las disparidades Limite en el gradiente de la disparidad Separación ciclópea

24 Estéreo estático 24 Ordenación en el plano imagen Restricción de ordenación: los puntos que caen en una linea epipolar en una imagen estéreo se proyectan en la linea epipolar correspondiente en la otra imagen en exactamente el mismo orden Esta restricción implica que todos los objetos están a una distancia similar

25 Estéreo estático 25 Análisis de correspondencias basado en la intensidad Se extiende la restricción fotométrica a bloques de la imagen (area based stereo) que pueden corresponder a pixels normales como a pixels detectados mediante algoritmos de extracción de caracteristicas. Método basado en el emparejamiento de bloques. (MPEG) La imagen se divide en bloques del mismo tamaño, se calcula la correspondencia entre bloques mediante correlación. El proceso admite refinamientos disminuyendo el tamaño de los bloques.

26 Estéreo estático 26 La medida de similitud entre bloques puede ser un error cuadrático medio. (cámaras coplanares) Si consideramos correspondencias entre bloques adyacentes no solapados la disparidad d debe ser múltiplo del tamaño de la imagen m. El tamaño del bloque depende de los tamaños de los objetos, la imagen, las texturas,etc. Refinamiento a nivel de pixel Restricciónde continuidad

27 Estéreo estático 27

28 Estéreo estático 28 Emparejamiento de líneas epipolares (asume geometría estéreo estándar (ssg) por lo que las lineas epipolares son las filas de la imagen ) Error de emparejamiento sobre la linea epipolar para la disparidad Perfil epipolar: las disparidades sobre una linea epipolar Restricción de ordenación Funcional de disimilitud acumulada dado un vector de disparidades d El problema de determinar las disparidades se puede formular como la búsqueda del vector de disparidades minimización del funcional de disimilitud acumulada, con la restricción de ordenación.

29 Estéreo estático 29 Las disparidades están acotadas Restricción de unicidad: todo pixel tiene su correspondiente La restricción de ordenación queda como función parcial de disimilitud acumulada que se define inductivamente

30 Estéreo estático 30 inicialización Cálculo de las disimilitudes parciales acumulativas Minimo global Recuperación del vector de disparidades

31 Estéreo estático 31 Emparejamiento de bloques en imágenes color La constancia del color introduce robusted en el cálculo de las correspondencias. La restricción física se reescribe “puntos cercanos de la superficie tendrán colores similares” RGB normalizado Distancias aplicables Espacio HSI

32 Estéreo estático 32 Error de emparejamiento de bloques, sobre el espacio RGB normalizado El algoritmo basado en el emparejamiento de bloques será el mismo que en el caso de las imágenes monócromas. El refinamiento para obtener el mapa denso de disparidades se realizará usando la distancia en el espacio de color

33 Estéreo estático 33 Análisis de correspondencias basados en características (Feature based correspondence analysis) Dos fases: Extracción de las características: bordes, etc Emparejamiento de pixeles pertenecientes a las características Ventajas Se reducen las ambigüedades al disminuir el número de candidatos Es menos sensible a las variaciones fotométricas ( si las características son robustas) Las disparidades pueden determinarse de forma más precisa Desventaja: el mapa de disparidades es disperso (no denso)

34 Estéreo estático 34 Algoritmo básico El punto de partida son la imágen de cruces por cero detectada sobre la imagen izquierda. Los pixels de los bordes detectados son el punto de partida para la búsqueda del pixel correspondiente. La determinación de las correspondencias se hace examinando el error cuadrático normalizado como medida de similitud

35 Estéreo estático 35

36 Estéreo estático 36

37 Estéreo estático 37 Análisis basado en las estadísticas de los vectores de cruce por cero Las caracteristicas son los cruces por cero de la convolución con el Laplaciano de la Gausiana a distintas escalas  1,  2,  3,… Un vector de cruces por cero e  (i,j) se define como un vector unitario bidimensional a lo largo de los cruces por cero vecinos comenzando en (i,j) Si no es un cruce por cero Con E x (i,j), E y (i,j) gradientes en (i,j)

38 Estéreo estático 38 Para puntos correspondientes sino Un par de vectores e L  y e R  establecen un par de candidatos correspondientes si la diferencia angular es menor que un cierto umbral Sea  la disparidad, se pueden definir las funciones de asignación binarias La tabla de frecuencias de las disparidades nos da el histograma global de disparidades (para la imagen izquierda, idem para la derecha) El histograma global de disparidades contiene muchas disparidades incorrectas. Se puede asumir que los picos en el histograma especifican correspondencias correctas

39 Estéreo estático 39 Un candidato multi-intervalo de disparidad viene dada por un umbral aplicado al histograma global de disparidades. Se considera que estas disparidades son válidas y son las que pueden ser aceptadas. Sea H  el máximo global del histograma El proceso global puede servir para definir candidatos para el cálculo detallado de las correspondencias. Para esto el análisis se repite a nivel local

40 Estéreo estático 40 La ventana La ventana local en torno al punto p El histograma local de las disparidades es la tabla de frecuencias de las disparidades dentro de las ventanas en las imágenes dcha e izda en la misma posición, para las disparidades dentro del multi-intervalo candidato La dimensión de la ventana está relacionada con el filtro LoG utilizado (con la varianza)

41 Estéreo estático 41 Los histogramas locales pueden variar mucho, dependiendo de condiciones locales como la existencia de un borde sólo en una de las imágenes, pero en general son similares. Los histogramas locales se calculan para distintos valores de la varianza, esto es, varias resoluciones. Mejor resolución : la que tiene la mayor diferencia entre el máximo y el segundo máximo del histograma local. Asume que es el maximo valor para la resolución para la disparidad y es el segundo mayor valor del histograma local para Esto especifica un valor diferencia (analogamente para la dcha) Una asignación se acepta sólo si L(r,s) y R(r,s) superan un cierto umbral y si y son muy similares. La disparidad finalmente es de la forma

42 Estéreo estático 42

43 Estéreo estático 43 Estéreo con tres cámaras Configuraciones de las cámaras: Coplanares: extensión de la geometría estéreo standard. Las lineas epipolares son las lineas horizontales (imágenes colineales) o las horizontales y verticales (en ángulo recto) Arbitrarias. Las lineas epipolares no coinciden con las de la imagen Estrategias de asignación de puntos Sólo se consideran puntos con correspondencias en las tres imágenes. Menos puntos asignados Se consideran puntos con correspondencias al menos en dos imágenes. (Para soslayar oclusiones)

44 Estéreo estático 44 O 1, O 2, O 3 son los centros de proyección P, R son puntos en el espacio 3D p 1, p 2, p 3 son las proyecciones del punto P. Las lineas epipolares para el punto P son l 1, l 2 en las imágenes de las camaras 1 y 2 (plano O 1 O 1 P). La linea l 3 es la proyección de la linea O 1 P en el plano de imagen de la cámara 3 (plano O 1 O 3 P). La linea m 3 es la proyección de la linea O 2 P en el plano de imagen de la cámara 3 (plano O 2 O 3 P). Un punto correspondiente en las tres imágenes caerá en las intersecciones de los líneas epipolares definidas por los correspondientes planos epipolares.

45 Estéreo estático 45 Se determina directamente la posición en 3D como intersección de los planos epipolares El punto de partida son los bordes calculados con LoG Determina las correspondencias en las otras dos imagenes Determina las corespondenicias triples como intersecciones de las lineas epipolares

46 Estéreo estático 46 Algunas referencias Grimson, From Images to surfaces, MIT Press 1981 Klette, Schluns, Koschan, Computer vision. Three-Dimensional data from images, Springer Verlag