Artificial Neural Networks for Computer Vision Zhou, Chelappa Springer Verlag

Introducción Algoritmos de visión de bajo nivel implementados mediante redes neuronales –Extracción de información tridimensional a partir de imágenes bidimensionales –Información sobre movimiento en secuencias de imágenes En general los problemas de vision de bajo nivel están mal planteados (ill posed). La regularización de Tikhonov consiste en –introducir restricciones dadas por el conocimiento apriorístico –Estabilizar la solución añadiendo funciones auxiliares La computación cooperativa toma en cuenta múltiples restricciones para regularizar las soluciones y tiene una cierta base biológica

introduccion La computación cooperativa emplea unidades de proceso masivamente paralelas que se comunican mediante señales inhibitorias y excitatorias La computación cooperativa proporciona una mayor robusted debido a la distribución del conocimiento en las conexiones y a la posibilidad de entrenar o aprender los pesos de las conexiones Las redes neuronales implementan este tipo de computación cooperativa Aplicaciones tratadas –Static stereo –Lateral motion stereo –Longitudinal motion stereo –Computation of optical flow –Image restoration

Introducción Las redes empleadas son similares a las de Amari y Hopfield –Dos reglas de decisión: Determinista (búsqueda de mínimos locales) y Estocástica (búsqueda de mínimos globales, muy costosa) –Dos tipos de funciones de activación Umbral Máxima evolución

Introducción Visión estéreo convencional se basa en el emparejamiento de líneas, bordes. Inconvenientes: sensibilidad al ruido, escasez de características Utiliza derivadas densas, calculadas utilizando un operador suavización/diferenciación Se escoge el tamaño de la ventana para minimizar el efecto de la discretización espacial. Finalmente utiliza filtros de Gabor (sinusoidales en una ventana gausiana)

Introducción Motion stereo utiliza dos o más imágenes monoculares, observadas por la misma cámara en instantes y/o posiciones distintas La red neuronal implementa un campo de disparidades para calcular el emparejamiento estereo. Catefgorias de motion stereo: –Lateral: el movimiento es ortogonal al eje de visión (aprox) –Longitudinal: el movimiento es a lo largo del eje de visión –Rotational: el plano imagen rota en torno al eje de visión

Introducción El cálculo del flujo óptico es la distribución de velocidades aparentes de objetos en movimiento en la imagen Problema: localizar discontinuidades en el movimiento Restauración: es la recuperación de una imagen a partir de una imagen degradada

Amari Networks Dinámica y estados estables de la red recurrente (neuronas biestables)

Hopfield network Red recurrente, asíncrona

Hopfield Versión discreta, unidades binarias, interconexiones simétricas y autoconexiones no nulas

Hopfield Posiblemente conjuntos disjuntos de unidades para los que se calcula el máximo local, en base a información local

Hopfield Estudio de convergencia

Un conjunto de unidades cambian de estado sim.

Vision estereo estática Recuperación de la profundidad a partir de dos imágenes tomadas desde distintos puntos de vista Basada en la estereopsis de la vista humana (fig 3.1) Las disparidades en las proeyecciones de los puntos en la retina permiten reconstruir la profundidad Métodos básicos de establecimento de correspondencias y cálculo de disparidades –Basados en regiones: se establece la correspondencia entre regiones mediante correlaciones: –Basados en caracteristicas (ptos, lineas) : son más robustos frente a ruido y variaciones de iluminación, más rápidos, pero no son densos

Visión estereo El método propuesto se basa en la correspondencia de regiones Para eliminar la sensibilidad al nivel medio de intensidad se consideran las derivadas de la imagen. Para disminuir el efecto del ruido se combina la derivación con un filtrado de suavización Método resumido –Se toman imágenes desde dos cámaras –Se filtran las imágenes –La Red Neuronal calcula las disparidades

La distancia en el eje Z, la profundidad, puede obtenerse a partir de la disparidad Los problemas centrales son –Extraer las características para establecer las correspondencias –Obtener el mapa de disparidad entre esos puntos

Estimar las derivadas de primer equivale a calcular el segundo coeficiente del ajuste polinomial de una imagen La restriccón epipolar permite trabajar con lineas solo. Ajuste polinomial de la imagen

Estimación de las derivadas Partiendo del ajuste polinomial el cálculo

Función intensidad continua aproximada Minimizando el error cuadratico

El filtro M(y) debe cumplir las siguientes restricciones –Debe eliminar la sensibilidad al sesgo de amplitud –Debe eliminar el ruido eficientemente

Imagen corrompida con ruido y sesgo de iluminación El filtro elimina es sesgo La varianza del filtro es de la forma

La varianza del filtro decrece con el aumento del tamaño de la ventana El aumento de tamaño de ventana produce suavizaciones indeseadas que elimina detalles locales Ventanas muy pequeñas son sensibles al ruido

Ejemplos Muestran la reducción de sensibilidad del filtro –Ej1: un sesgo de 20 y ruido blanco gausiano de 30 db se añade a la imagen –Idem con 20 db de ruido

Consideraciones comp Debido a la discretización de las imágenes, un punto puede no encontrar correspondiente Considerando que la discretización en la imagen izqda induce una discretización en la escena, los ptos en la imagen dcha pueden no coincidir con las proyecciones de los ptos en la escena. Fig 3.5 El error de discretización depende de la profundidad, la longitud de foco y el baseline Para objetos paralelos al plano imagen el error es cero

La red neuronal Tiene N r xN c x(D+1) neuronas interconectadas D es la máxima disparidad N r y N c son las filas y columnas de la imagen Cada punto se representa por D neuronas mutuamente excluyentes

Restricción fotométrica Restricción de suavidad

El emparejamiento se realiza mediante la evaluación de la red. Cada neurona actualiza su estado de acuerdo a sus entradas Su salida es la función maximo (mutuamente excluyentes) por grupos que representan la disparidad

Los incrementos de la función de energía no son negativos siempre, por lo que no se puede garantizar la convergencia de la red.

Resultados experimentales Estereogramas de puntos aleatorios –Generados aleatoriamente –128x128, con forma de pastel de bodas, en tres niveles –La disparidad crece en cada nivel Exp 1: 10% random dot stereogram. 10% pixels blancos Exp2: 50% densidad, 20% de la imagen izqda decorrelados al azar Exp 3: 5 db de ruido gausiano

Experimentos Imágenes naturales. –Exigen un cierto alineamiento –Se distingue entre regiones homogeneas y regiones inhomogeneas en base a la varianza, Regiones homogeneas: Actualización secuencial Regiones inhomogeneas: act. síncrona

Motion stereo-Lateral Motion Se toma una secuencia de imágenes mientras la cámara se desplaza lateralmentea velocidad constante El eje óptico es perpenticular a la dirección de movimiento Todas las imágenes están espaciadas uniformemente Se aplica la restricción epipolar La disparidad (y la profundidad) pueden determinarse a partir de dos imágenes consecutivas Las primitivas utilizadas son las imágenes de gradiente calculadas a partir de la interpolación con polinomios de Chebyshev y la distancia de Chamfer

La proyección de un punto en la i-esima imagen La disparidad se puede calcular como

Medidas primitivas Aproximación a las derivadas de la imagen mediante polinomios de Chebyshev

Medidas primitivas Distancia de Chamfer: distancia al pixel borde más cercano –Construir una imagen binaria de bordes (prewitt) –Construir la imagen de distancias mediante la ecuación recursiva

Aproximación batch Realiza el emparejamiento sobre todas las imágenes de la secuencia simultaneamente Cuantifica la disparidad en D valores separados por W Usa tantas neuronas como pixels por valores de disparidad. Son unidades binarias que

Batch Movimiento de un pixel en la secuencia sobre el eje y en la imagen p Coordenadas

Batch Función de error o energía para el emparejamiento a partir de las distancias de Chamfer y las derivadas

Batch Interconexiones e imputs

Aproximación recursiva (on-line) Consiste en la realización con cada nueva imagen de dos pasos –Actualización de los bias input –Cálculo del emparejamiento

On-line El modelo de la observación La actualización adaptativa

Error de emparejamiento Conocidas la varianza del ruido y las segundas derivadas de la imagen

Detección de oclusiones Los pixels ocluidos se caracterizan por tener valores infradeterminados de disparidad Las restricciones de suavidad tienden a difuminar las oclusiones (sus altos valores de disparidad)

Oclusiones Regla de deteccion basada en el error Corrección de bias modificados

Resultados experimentales Batch y on-line sobre una secuencia

Motion stereo longitudinal motion Aplicaciones en robótica movil Asume movimiento a lo largo del eje óptico No hay asunciones sobre las superficies Se asume conocimiento de la velocidad de la cámara Utilizan filtros de Gabor para las primitivas

Se necesitan dos valores de disparidad para calcular la profundidad, debido a la dependencia temporal de la profundidad respecto del plano imagen.

Dependiendo de la relación usada se restringe la aplicación a los planos X-Z o Y- Z. No se aplica a los puntos en el FOE, por lo que deben ser estimados mediante interpolación Para evitar el error acumulado se utiliza:

Para reducir el efecto del error

Optical flow Flujo optico es la distribución de velocidades aparentes de los patrones en movimiento en las imágenes.

Calculan en flujo en base a la intensidad de las imágenes y a las curvaturas principales Para detectar discontinuidades detectan primero las oclusiones y luego aplican un proceso de lineas Utilizan múltiples tramas para mejorar la robusted de la estimación

Se ajustan la intensidad con un polinomio bivariado para Disminuir el efecto del ruido y la cuantización Utiliza los polinomios de Chebyshev

Curvatura principales Son los valores minimo y máximo de las curvaturas normales de la función intensidad. Se definen en términos de la curvatura media y la curvatura gausiana.

Bajo la asunición Curvatura gausiana Curvatura media

Las segundas derivadas pueden calcularse en base a la aproximación de Chebyshev

Sustituyendo pueden expresarse las curvaturas En terminos de las segundas derivadas

Consideraciones fisiológicas El cortex visual está organizado en capas y con correspondencias topográficas Neuronas con orientación similar se apilan en columnas perpenticulares al la superficie Todas las neuronas en una columna tienen la misma orientación del campo receptivo Una hipercolumna reune varias columnas que cubren 180º aprox. Cada hipercolumna es una unidad visual y codifica complemente un area visual La hipercolumna es selectiva en relación a la dirección, velocidad

Computación Las unidades están distribuidas en un plano cartesiano. Las hipercolumnas corresponden a pixels de la imagen Se modelan los desplazamientos para cada pixel (hipercolumnas...) por filas y columnas N r xN c x(D+1) 2 unidades Las hipercolumnas son exclusivas

Estructura de la red neuronal (i,j) pixel (k.l) direccion de movimiento cuantizada

Realización Incluye una restricción de suavidad del flujo y un proceso de detección de lineas para detectar discontinuidades del flujo El error se compone de –Diferencia de curvaturas e intensidades –Restricción de suavidad –Proceso de discontinuidades para interrumpir la restricción de suavidad

En la formulación neuronal –Input bias corresponden a las diferencias entre curvaturas e intensidades –Las conexiones entre unidades son Excluyentes entre hipercolumnas Implementan el proceso de lineas Implementan la restricción de suavidad

Definición del incremento de energía debido a Un cambio de estado en un par de unidades

Las lineas se actualizan independientemente en Función de los siguientes incrementos de energía Para lineas verticales y horizontales

Detección de discontinuidades Resultan de los fenomenos de oclusión producidos por los contornos de los objetos en movimiento Es nesario detectarlas para evitar la sobresuavización del flujo Se basan en la detección de oclusiones para determinar las discontinuidades

Split motion: un elemento se divide en varios (fig 6.10) Fusion motion: varios elementos se funden en uno (fig 6.9) El proceso de fusión esta infradeterminado mientras que el de split está sobredeterminado

La detección se hace en función de los errores de emparejamiento

Errores de emparejamiento producidos por la oclusion en (i,j) Bajo proyección ortográfica o de perspectiva sin movimeinto en el eje optico

Multiples tramas

Experimentos Imágenes sinteticas de puntos y un disco rotando Imágenes naturales –Pick-up frente a background estacionario

Image restoration