Autora: Carmen Alonso Montes Director: Manuel González Penedo Reconstrucción de imágenes 3D mediante el uso de redes autoorganizativas Proyecto Fin de Carrera de Ingeniería Informática Autora: Carmen Alonso Montes Director: Manuel González Penedo

Índice Introducción Objetivos Metodología de trabajo Resultados Detección de puntos borde Redes Neuronales Autoorganizativas Crecimiento Neuronal Resultados Filtrado Resultados con la red GCS Resultados con la red GNG Resultados con imágenes reales Principales aportaciones Conclusiones

Introducción Segmentación de Imágenes Segmentación en base a puntos borde Segmentación en base a regiones Obtención de puntos representativos de superficie Estructura de conexión entre puntos representativos Reconstrucción de Superficies Reconstrucción de Objetos 3D

Objetivos Reconstrucción de superficies en base a puntos borde Algunas técnicas clásicas de reconstrucción operan en dos fases Clasificación para obtener puntos representativos de superficie Obtención de relaciones de conexión entre puntos representativos Las redes autoorganizativas permiten unificar los procesos de clasificación y de establecimiento de conexiones El crecimiento neuronal proporciona una alternativa más flexible dentro de este campo.

Metodología de trabajo Imagen 3D Obtención de Puntos borde Obtención de la malla con Redes Autoorganizativas Objeto 3D

Obtención de Puntos Borde Detección de puntos borde de la superficie. Filtros detectores de bordes 2D 3D: la pertenencia de un punto al borde se determina por las relaciones de este con otros puntos dentro de un corte bidimensional y con puntos de cortes adyacentes. La utilización de filtros 2D extendido a 3D no presenta un comportamiento adecuado, en general, ya que sólo contempla relaciones entre los puntos en dos dimensiones y no en la tercera. Filtros utilizados Laplaciano Umbralización por Histiéresis Lineal Multi-Escala

Reconstrucción de superficies (I) Una superficie queda definida por la posición de los puntos del borde y las relaciones de conexión entre estos. Los algoritmos tradicionales para la reconstrucción de superficies como el Marching Cubes, utilizan la posición de los puntos buscando las posibles triangulaciones entre los mismos para la obtención de la superficie. Ventajas Múltiples implementaciones y estudios Simplificación en su utilización

Reconstrucción de superficies (II) Desventajas de los algoritmos tradicionales La calidad del resultado obtenido es directamente proporcional a la cantidad de puntos borde del objeto utilizados. El tiempo de computación depende directamente de la cantidad de puntos utilizados Poca flexibilidad para la utilización de características adicionales de los puntos, además de la posición. Una alternativa la presentan las redes neuronales autoorganizativas

Redes Neuronales Autoorganizativas Son aquellas que basan su funcionamiento en la modificación repetida de conexiones en respuesta a patrones de activación y siguiendo unas reglas preestablecidas, hasta el desarrollo final de la estructura o sistema. Ventajas Capacidad de clusterización y clasificación de los puntos del espacio de entrada Establecimiento de la topología (relaciones de vecindad) entre los elementos de procesado representativos Ordenación topológica. La localización espacial de una neurona corresponde a un dominio particular o conjunto de patrones de entrada. Reflejan la densidad de muestreo

Mapas Autoorganizativos (SOM) Resultado con SOM Los mapas autoorganizativos (SOM) propuestos por Kohonen forma la base fundamental del funcionamiento de muchos tipos de redes autoorganizativas Desventajas Topología fija e invariante durante todo el proceso de entrenamiento Tamaño de la red es necesario definirlo a priori Alternativa más flexible: inclusión del Crecimiento neuronal Resultado con GNG

Crecimiento Neuronal (I) Ventajas del crecimiento Se pueden utilizar problemas dependientes de medidas de error para la inserción de nuevas neuronas. Posibilidad de interrumpir y continuar un entrenamiento. El tamaño de la red no es necesario fijarlo a priori. Dos tipos de redes autoorganizativas seleccionadas: Crecimiento de Estructuras de Células (Growing Cell Structures (GCS)). Inicialmente k+1 neuronas No contemplan el borrado de conexiones Gas Neuronal Creciente (Growing Neural Gas (GNG)). Inicialmente 2 neuronas Contempla borrado y establecimiento de nuevas conexiones

Crecimiento Neuronal (II) Las redes neuronales permiten la utilización de varias propiedades de los puntos El gradiente permite discernir entre puntos próximos pero pertenecientes a superficies enfrentadas La posición es la propiedad más importante de los puntos, y es necesario ponderar la importancia del gradiente. La fórmula que define la importancia relativa del gradiente frente a la posición utiliza el seno por ser una función continua

Imágenes Artificiales Corte 2D o slice Volumen formado a partir de 15 slices

Filtrado de Imágenes Los puntos obtenidos de la realización del filtrado sobre las imágenes, se han utilizado como conjunto de entrenamiento en las redes autoorganizativas Laplaciano Umbralización por histiéresis Lineal Multi-Escala

Reconstrucción de superficies con GCS. Resultados (I) La red GCS no rompe conexiones ya establecidas Heurísticas seguidas en el desarrollo de las imágenes Recorrer todos los patrones de entrada del conjunto de entrenamiento. Inicialmente utilizar una velocidad de aprendizaje, α, y de εbmu y εvecinos altos para lograr adaptar la forma del objeto Reentrenamiento para un mayor grado de adaptación de la red

Reconstrucción de superficies con GCS. Resultados (II) Sección de un tubo Sólo Posición Posición con Gradientes Figura k λ εbmu εvecino α Total Ep Izquierda 2 150 0,05 0,008 1905 Derecha 3400

Reconstrucción de superficies con GCS. Resultados (III) Reconstrucción de la superficie definida por la red GCS. Sólo Posición Posición con gradientes

Reconstrucción de superficies con GCS. Resultados (IV) Sección de dos tubos Sólo Posición Posición con gradientes Figura k λ εbmu εvecino α Total Ep Izquierda 2 150 0,05 0,008 3400 Derecha

Reconstrucción de superficies con GCS. Resultados (V) Sección de dos tubos. Superficie y vista lateral con gradientes Sólo Posición Posición con gradientes

Reconstrucción de superficies con GCS. Resultados (VI) Sección de varios tubos Sólo Posición Posición con gradientes Figura k λ εbmu εvecino α Total Ep Izquierda 2 150 0,05 0,008 3000 Derecha

Reconstrucción de superficies con GNG. Resultados (I) Sección de un tubo Sólo Posición Posición con gradientes Figura λ εbmu εvecino edad α β Error Total Ep Izquierda 150 0.05 0,005 100 0,07 0,995 1400 Derecha 800

Reconstrucción de superficies con GNG. Resultados (II) Superficie definida por la red. Sólo Posición Posición con gradientes

Reconstrucción de superficies con GNG. Resultados (III) Sección de dos tubos Posición con gradientes Sólo Posición Figura λ εbmu εvecino edad α β Error Total Ep Izquierda 150 0.05 0,005 100 0,07 0,995 1700 Derecha

Reconstrucción de superficies con GNG. Resultados (IV) Sección de varios tubos sin tener en cuenta gradientes. Sólo Posición Detalle de la unión

Reconstrucción de superficies con GNG. Resultados (V) Sección de varios tubos Sólo Posición Posición con Gradiente Figura λ εbmu εvecino edad α β Error Total Ep Izquierda 150 0.05 0,005 100 0,07 0,995 700 Derecha

Resultados con imágenes reales (I) Algoritmos tradicionales presentan limitaciones para la inclusión de propiedades adicionales de los puntos y ante problemas de proximidad no responde adecuadamente Redes Autoorganizativas Algoritmo tradicional

Resultados con imágenes reales (II) Imágenes filtradas utilizadas como conjunto de entrenamiento para la realización de los vídeos Mano filtrada Fémur filtrado

Video Mano

Video Fémur

Principales Aportaciones Heurísticas para el entrenamiento y optimización del grado de adaptación de las redes GCS a la superficie del objeto Heurísticas para el entrenamiento de las redes GNG respecto de la edad máxima de una conexión Análisis de las implicaciones de la utilización del gradiente en el nivel de adaptación de la red Formulación y evaluación de una función de relevancia del gradiente respecto de la posición en la reconstrucción de superficies. Desarrollo de una aplicación gráfica que permite la unificación de los pasos de filtrado y de entrenamiento de la red.

Conclusiones Las redes GCS no presentan un comportamiento adecuado en la presencia de varios objetos por no considerar el borrado de conexiones Dimensionalidad fija en la red GCS es una ventaja para la reconstrucción posterior de la superficie Las redes GNG se comportan mejor gracias al borrado de elementos y de conexiones Las redes GNG frente a las GCS, con un mismo conjunto de patrones de entrada, necesitan de un menor grado de entrenamiento mejorando los resultados obtenidos El gradiente en ambas redes permite mejorar resultados con la presencia de objetos próximos y en la superficie de un objeto. El número de elementos de procesado utilizados para la definición de la superficie es muy inferior al número de puntos necesarios para un algoritmo de reconstrucción clásico

Autora: Carmen Alonso Montes Director: Manuel González Penedo Reconstrucción de imágenes 3D mediante el uso de redes autoorganizativas Proyecto Fin de Carrera de Ingeniería Informática Autora: Carmen Alonso Montes Director: Manuel González Penedo