Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Escuela Politécnica Superior de Jaén Universidad de Jaén Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 José Manuel Fuertes García Manuel José Lucena López Departamento de Informática Francisco Javier Carrascosa Malagón

Índice Propósito y Objetivos Visión Estéreo Bumblebee XB3 Desarrollo Software Demo Conclusiones Trabajo Futuro Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Propósito y Objetivos Propósito Objetivos Estudiar a Bumblebee XB3 y su SDK de visión estéreo Triclops. Documentar la biblioteca de Triclops y crear una aplicación de reconstrucción 3D a partir de la misma. Objetivos Estudio del proceso genérico de la visión estéreo y productos comerciales. Estudio e instalación de Bumblebee XB3. Estudio y documentación de la biblioteca Triclops. Captura de datos con Bumblebee XB3. Desarrollo software de una aplicación de reconstrucción 3D de una escena. Redacción de una memoria. Este proyecto nació con dos propósitos básicamente. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Visión Estéreo Sistema Biológico ¿Qué es la visión estéreo? La visión estéreo es el sistema binocular, utilizado por el ser humano y la mayoría de los depredadores para el cálculo de la profundidad de los objetos de manera subjetiva. Esto es posible porque nuestros ojos están dispuestos frontalmente y se mueven a la vez en direcciones paralelas. Todo esto es necesario para que las imágenes que captan los ojos se solapen en gran parte. Gracias al paralaje obtenemos sensación de profundidad, es decir, gracias a la separación de nuestros ojos, en las imágenes que estos obtienen se produce un desplazamiento angular relativo a la distancia de los objetos con el que se consigue percibir la distancia. La visión estéreo no es el único mecanismo de los seres vivos para poder calcular profundidades (pero si es el principal). Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Visión Estéreo Sistema Artificial El proceso anterior, realizado de forma automática por el sistema biológico, es interesante que sea simulado mediante un sistema artificial para poder llevar a cabo actividades de diversa índole en las que conocer medidas, comprender la escena, etc. El proceso abarca una serie de etapas que se detallan en la memoria, pero de estas hay que destacar y mencionar la más importante, la del establecimiento de correspondencias. En esta etapa se buscan puntos en ambas imágenes y se calcula la distancia relativa que hay entre ellos, estableciendo una imagen como referencia. Existen muchos métodos, los cuales son clasificados y descritos superficialmente en la memoria, pero todos obtienen un mapa o imagen de disparidad. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Bumblebee XB3 Características Básicas Tres cámaras. Proceso estéreo bifocal. Líneas base de 12 y 24 cm. Resolución 1280 x 960 a 16 FPS. Propósito general. Bibliotecas FlyCapture y Triclops Nada. No se usan las tres cámaras, solo dos. Dos líneas base: la cercana para mejorar la precisión en distancias cortas y la ancha para las distancias lejanas. No tiene un propósito específico, proporciona la distancia de los puntos y este puede ser usada para muchos fines (reconstrucción, seguimiento, reconocimiento, segmentación, etc.). La biblioteca FlyCapture proporciona una interfaz con la que comunicarse con el sistema y Triclops ofrece métodos que obtienen la profundidad de la escena. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Bumblebee XB3 Flujo SDK Triclops Tiempo Real Imágenes RAW Preprocesamiento Imágenes Preprocesadas Procesamiento Estéreo Mapa de Disparidad y Nube de Puntos ¿Qué es Triclops? Preprocesamiento: filtrado de paso bajo, rectificación y detección de bordes. Procesamiento estéreo: emparejamiento estéreo, validación e interpolación de subpíxeles. No hay postprocesamiento para mantener el tiempo real del dispositivo y la biblioteca. Resaltar que se obtiene un mapa de disparidad y una nube de puntos 3D. Tiempo Real Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Bumblebee XB3 Interfaz de Programación de Triclops Control total: Parámetros. Propiedades. Funciones. Modularidad: Actuación del programador en cualquier instante (mejoras, comprobaciones, etc.). TDAs: No es una biblioteca OO. Flujos de datos. La programación se puede realizar OO. Documentación Código Ejemplos La modularidad permite al programador tomar parte en cualquier parte del proceso. Documentación de todo, código, ejemplos, funcionamiento de la biblioteca y posibles problemas que se pueden producir. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Desarrollo Software Aplicación ¿Qué aplicación se ha llevado a cabo? Se podía haber hecho una app de seguimiento, reconocimiento, etc. ¿Por qué de reconstrucción? Se ha llevado a cabo una aplicación de reconstrucción como aplicación de ejemplo para poner en valor el sistema de visión y la biblioteca asociada a este, usando el recurso generado durante el proyecto, esto es, la extensa documentación. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Desarrollo Software Modelo del Dominio ¿Qué aplicación se ha llevado a cabo? Se podía haber hecho una app de seguimiento, reconocimiento, etc. ¿Por qué de reconstrucción? Se ha llevado a cabo una aplicación de reconstrucción como aplicación de ejemplo para poner en valor el sistema de visión y la biblioteca asociada a este, usando el recurso generado durante el proyecto, esto es, la extensa documentación. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Desarrollo Software Arquitectura del Sistema Arquitectura MVC de la aplicación y genérica para n-sistemas de visión. Dos razones por las que se ha separado el sistema en dos: Porque las funciones de reconstrucción y del sistema de visión son lo suficientemente distintas. Porque se desacoplan las partes y se generaliza el sistema permitiendo la inclusión de nuevos sistemas de visión. De esta forma, la reconstrucción es independiente del sistema de visión, no conoce nada, solo conoce el formato de los puntos que le llegan. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Demo Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Conclusiones Estudio del proceso genérico de la visión estéreo y productos comerciales. Estudio e instalación de Bumblebee XB3. Estudio y documentación de la biblioteca Triclops. Captura de datos con Bumblebee XB3. Desarrollo software de una aplicación de reconstrucción 3D de una escena. Redacción de una memoria. Futuros desarrollos más ambiciosos y que profundicen más el contenido. En este proyecto no se ha podido llevar a cabo, ya que gran parte de este versa sobre el análisis y la documentación del SDK. La profundidad se conserva, es decir, se pueden realizar movimientos sobre el sistema, que la profundidad va a mantener valores similares y relacionados. No va a dar algo sin sentido. Bumblebee XB3 y Triclops son una buena combinación. Precisión en la profundidad de los bordes. La profundidad se conserva. Adaptación en tiempo real. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

Trabajo Futuro Adaptación de los puntos a las superficie reales. Inferencia a un mismo plano. Integrar con otro tipo de información (planos de un edificio, por ejemplo). Coordinar el proceso con otros dispositivos de captura de diferentes características. Georreferenciación de las estaciones desde donde se realizan las capturas. Transformación automática de los puntos en la reconstrucción virtual. Mediante giroscópios y acelerómetros. Técnicas específicas. Eliminación de puntos duplicados al solaparse distintas tomas. Evitar mantener en memoria la ingente cantidad de puntos. Extender la jerarquía de estaciones y tomas a n-niveles. A partir del 4 serían mejoras que poder realizar a la aplicación. Uso Avanzado del Sistema de Visión Estereoscópica Bumblebee XB3 Francisco Javier Carrascosa Malagón

¡GRACIAS!