U.A.V : Unmanned Aerial Vehicle NAVEGACION DE VEHICULOS U.A.V. EN ENTORNOS URBANOS COMBINANDO FLUJO OPTICO Y VISION ESTEREO U.A.V : Unmanned Aerial Vehicle Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

INDICE (I) Introducción Control basado en Flujo Optico Control basado en Estéreo Control combinando Flujo Optico y Estéreo Control del Helicóptero “Versus” Control del Tractor Configuración de Pruebas: Robot Terrestre Robot Aéreo Entorno de Pruebas Entorno Terrestre Entorno Aéreo Resultados Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

INDICE (II) Flujo Optico y Estéreo con solo dos cámaras ”Fisheye” Conclusiones. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

1. Introducción Navegación U.A.V. (Unmanned Aereal Vehicle) Común: Generalmente vuelos en Altitud. Espacios abiertos. Ausencia de obstáculos. Navegación U.A.V. en Entornos Urbanos: Vuelos a baja Altitud Espacios semiabiertos: calles con edificios (sin salida, cruces en T, etc..) Necesidad de evitar Obstáculos (Laterales y Frontales) Mecanismo utilizados para evitar obstáculos: Mecanismo Combinado entre: Flujo Óptico: Mantener el U.A.V. a igual distancia entre paredes (evitando obstáculos laterales). Visión Estéreo: Evitar obstáculos frontales. (Muy utilizado en Robot Terrestres) Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

2. Control basado en Flujo Optico (I) Flujo Optico: Movimiento aparente de ciertas características en el campo de visión de un observador móvil. v = Velocidad Lineal ω = Velocidad Angular d = Distancia al Objeto θ = Angulo * Movimiento Rectilíneo => w = 0 y v=cte => FLUJO = (v/d) Sin (θ) Flujo máximo => dmin y θ Perpendicular a v Si obtenemos el Flujo y el calculamos el angulo y conocemos la velocidad (v) podemos calcular la distancia (d) Flujo de Traslación Flujo de Rotación F = - ω + (v/d) sin (θ) Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

2. Control basado en Flujo Optico (II) * Movimiento Curvo => w = cte y v=cte => FLUJO = - w + (v/d) Sin (θ) Si conocemos el Flujo rotacional (w): Mediante un giroscopio acoplado a la maquina, U obteniéndolo para porciones de imágenes cercanas a θ = 0 º y sabemos la velocidad (v) también podremos calcular la distancia (d) Método de Navegación con Flujo óptico: Basado en el movimiento biológico de las moscas cuando vuelan que minimizan del tiempo de movimiento curvo o rotacional (Giran las cabezas lo más rápidamente posible para afrontar la nueva dirección y con posterioridad el tórax) Mientras UAV vuela recto, graba el flujo. Cuando tiene que girar, UAV se para y deja de grabar el flujo mientras gira. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

2. Control basado en Flujo Optico (III) Captura del Flujo Optico: SENSORES: Cámaras panorámicas (Fish-eyed) UBICACIÓN SENSORES: Opuestas entre si, a 90º y 270º de la dirección del movimiento. Mecanismo para evitar obstáculos. Ejemplo: Flujo Optico en imágenes entre las dos cámaras “Fish-eye” (la cámara de la izquierda recoge mayor flujo óptico => el robot se encuentra más cercano a la pared izquierda, tal y como se aprecia en la imagen) Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

3. Control basado Estéreo (I) Visión Estereo: Mediante el sistema SVS (Small Vision System) con los datos obtenidos por cada cámara, se generan datos 3D, que son tratadas en tiempo real. Captura de datos: SENSORES: Cámaras convencionales UBICACIÓN SENSORES: Paralelas y en el mismo sentido al movimiento. (como los ojos humanos) Mecanismo para evitar obstáculos: Para cada imagen de la cámara, se genera una imagen 3D (disparity image) sobre la que se aplica un “Umbral de Giro”. Todos los puntos incluidos dentro de este “Umbral” se proyectan sobre una imagen 2D, que es a su vez aumentada. Sobre esta nueva imagen, se selecciona la región con los valores más altos por encima del umbral. En esta región es sobre la que se toma la decisión de giro, en alguna de estas dos formas: Si se sobrepasa el “Umbral de Parada”, el robot para y rectifica la posición Si no se sobrepasa el “Umbral del Parada” el robot realiza una operación de giro mientras avanza. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

3. Control basado Estéreo (II) Ejemplo: Obstáculos detectados sobre la cámara izquierda del robot. Imagen Estéreo Capturada Imagen Calculada 3D Imagen 2D de la región con Umbral de Giro Los bidones de la izquierda son detectados como los obstáculos más cercanos y más grandes. Dado que se encuentra en la cámara izquierda, dentro del umbral del giro y fuera del de parada, Se realiza un giro a la derecha. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

4. Control Combinado Flujo Optico y Estéreo (I) Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

4. Control Combinado Flujo Optico y Estéreo (II) Caracteristicas: Flujo Optico se utiliza para básicamente para mantener centrado el robot y no acercarse a los laterales de la calle. Visión Estéreo se utiliza básicamente para evitar los obstáculos frontales. Ambos sistemas se ejecutan en Paralelo Cada sistema genera un comando de giro. Solo uno de esos comandos será el utilizado para controlar el robot. Comandos de Visión Estéreo tienen prioridad frente a los de Flujo Optico: Es más probable colisionar con obstáculos frontales que laterales. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

5. Control Helicóptero “versus” Control Tractor Seis Grados de Libertad Frente a una orden de parada (Umbral de Stop), necesita un solo movimiento (es capaz de girar sobre el sitio). Tractor: Dos o tres Grados de Libertad Frente a una orden de parada (Umbral de Stop), necesita dos movimientos más: Orden de retroceso Orden de Giro Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

6. Configuración de Pruebas (I) Robot Terrestre (CSIRO): Cortacesped adaptado Sistema Estéreo: Dos cámaras frontales Videre Design (STH-MDCS-C) distanciadas entre si 90 mm Sistema de Flujo Optico: Dos cámaras laterales “Fish - eye” panorámicas Omnitech de 190 º montadas a una altura de 170 cm del nivel del suelo. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

6. Configuración de Pruebas (II) Robot Aéreo (AVATAR): Helicoptero autónomo con dos ordenadores montados. Sistema Estéreo: Dos cámaras frontales. Sistema de Flujo Optico: Dos cámaras laterales “Fish-eye”. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

7. Entorno de Pruebas (I) Entorno Terrestre (CSIRO): Objetivo de las pruebas: Verificar si es beneficioso utilizar Visión Estéreo y Flujo Optico conjuntamente para Navegar por entornos urbanos. Escenarios: Calle Recta Calle en “L” (giro de 90º) Calle en “T”. Características de los escenarios: Ancho de Calles: Entre 5,5 y 8 m. Largo de Calles: Alrededor de 25 m. Velocidad Media del Robot: 0.5 m/s. Posición Inicial del Robot: Orientado hacia uno de los muros laterales para la navegación no fuese simplemente recta Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

7. Entorno de Pruebas (II) Robot Aéreo (AVATAR): Objetivo de las pruebas: Verificar si es el Flujo Optico puede ser utilizado para dirigir de U.A.V a través obstáculos laterales como los muros de una calle. Escenarios: 1.- Campo abierto limitado por árboles altos a uno de los laterales 2.- Calle de entrenamiento de un centro de búsqueda y rescate limitada por una torre alta y un viejo vagón de transporte Posición Inicial del Robot: Escenario 1: Paralelo a las filas de árboles para ver si el flujo resultante se alejaría de los árboles Escenario 2: Paralelo los limites (torre y vagón) ver si es capaz de navegar balanceando los flujos Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

8. Resultados. Entorno Terrestre (I) CSIRO en Calle Recta Estéreo TRAYECTORIA EN ZIG-ZAG: Como el robot no gira hasta que no detecta el muro, cuando lo hacer rectifica su rumbo hacia el centro para de nuevo rebotar en el otro muro.. Flujo Optico y Estéreo. TRAYECTORIA SUAVE: El robot va guiado por el centro de la calle. Poco a poco se va centrando en el medio de la calle. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

8. Resultados. Entorno Terrestre (II) CSIRO en Calle en “L” Flujo Optico El robot al llegar a la esquina debe comenzar la operación de giro, aunque no lo hace lo suficientemente rápido, llegando a colisionar Estéreo El robot detecta el muro lejano, logrando evitar el obstáculo. En algunos casos gira a la izquierda, quedando atrapado en la esquina. Flujo Optico y Estéreo. El robot al realizar el giro se ve compensado por el Flujo Optico. realizando el giro correctamente Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

8. Resultados. Entorno Terrestre (III) CSIRO en Calle en “L” Flujo Optico y Estéreo. Mecanismo de Compensacion: Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

8. Resultados. Entorno Terrestre (IV) CSIRO en Calle en “T” Estéreo El robot detecta el muro lejano, logrando evitar el obstáculo. En algunos casos gira un lado u otro. (se realizan operaciones de parada y retroceso, ya que se Alcanza en todos los casos el Unbral de stop. Flujo Optico y Estéreo. El robot al realizar el giro se ve compensado por el Flujo Optico. realizando el giro correctamente (en algunas ocasiones llega al umbral de stop, pero no todas, gracias a que el flujo optico inter- viene antes de que se detecte estéreo detecte el muro. Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

8. Resultados. Entorno Terrestre (V) CSIRO: Resumen . EL NUMERO DE PRUEBAS SUPERADAS ES DEL 100% CON NAVEGACION COMBINADA Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

8. Resultados. Entorno Aéreo AVATAR en campo abierto al lado de los árboles. Flujo Optico: El l robot cuando detecta los árboles gira a la derecha para compensar el flujo. ESTA PRUEBA CONCLUYÓ CON ÉXITO EL 62 % DE LOS CASOS (5/8) (Para los 3 casos fallidos, nunca se fue hacia los árboles) AVATAR entre torre y vagón Flujo Optico Mientras el Robot se aproximaba a la torre el balanceo del flujo lo hacia girar al mismo hacia el otro lado. Se generó un cierto movimiento en zig-zag, ESTA PRUEBA CONCLUYÓ CON ÉXITO UNA SOLA VEZ (El resto de los casos fueron abortadas por acercarse peligrosamente a los objetos) Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

9. Estéreo y Flujo Optico con 2 cámaras. La combinación de los dos métodos requiere 4 cámaras. La capacidad de carga es un aspecto a tener en cuenta. MEJORA: Utilización de 2 Cámaras (Fish-eye) con lentes panoramicas de 190º apuntando hacia delante y utilizarla para ambos métodos. PARTE CENTRAL DE IMAGEN: ésta es similar al de una lente estándar. Se utiliza para Estéreo PARTE LATERAL DE IMAGEN: ésta se encuentra distorsionada. Utilizada para Flujo Optico. (esta distorsión supone dificultad añadida) LAS PRUEBAS REALIZADAS EN CALLE RECTA CONCLUYERON CON ÉXITO EL 80% DE LOS CASOS (4/5) Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo

9. CONCLUSIONES La combinación de Flujo Optico y Estéreo como método para la navegación de Robots Terrestres (entornos urbanos), incrementa capacidad de navegar con éxito con respecto a los mismos métodos por separado. Flujo Optico: Utilizado para evitar obstáculos laterales centrando el robot en su camino. Estereo: Utilizado para evitar obstáculos frontales. Los resultados preliminares en Robots Aéreos, muestran que potencialmente prodrían ser utilizados combinando estos dos métodos de navegación, utilizando incluso un solo par de cámaras. Demostración de UAV con Flujo Optico: http://www.youtube.com/watch?v=WB80l5UwR3U Link de Interes: http://www.et.byu.edu/groups/magicc/cmsmadesimple/index.php?page=general_information Navegacion de vehiculos UAV en entornos urbanos semierrados combinando Flujo Optico y Visión Estéreo