L. Enrique Sucar M. López Robótica Inteligente Los robots del futuro: Robots de Servicio.

Presentación del tema: "L. Enrique Sucar M. López Robótica Inteligente Los robots del futuro: Robots de Servicio."— Transcripción de la presentación:

1 L. Enrique Sucar M. López Robótica Inteligente Los robots del futuro: Robots de Servicio

2 Robots de servicio Guías – un robot me sirve de guía en un museo, me explica las exibiciones,... Ayudantes – un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas,... Rescate – un grupo de robots localiza a los sobrevivientes en un terremoto,... Exploración – un grupo de robots explora un volcán, un arrecife, marte,.......

3 De robots industriales a... Tarea repetitiva Ambiente conocido y controlado No hay interacción con personas Poca flexibilidad Poca movilidad

4 ... a robots de servicio Ambientes desconocidos Ambientes dinámicos Necesidad de movilidad Interacción con personas Ambientes exteriores Necesidad de flexibilidad

5 Retos Explorar y modelar el ambiente Navegar en ambientes desonocidos y dinámicos Localizarse en el ambiente Reconocer y manipular objetos Comunicación remota Interacción natural con personas

6 Contenido Telecontrol de robots Construcción de mapas, navegación y localización Comunicación mediante ademanes Algunos retos futuros Reporte y Presentación final

7 Laboratorios Virtuales Un laboratorio virtual permite realizar experimentos sin contar con un laboratorio “físico”: –Simulación –Telecontrol Aplicaciones: –Educación y entrenamiento –Investigación y cooperación –Experimentación a distancia

8 Laboratorio Virtual Telecontrol + Telemetría Simulador Lab. Real

9 Telecontrol Programación y observación remota del equipo Programación: –lenguaje de alto nivel –comandos gráficos interactivos Observación: –retroalimentación (imágenes, video y audio) –medidores virtuales gráficos o textuales

10 Laboratorio Virtual de Robótica Experimentación con robots móviles –programación –planeación de trayectorias –construcción de mapas –localización Laboratorios: –Telecontrol –Simulación

11 Telecontrol

12 El laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot móvil a través de Internet El laboratorio incluye: –Un módulo de programación –Un módulo de observación –Un módulo de seguridad –Servidor e interfaz al cliente

13 Configuración Red local Internet

14 Robot Móvil

15 Sensores: cámara y sonar

16 Arquitectura de Telecontrol

17 Elementos del Laboratorio Remoto Servidor de páginas Web –Conexión con el robot móvil –Conexión con el sistema de video para observación –Conexión con el cliente Sistema de visualización del experimento –Vista del robot y su ambiente mediante video Sistema de programación –Ambiente para edición y envio de comandos

18 Módulo de Programación

19 Basado en un lenguaje de diez instrucciones: –avanza –alto –desplaza_derecha –desplaza_izquierda –gira_derecha –gira_izquierda –gira_torreta_derecha –gira_torreta_izquierda –inicio, fin

20 Módulo de Navegación Interpreta los valores obtenidos en el Módulo de Programación y los traduce a instrucciones ejecutables en el robot Envia las instrucciones para su ejecución en el robot Al terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia

21 Módulo de Seguridad Vigila la integridad del robot Se toman continuamente lecturas de los sonares Se establece una zona de seguridad en torno del robot El modulo de Seguridad es independiente del modulo de navegación y puede detener las acciones que realiza el módulo de navegación

22 Arquitectura Robot Seguridad Navegación Observación

23 Arquitectura Jerárquica

24 Módulo de Visualización Captura de video para visualización remota del experimento. Dos cámaras: –Vista externa del robot y su ambiente –Vista interna desde el robot Compresión de imágenes (JPEG) Envio al cliente en forma continua a través del servidor

25 Ejemplo de Programación

26 Telecontrol http://o2-2.mor.itesm.mx/marco/telecontrol/telecontrol.html Encargado: mtlopez@campus.mor.itesm.mxmtlopez@campus.mor.itesm.mx

27 Construcción de Mapas

28 El problema de construir un mapa Mapa

29 Mapa de Rejilla Probabilístico Cada celda tiene asociada una probabilidad de estar ocupada

30 Enfoque: Construcción de mapas

31 Construcción de mapas Sonares láser mapa " ¿Cómo combinar las lecturas de los sensores? " ¿Hacia dónde mover el robot? " ¿Cómo corregir los errores odométricos?

32 Componente de Fusión sensorial Idea: Una celda es considerada ocupada si es detectada al menos por un sensor P(O) = P(O sonar ORO láser ORO odómetro ) *

33 Componente de Exploración Idea: Mover el robot hacia la celda inexplorada más cercana " Manteniendo una distancia prudente a los obstáculos (si es posible) " Evitando cambios de orientación (si es posible) Posibles movimientos: Mov = {m 0,... m i,..., m 7 } m i =(dx, dy)

34 El costo por avanzar incluye: " Distancia entre celdas " Costo de la celda destino de acuerdo a su tipo Celdas ocupadas Celdas de advertencia Celdas de viaje Celdas lejanas Espacio de viaje

35 Componente de Seguimiento de la ubicación Idea:Para pequeños desplazamientos del robot, la vista láser del robot y una vista láser calculada a partir del mapa son similares Vista del mapa Vista del láser después del movimiento

36 Utilizando correlación entre vistas Estimación de orientation (  : Correlación polar entre la vista láser y la vista del mapa. Estimación desplazamiento (x,y): Búsqueda en una vecindad alrededor de la posición dada por el odómetro.

37 Fusión sensorial: simulación Ambiente simulado Mapa

38 Fusión Sensorial: robot real

39 Dibujo ideal de una casa Mapa construido

40 Construyendo un mapa Videos

41 Navegación

42 " Uso de la misma técnica de programación dinámica. " Sólo la celda meta tiene al inicio V(x,y)=0. " Preprocesamiento del espacio de viaje para formar un mapa de caminos (roadmap). Roadmap

43 Construcción del roadmap Espacio de viajeRoadmap parcialRoadmap

44 Navegación Para considerar la incertidumbre en la posición del robot " Se hace crecer el roadmap. Para conectar las celdas iniciales y finales " Se utilizan círculos. V(x,y) (pixel oscuros denotan valores altos) G I

45 Localización Global

46 Localización de Markov Idea: Calcular una distribución de probabilidad Bel(q) para la ubicación del robot sobre todas las ubicaciones posibles q ( )

47 Localización de Markov : paso de sensado

48 Localización de Markov: paso de movimiento

49 Correlación polar: mapa – vista actual Mapa global Vista del mapa, m(q) Vista sensada, s

50 Agrupando las celdas del roadmap " Se utiliza un método de Componentes Principales para encontrar características invariantes a rotación de una vista. " Se utiliza Autoclass [Cheeseman and Stutz, 1996] para agrupar las celdas del roadmap

51 Grupos encontrados por Autoclass 0 1 2 1 0

52 Generación de hipótesis 1. Calcular 1 and  de la vista sensada. 2. Con 1 y , usar Autoclass para predecir la clase (o clases) más probable. 3. Para todas las celdas en la clase predicha, aplicar el paso de sensado de la LM y alinear el robot considerando la ubicación más probable.

53 Un ejemplo

54 El enfoque propuesto: Etapa de eliminación de hipótesis " Considera movimientos de la ubicación más probable q hacia celdas del roadmap delgado " Agrupar hipótesis. Los mejores movimientos eliminan al menos un grupo de hipótesis (se usa nuevamente Autoclass para obtener los grupos).

55 Criterio de predicción por salida del roadmap Movimiento útilMovimiento no útil

56 Matriz de similaridad Utilizando correlación entre vistas láser

57 Generación de hipótesis: Agrupación de celdas del roadmap Roadmap 4 clases

58 Localización: matriz de similaridad

59 Proceso de localización global

60 Localizando al robot Video

61 Comunicación mediante ademanes

62 Ademanes Útiles para la comunicación humano-robot Comunicar información geométrica –Ve para allá –Toma ese objeto –Qué es eso? Complemento a la voz –Para! –Ven!

63 Ademanes

64 Ven Atención Derecha Izquierda Alto

65 Reconocomiento de ademanes Extracción de características Modelado Reconocimiento Images FE Features R M Gestures

66 Extracción de características Detección de piel Segmentación de la cara y manos Seguimiento de la mano Parámetros de movimiento

67 Detección de Piel

68 Segmentación Búsqueda radial Agrupamiento de pixels de piel

69 Seguimiento Localiza cara y mano Seguimiento de la mano

70 Parámetros –Cambio en X (  X) –Cambio en Y (  Y) –Cambio en área (  A) –Cambio en razón de lados (  R) Valores: (+, 0, -) X1,Y,1 X2,Y2 A1 A2

71 Reconocimiento Basado en modelos ocultos de Markov (HMM) Un modelo por ademán: –3 estados: gestos “simples” –5 estados: gestos “complejos”

72 Resultados preliminares Los modelos son entrenados con diferentes secuencias y probados con otras Reconocimientos correctos: –ven75.3 % –atención70.7% –alto65.8 % –derecha100 % –izquierda100 % –Promedio:82%

73 Ejemplos de comandos

74

75 Retos futuros Integración de comandos mediante ademanes con el sistema de telecontrol Añadir un ayudante (tutor inteligente) al laboratorio virtual Extender el lenguaje de ademanes y mejorar el reconocimientob

76 Retos futuros Combinar reconocimieno de voz y ademanes para interacción con robot Planeación a un nivel más alto, incluyendo “semántica” al mapa Integrar navegación y comunicación Aplicación a un robot de servicio (guía en la universidad o un museo)

77 Reporte Introducción Diseño mecánico (comunicaciones) Diseño sensorial (visión) Algoritmos de control Programación (estrategias, arquitectura) Pruebas y Resultados Conclusiones Referencias

78 Presentación Presentar en 10 minutos los aspectos más relevantes de su proyecto (en equipo) Demostración de su robot realizando su tarea (5 min. – máximo 3 intentos) Entregar: –Reporte impreso –CD con reporte, presentación, programas (fotos y videos) –ES REQUISITO ENTREGAR LO ANTERIOR PARA PODER HACER SU PRESENTACIÓN FINAL