Robótica y Redes Neuronales HITL HITL HITL Robótica y Redes Neuronales Laboratorio de Bio-Robótica Dr. Jesús Savage Carmona Facultad de Ingeniería (2017) biorobotics.fi-p.unam.mx 1 1

CONTENIDO Introducción HITL HITL HITL CONTENIDO Introducción Sistema para Operar Robots Móviles (ViRbot) en una Casa Inteligente Videos 2 2

ROBOTS DE SERVICIO HITL HITL HITL A Robot in Every Home: Overview/The Robotic Future. Bill Gates, Scientific American (2007) 3 3

Sistema para operar robots reales y virtuales, ViRBot HITL HITL HITL Sistema para operar robots reales y virtuales, ViRBot 4 4

CAPA DE ENTRADA SENSORES INTERNOS HITL HITL HITL CAPA DE ENTRADA SENSORES INTERNOS Encoders en las ruedas, sensor de carga de la batería, sensor de inclinación, sensor de temperatura, etc. SENSORES EXTERNOS MONTADOS EN EL ROBOT De contacto, infrarrojos, cámaras, micrófonos, laser, sonares, Kinect, etc. SENSORES EXTERNOS COLOCADOS EN LA CASA De movimiento, luminosidad, sonido, cámaras, micrófonos, magnéticos, humo, etc. 5 5

CAPA DE ENTRADA EL AMBIENTE VIRTUAL HITL HITL HITL CAPA DE ENTRADA SIMULACIÓN DE ROBOTS EN AMBIENTES VIRTUALES USANDO RVIZ y GAZIBO CON ROS Los algoritmos que el robot ejecutará se pueden probar primero en un simulador. 6 6 EL AMBIENTE VIRTUAL El ambiente virtual se visualiza por un motor de 3D llamado ROC2.

INTERPRETACIÓN / REPRESENTACIÓN SIMBÓLICA HITL HITL HITL CAPA DE ENTRADA INTERPRETACIÓN / REPRESENTACIÓN SIMBÓLICA Con los datos proporcionados por los sensores externos e internos se obtiene una representación simbólica, la cual es obtenida utilizando técnicas de Procesamiento Digital de Señales. 7 7

CAPA DE ENTRADA Sistema de visión HITL HITL HITL CAPA DE ENTRADA Sistema de visión Para el reconocimiento de objetos se usa un sistema que sea robusto a oclusiones parciales, escala y rotación y que permita movimientos normales de los objetos y de la cámara 8 8

Descripción visual Detección Descripción Almacenamiento HITL HITL HITL 9 9

HITL HITL HITL Localización visual 10 10

Se utiliza un filtro de Kalman o UKF (Unscented HITL HITL Se utiliza un filtro de Kalman o UKF (Unscented Kalman Filter) que estima la posición y la escala del objeto • Buenos resultados con respecto a la velocidad del algoritmo, detección, seguimiento y recuperación del sistema, aun cuando existan oclusiones totales del objeto 11

CAPA DE ENTRADA INTERFAZ HUMANO/ROBOT HITL HITL HITL CAPA DE ENTRADA INTERFAZ HUMANO/ROBOT La comunicación entre el usuario y el robot puede ser por medio de la voz y gestos manuales. El robot responde usando voz sintética y expresiones faciales simples. 12 12

INTERFAZ HUMANO/ROBOT HITL HITL HITL INTERFAZ HUMANO/ROBOT Voz Procesamiento Digital de Señales Reconocimiento de Palabras Técnicas Lenguaje Natural Percepción 13 13

INTERFAZ HUMANO/ROBOT HITL HITL HITL INTERFAZ HUMANO/ROBOT Ejemplo: * “Robot, dale el periódico al Papá” * “Por favor, traeme el periódico que esta allá” (el Papá está dando la orden al robot) Ambas frases son representadas usando la siguiente primitiva de Dependencia Conceptual: (ATRANS (ACTOR Robot) (OBJECT periódico) (TO Papá) (FROM lugar_periódico)) 14 14

HITL HITL HITL Detección de Gestos 15 15

HITL HITL HITL CAPA DE ENTRADA SENSORES DE LA CASA CONECTADOS A LA NUBE DE INTERNET Estos sensores se conectan por medio de radio a un concentrador (HUB), el cual envía datos de éstos a un servidor por medio de internet. Estos datos pueden ser consultados y analizados en forma remota por medio de aplicaciones en tabletas y teléfonos inteligentes. Estas aplicaciones proporcionan información al sistema ViRbot para que el robot pueda tomar decisiones apropiadas. KIT SMARTTHINGS CÁMARAS DLINK 16 16

Correo electrónico enviado por el servidor de Dlink HITL HITL HITL CAPA DE ENTRADA SENSORES DE LA CASA CONECTADOS A LA NUBE DE INTERNET Correo electrónico enviado por el servidor de Dlink To: Jesus Savage <robotssavage@gmail.com> Wed, Aug 10, 2016 at 7:05 PM Notifications sent by mydlink+ mydlink+Camera4-DCS-932L has detected a motion. 2016-08-10 18:38:55 CDT 31570110 Notificaciones del servidor de SmartThings enviada a un teléfono inteligente 08-10 18:37:28 SmartThingsThere is motion in the Corridor at Home San Miguel Xicalco 17 17

CAPA DE ENTRADA SENSORES DE LA CASA CONECTADOS A LA NUBE DE INTERNET HITL HITL HITL CAPA DE ENTRADA SENSORES DE LA CASA CONECTADOS A LA NUBE DE INTERNET 18 18

CAPA DE ENTRADA SENSORES DE LA CASA CONECTADOS A LA NUBE DE INTERNET HITL CAPA DE ENTRADA SENSORES DE LA CASA CONECTADOS A LA NUBE DE INTERNET

HITL HITL HITL Cadenas de Markov Ocultas (HMM) para el Reconocimiento de Actividades Humanas 20 20

CAPA DE ENTRADA TAREAS DEL ROBOT HITL HITL HITL CAPA DE ENTRADA TAREAS DEL ROBOT Un conjunto de tareas que el robot necesita realizar en el tiempo que fueron programadas. 21 21

CAPA DE ENTRADA PERCEPCIÓN HITL HITL HITL CAPA DE ENTRADA PERCEPCIÓN El módulo de percepción obtiene una representación simbólica de los datos que vienen de los subsistemas: Tareas del Robot, Interfase Hombre-Robot y los Sensores Internos y Externos. Con la representación simbólica se genera una o una serie de creencias. 22 22

HITL HITL HITL PERCEPCIÓN Ejemplo: En la figura siguiente, la representación simbólica genera las creencias “hay un agujero delante del robot” o “hay una sombra delante del robot” 23 23

CAPA DE PLANEACIÓN Validación de Situaciones HITL HITL HITL CAPA DE PLANEACIÓN Validación de Situaciones Este subsistema valida la creencia generada por la percepción con la capa de manejo de información. Así, se reconoce una situación nueva en el medio ambiente. 24 24

CARTÓGRAFO CAPA DE MANEJO DE INFORMACIÓN HITL CAPA DE MANEJO DE INFORMACIÓN CARTÓGRAFO Este modulo contiene diferente tipo de mapas que representan el medio ambiente: * Crudo (obtenido directamente por los sensores, sonares y laseres, del robot) * Simbólico * Topológico * Probabilistico HITL HITL 25 25

APRENDIZAJE CAPA DE MANEJO DE INFORMACIÓN HITL HITL HITL CAPA DE MANEJO DE INFORMACIÓN APRENDIZAJE El sistema puede aprender a resolver problemas nuevos usando: Algoritmos genéticos y programación genética Métodos probabilísticos: cadenas de Markov Cuantización Vectorial Redes neuronales artificiales 26 26

CAPA DE MANEJO DE INFORMACIÓN HITL HITL HITL CAPA DE MANEJO DE INFORMACIÓN MODELO DEL MUNDO Se tiene una representación de los objetos, personas y lugares en donde el robot interacciona y las relaciones que existen entre ellos. REPRESENTACIÓN DEL CONOCIMIENTO Usando un sistema basado en reglas, CLIPS (NASA), se representa el conocimiento del robot. El conocimiento se representa por reglas de producción, las cuales corresponden a las acciones que el agente haría si se reúnen ciertas condiciones. 27 27

REPRESENTACIÓN DEL CONOCIMIENTO HITL HITL HITL REPRESENTACIÓN DEL CONOCIMIENTO Para el ejemplo anterior la siguiente regla sería activada: Regla Sombra { Si hay árboles alrededor del camino del robot y es un día claro entonces habrá una sombra en el camino. } 28 28

CAPA DE PLANEACIÓN Validación de Situaciones HITL HITL HITL CAPA DE PLANEACIÓN Validación de Situaciones En el ejemplo anterior, el cartógrafo no reporta un hoyo en el área enfrente del robot y la representación del conocimiento reporta una sombra. Entonces con estos hechos la situación nueva es que no hay peligro y que el robot deberá continuar hacia su destino. 29 29

CAPA DE PLANEACIÓN ACTIVACIÓN METAS HITL HITL HITL CAPA DE PLANEACIÓN ACTIVACIÓN METAS Dado el reconocimiento de una situación nueva, un grupo de metas se activa. 30 30

HITL HITL HITL CAPA DE PLANEACIÓN El planeador intenta alcanzar cada una de las metas seleccionando un conjunto de funciones del banco de procedimientos. Escoge el mejor plan de acciones que resuelve cada una de las metas y los reúne. Se cuenta con dos tipos de planeadores: Acciones y Movimientos. 31 31

HITL HITL HITL PLANEADOR DE ACCIONES Se utiliza una máquina de inferencias (rule base system) que realiza búsquedas de en una representación espacio estado. 32 32

Planeador de Movimientos HITL HITL HITL Planeador de Movimientos Se usan técnicas de IA para encontrar las mejores rutas Camino Global Camino Local 33 33

CAPA DE PLANEACIÓN Reconocedor de Excepciones HITL HITL HITL CAPA DE PLANEACIÓN Reconocedor de Excepciones Si durante la execución de un plan suceden cosas inesperadas y el plan necesitaria ser modificado este modulo ofrece esta capacidad. 34 34

CAPA DE EJECUCIÓN EJECUTOR HITL HITL HITL CAPA DE EJECUCIÓN EJECUTOR EL ejecutor trata de llevar a cabo los planes de acciones y movimientos utilizando procedimientos que resuelven parcialmente problemas específicos. 35 35

CAPA DE EJECUCIÓN Banco de Procedimientos ACTIVACIÓN METAS HITL HITL HITL CAPA DE EJECUCIÓN Banco de Procedimientos Están representados usando máquinas de estados. Procedimientos para tomar objetos, limpiar mesas, encontrar humanos, aliniarse a una pared o muebles, etc 36 36 ACTIVACIÓN METAS Dado el reconocimiento de una situación nueva un grupo de metas se activa. Banco de Procedimientos Un conjunto de procedimientos que resuelven, parcialmente, problemas específicos. Hay procedimientos para movimientos, la transferencia de objetos, etc.

CAPA DE EJECUCIÓN SUPERVISOR HITL HITL HITL CAPA DE EJECUCIÓN SUPERVISOR EL supervisor recibe una copia del plan que tiene que realizar el Ejecutor y supervisa que éste se lleve a cabo, en tiempo y forma. 37 37

Comportamientos de Reacción HITL HITL HITL CAPA DE EJECUCIÓN Comportamientos de Reacción Este subsistema evita obstáculos desconocidos no contemplados por el planeador de movimientos. 38 38

Comportamientos de Reacción HITL HITL HITL Comportamientos de Reacción Los comportamientos pueden ser máquinas de estados, campos potenciales, redes neuronales, etc. Máquinas de estados. 39 39

Comportamientos de Reacción HITL HITL HITL Comportamientos de Reacción . Campos potenciales atractivos y repulsivos 40 40

Comportamientos de Reacción Redes Neuronales HITL HITL HITL Comportamientos de Reacción Redes Neuronales 41 41

Comportamientos de Reacción HITL HITL Comportamientos de Reacción 42

CAPA DE EJECUCIÓN ALGORITMOS DE CONTROL HITL HITL CAPA DE EJECUCIÓN ALGORITMOS DE CONTROL Los algoritmos de control son usados para controlar el funcionamiento de los actuadores virtuales o reales PID Control h[t]  Vi(t) y(t) + - 43

HITL HITL Robots Robot Virtual TX8 Robots TX8 y TPR8 44

HITL HITL Robots Robot PAC-ITO Robot AL-ITA Robot JUST-INA 45

Hardware Cabeza mecatrónica (Cabeceo y paneo) Kinect Cámara Microfono HITL HITL Hardware Cabeza mecatrónica (Cabeceo y paneo) Kinect Cámara Microfono Torso (Elevación y paneo) Laser Hokuyo Brazos (7 DoF) Base Móvil 46

Cabeza Paneo (rango π [rad]) Cabezeo (rango π/2 [rad]) HITL HITL Cabeza Paneo (rango π [rad]) Cabezeo (rango π/2 [rad]) Servos Dynamixel Control programado en alto nivel Sensores dispuestos acorde con la forma humana 47

Torso Torso mecatrónico HITL HITL Torso Torso mecatrónico Mecanismo de contrapeso para eficiencia energética Elevación (rango 0.7 [m]) Paneo (rango 2π [rad]) Cadena portacables 48

Brazos 7 grados de libertad 10 servomotores Dynamixel en cada brazo HITL HITL Brazos 7 grados de libertad 10 servomotores Dynamixel en cada brazo Control de los servos utilizando tarjeta Robotis (ARM) Cinematica inversa utilizando programacion de alto nivel C# 49

Base Móvil Configuración Par Diferencial Estructura de aluminio HITL HITL Base Móvil Configuración Par Diferencial Estructura de aluminio Baterías de acido- plomo (6V y 12V en serie) Encoder de Cuadratura (8000 pulsos/revolució) 50

HITL HITL Blackboard 51

HITL HITL BLACKBOARD-ROS BLK ROS node Blackboard Module ROS 52 52

HITL HITL Videos 53

Robótica y Redes Neuronales HITL HITL HITL Robótica y Redes Neuronales Laboratorio de Bio-robótica biorobotics.fi-p.unam.mx Facultad de Ingeniería UNAM (2017) 54 54