Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture Robots Humanoides Centro de Automática y Robótica CSIC-UPM Universidad Politécnica de Madrid William CORALMarco Montagni

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.2 Segmentación 2.3 Reconocimiento 2.3 Reconocimiento 2.4 Generación por imitación 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Cognición: hace referencia a la facultad de los animales (incluidos los humanos) de procesar información a partir de la percepción, el conocimiento adquirido (experiencia) y características subjetivas que permiten valorar la información. Investigación en Inteligencia Artificial: La investigación en IA se basa en diseñar y probar algoritmos en un ordenador basado en sistemas artificiales. Ciencia Cognitiva: se basa en las pruebas y los experimentos en animales y humanos para obtener la comprensión y el conocimiento de la cognición Provee fundamentos teóricos y soluciones a los problemas en IA Mejora la investigación y provee posibles direcciones de investigación para la ciencia cognitiva. 3

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Robótica Cognitiva: Generar comportamientos e inteligencias parecidas a las humanas Integra Percepción, Acción, Aprendizaje, Toma de Decisiones y comunicación Limitación Mecanismos, Computación, Arquitectura, etc. Por lo Tanto en el otro lado, los investigadores todavía no obtienen una arquitectura general para generar comportamientos complejos en robots 4

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Se Crean Robots Humanoides Mecanismos Parecidos a Los Humanos Gradualmente Se seleccionan como plataforma para experimentalmente (visualmente), experimentar el diseño conceptual de robótica cognitiva 5

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Aprendizaje por imitación Profesor Humano, muestra secuencia de tarea Secuencia de tarea se aprende usando sensores Robot genera el mismo comportamiento en iguales pero diferentes situaciones para resolver tareas Algoritmos Tratar de entrenar los robots para extraer y aprender la dinámica del movimiento los robots aprenden comportamientos de alto nivel y acciones primitivas por imitación 6

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones ISAC Demostración Bien Mal Logra el objetivo global, pero los objetivos locales no los logra Solución:SEGMENTACION 7

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. ConclusionesSegmentación En primer lugar, el comportamiento basado en el método de control cognitivo provee un método robusto para manipular el objeto y completar una tarea a través del aprendizaje, los métodos basados ​​en comportamiento puede entrenar robots para comprender la situación y la información de las tareas relacionadas en segundo lugar, la segmentación permite un enfoque más sólido para los robots para manejar las tareas completadas. Métodos usados para segmentación: Fuzzy methods, Hidden Markov Model -Detectar los puntos que cambian en una trayectoria. -Segmentación basada en el flujo óptico del medioambiente (Kulic y Nakamura) En este trabajo se propone un método de segmentación cognitiva Arquitecturas Cognitivas SimbólicoConexionista ReactivoHibrido Arquitectura Cognitiva ISAC 8

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Arquitectura Cognitiva ISAC Componentes de Memoria WMS: Memoria de Trabajo del Sistema STM: Memoria sensorial de corto plazo LTM: Memoria de Largo Plazo 9

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones 1.Demostración 2.Segmentación 3.Reconocimiento 10

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones El PA mide el movimiento del brazo derecho usando los encoder dispuestos en el brazo Se graban los movimientos del caballo usando la cámara montada sobre la cabeza de ISAC La información es censada y guardada en STM como una matriz de datos 11

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones El CEA obtiene el método de segmentación de la LTM y los segmentos de la información detectada en el STM Se define el cambio en el mundo de estados, como el cambio del estado del caballo del reposo al movimiento 12

Implementation of a Framework for Imitation Learning on a Humanoid Robot Using a Cognitive Architecture 1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones El CEA obtiene el criterio de reconocimiento de la STM y reconoce el comportamiento en la secuencia de comportamiento segmentadoComportamiento Comportamiento Común Significa que el parámetro puede ser modificado de acuerdo a los limites de tareas diferentes Comportamiento especial Significa que los parámetros permanecen los mismos en diferentes las limites de tareas. 13

1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones El robot obtiene la información del entorno de PA:agente de percepción y los envía a la STM: la memoria a corto plazo sensorial. El CEA: agente central ejecutivo, se analiza la información de la memoria a corto plazo y los envía a la (GA) Agente de Objetivos para generar el objetivo de la tarea. El CEA obtenido por el método de generación MLP: la memoria a largo plazo. En la secuencia de comportamientos, tienen un comportamiento dinámico similar a la recibida por el robot. Genera la secuencia de comportamientos que son enviados a la GA. Luego son enviados a los actuadores para completar la tarea en diferentes situaciones. En los modelos de comportamiento, una LWPR clásico se utiliza para el modelo de la trayectoria. 10 modelos son elegidos por la trayectoria con diferentes parámetros específicos. 14

1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Algoritmo original g: Los objetivos z: Estados internos f: (modelo LWPR) Se calcula mediante el registro de la dinámica de las acciones y: Es la posición estimada mediante ecuaciones diferenciales y: es la generación de la velocidad correspondiente :son constantes. 15

1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Los escenarios propuestos El primer escenario consiste en el movimiento manual del brazo para agarrar el ISAC caballero. En los registros de los movimientos de la segunda ISAC utilizando un codificador y un cuarto en la cabeza. En el ISAC tercera genera comportamientosdiferentes para completar la misión en una situación similar, pero diferente.

1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones 12 Utilizando el método cognitivo propuesto, en la figura se registraron los segmentos de las secuencias de comportamiento: 1 común, 2 especial.

1.Introducción 2.Diseño del sistema 2.1 Aprendiendo desde la demostración 2.2 Segmentación 2.3 Reconocimiento 2.4 Generación por imitación 3. Resultados Experimentales 4. Discusión y trabajos futuros 5. Conclusiones Registro y manejo de rutas La primera, segunda y tercera columna, es la trayectoria de demostración de comportamientos en 1 1. La cuarta columna es la trayectoria de comportamiento procesado 1 el cual será utilizado para la generación de comportamiento futuro.

Generación X Y Z coordenadas Figura de la izquierda: el conocimiento almacenado de comportamiento 1. Muestra el comportamiento generado por ISAC Cuando se le pide alcanzar, agarrar y mover el caballo en el tablero, las coordenadas (450, 215, -530). A la derecha de la generación de las coordenadas "X, Y, Z" del nuevo comportamiento 1. Entender el comportamiento se añade entre 1 y 2 basado en el comportamiento supuesto en la sección 2.2

Discusión y trabajos futuros El propósito de este artículo es demostrar la eficacia de la segmentación de la secuencia del comportamiento cognitivo, a pesar que ISAC no siempre puede tomar el peón. Un trabajo futuro El objetivo a largo plazo es crear un generador de comportamiento robusto que le permita tener una interfaz dinámica humano-robot más seguro e intuitivo de aprendizaje y de adaptación a diferentes situaciones y casos. la transferencia de conocimiento se divide en 2 partes: demostración y observación. Se supone que la transferencia de conocimientos a otro robot. ISAC muestra las secuencias de comportamiento similares a los del ser humano. Motoman comparación con ISAC debe anallizzare la grabación de la habitación y convertir los datos en el espacio de circulación, que es una matriz 4x4 que registra los movimientos del brazo de ISAC en tiempo real. Otra matriz de 4x4 registra las posiciones del caballo en el tablero de ajedrez. Un trabajo futuro consistirá en aplicar nuevas conductas en situaciones similares. el problema existente se relaciona con la estructura cognitiva que se basa en el sistema de visualización que no es muy estable y es a menudo afectada por los problemas del medio ambiente. En el futuro será esta característica la que debe ser mejorado y aplicada. Otra posibilidad para el desarrollo futuro, podría ser el diseño de un método probabilístico de aprendizaje por imitación en la que se pueden tomar decisiones de forma independiente. Usted puede obtener un proceso cognitivo a través de los errores dinámicos de aprendizaje y éxitos, y en el futuro con estos supuestos, es posible que los robots puedan vivir en simbiosis con los seres humanos.

Conclusiones En este artículo se propone una estructura e implementación cognitiva del algoritmo, DMP con el fin de ajustar la generación de un comportamiento similar en las diferentes situaciones mediante el método de imitación. Los datos obtenidos confirman que es un buen método. Este artículo muestra a continuación una posible solución, para poder aplicar en diferentes arquitecturas cognitivas, para la generación de futuros comportamientos cognitivos.

Gracias a todos