La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

1 DISEÑO E IMPLEMENTACIÓN DE UN EQUIPO DE ROBOTS AUTÓNOMOS CON DECISIONES EN TIEMPO REAL: FÚTBOL ROBÓTICO - COMPONENTE INTELIGENTE Carlos Amín Calderón.

Presentaciones similares


Presentación del tema: "1 DISEÑO E IMPLEMENTACIÓN DE UN EQUIPO DE ROBOTS AUTÓNOMOS CON DECISIONES EN TIEMPO REAL: FÚTBOL ROBÓTICO - COMPONENTE INTELIGENTE Carlos Amín Calderón."— Transcripción de la presentación:

1

2 1 DISEÑO E IMPLEMENTACIÓN DE UN EQUIPO DE ROBOTS AUTÓNOMOS CON DECISIONES EN TIEMPO REAL: FÚTBOL ROBÓTICO - COMPONENTE INTELIGENTE Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha César Alberto Villarroel Samaniego Director: Ph.D. Boris Xavier Vintimilla Facultad de Ingeniería en Electricidad y Computación

3 2 Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

4 3 Contenido Introducción y objetivos.

5 4 Introducción

6 5 Objetivos Desarrollo del componente inteligente. Utilizar y reforzar técnicas y métodos existentes. Implementar algoritmos de orientación, definición de trayectorias y métodos de aprendizaje. Incursionar en diversas áreas de investigación.

7 6 Contenido Introducción y objetivos. Motivaciones.

8 7 Motivaciones Plataforma excelente para el estudio y desarrollo de los Sistemas Multiagente. Formar jóvenes investigadores en el campo de la robótica, visión e inteligencia artificial. Resolver problemas de alta complejidad. Pertenecer a una comunidad científica de investigadores a nivel mundial.

9 8 Contenido Introducción y objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup.

10 9 Técnicas de movimiento utilizadas por el equipo FUROEC Ambiente Sensores Efectores Percepciones Acciones Agente

11 10 - Sistemas multiagente homogéneos. -Comunicativos y no comunicativos. - Sistemas multiagente heterogéneos. -Comunicativos y no comunicativos. Técnicas de movimiento utilizadas por el equipo FUROEC Clasificación de los Sistemas Multiagente

12 11 Sistema Multiagente Homogéneo No Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

13 12 Técnicas de movimiento utilizadas por el equipo FUROEC Sistema Multiagente Homogéneo Comunicativo

14 13 Sistema Multiagente Heterogéneo No Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

15 14 Sistema Multiagente Heterogéneo Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

16 15 Clasificación de Sistemas de Fútbol Robótico Sistemas sin inteligenciaSistemas con inteligencia Técnicas de movimiento utilizadas por el equipo FUROEC

17 16 Clasificación de Sistemas de Fútbol Robótico Técnicas de movimiento utilizadas por el equipo FUROEC

18 17 Estrategia general del equipo. Técnicas de movimiento utilizadas por el equipo FUROEC

19 18 Estrategia general del equipo. Técnicas de movimiento utilizadas por el equipo FUROEC

20 19 Algoritmo básico para patear la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

21 20 Algoritmo para salir de los bordes del campo de juego Técnicas de movimiento utilizadas por el equipo FUROEC

22 21 Algoritmo del arquero de acuerdo a la posición de la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

23 22 Algoritmo del arquero de acuerdo a la posición de la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

24 23 Estrategia general del equipo Técnicas de movimiento utilizadas por el equipo FUROEC

25 24 Estrategia general del equipo Técnicas de movimiento utilizadas por el equipo FUROEC

26 25 Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT.

27 26 Cinemática del robot Control de movimiento de los micro-robots en la MIROSOT.

28 27 Parámetros de ubicación del robot Kp:ganancia de realimentación proporcional Kd: ganancia de realimentación derivada del tiempo Control de movimiento de los micro-robots en la MIROSOT.

29 28 Objetivo: Generación de campos potenciales para determinar la posición final y evadir obstáculos en tiempo real. Método de campos potenciales para posicionamiento y orientación del robot Control de movimiento de los micro-robots en la MIROSOT.

30 29 Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de repulsión para evitar obstáculos. Control de movimiento de los micro-robots en la MIROSOT. Implementación del campo potencial de atracción para patear la pelota.

31 30 Implementación del campo potencial de atracción para patear la pelota Campo para una posición g deseada. Control de movimiento de los micro-robots en la MIROSOT.

32 31 Implementación del campo potencial de atracción para patear la pelota Control de movimiento de los micro-robots en la MIROSOT. campo para la posición deseada g.

33 32 Implementación del campo potencial de atracción para patear la pelota Control de movimiento de los micro-robots en la MIROSOT.

34 33 Implementación del campo potencial de atracción para patear la pelota Control de movimiento de los micro-robots en la MIROSOT.

35 34 Control de movimiento de los micro-robots en la MIROSOT. Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de atracción para patear la pelota. Implementación del campo potencial de repulsión para evitar obstáculos.

36 35 Implementación del campo potencial de repulsión para evitar obstáculos Generación del campo univectorial de repulsión para evitar un obstáculo Control de movimiento de los micro-robots en la MIROSOT.

37 36 Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT. Zona del campo univectorial R(p) que permite evitar un obstáculo

38 37 Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT.

39 38 Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT.

40 39 Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT.

41 40 Control de movimiento de los micro-robots en la MIROSOT. Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de atracción para patear la pelota. Implementación del campo potencial de repulsión para evitar obstáculos. Función de predicción para estimar la trayectoria de la pelota.

42 41 Función de predicción para estimar la trayectoria de la pelota (1) Control de movimiento de los micro-robots en la MIROSOT.

43 42 Función de predicción para estimar la trayectoria de la pelota (2) Control de movimiento de los micro-robots en la MIROSOT.

44 43 Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

45 44 Aprendizaje por refuerzo aplicado al fútbol robótico. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aplicación del aprendizaje Q modular.

46 45 Clasificación de Aprendizaje de Maquina Supervisado Es implementado en situaciones donde es posible percibir las entradas y salidas. No Supervisado Es implementado en ambientes donde no se tiene certeza de cuales serán las salidas. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

47 46 Conceptos generales de aprendizaje por refuerzo y aprendizaje Q Aprendizaje por Refuerzo Descripción Modelo de Aprendizaje por Refuerzo Aprendizaje Q Algoritmo de Aprendizaje Q

48 47 Aprendizaje por Refuerzo Descripción Es considerado como un tipo de aprendizaje no supervisado. Hacer que un agente aprenda una conducta a través de iteraciones de pruebas y errores en un ambiente dinámico. Usa las recompensas de una satisfactoria función de agente. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

49 48 Modelo de Aprendizaje por Refuerzo T: F. de Transiciones B: Agente I: F. de Entradas R: F. de Recompensas i: Entrada sensorial s : Estado actual r: Recompensa a: Acción Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

50 49 Aprender una política, que para cada estado, indique cuál es la mejor acción a ejecutar para alcanzar un objetivo dado. El agente aprende una función acción –valor que para cada acción ejecutada en un estado obtiene un valor, llamado valor Q, el cual se guarda en la tabla Q. El valor Q expresa la utilidad esperada al emprender una acción en un estado determinado. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aprendizaje Q

51 50 Para cada par (s, a) inicializar la tabla Q ( s, a ) a [0, 0.02]. Observar el estado actual s. Repetir n veces: Seleccionar una acción a y ejecutarla Recibir el refuerzo inmediato r Observar el nuevo estado s ' Actualizar la entrada de la tabla, Q ( s, a ) con la ecuación: Asignar a s el estado s ' Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Algoritmo de Aprendizaje Q

52 51 Aprendizaje por refuerzo aplicado al fútbol robótico. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aplicación del aprendizaje Q modular.

53 52 Aplicación del aprendizaje Q modular Arquitectura del aprendizaje Q Modular Región de Conflicto. Agentes Individuales y Agentes Acoplados Fases de Aprendizaje Individual y Modular Estados Acciones Resultados del Aprendizaje - fase aprendizaje individual Resultados del Aprendizaje - fase Q modular

54 53 Arquitectura del aprendizaje Q Modular Aplicación del aprendizaje Q modular

55 54 Región de Conflicto Aplicación del aprendizaje Q modular

56 55 Agentes Individuales y Agentes Acoplados Aplicación del aprendizaje Q modular

57 56 Fases de Aprendizaje (1) Existen 2 fases de aprendizaje: Individual y Modular En la fase de aprendizaje individual cada agente explora el ambiente de trabajo para obtener información de los estados, el jugador cambia su acción de forma aleatoria cada vez que se encuentra con la pelota, para actualizar de esta manera la tabla Q con valores reales. Aplicación del aprendizaje Q modular

58 57 Estos valores son usados por el módulo mediador en la fase de aprendizaje modular, para seleccionar la acción que considere más adecuada Fases de Aprendizaje (2) Aplicación del aprendizaje Q modular

59 58 Estados (1) Aplicación del aprendizaje Q modular

60 59 Estados (2) Aplicación del aprendizaje Q modular

61 60 La tabla muestra la lista de acciones que el agente acoplado puede seleccionar en la Región 1. Por ejemplo, si la Acción 0 es seleccionada, el robot_1 será atacante y el robot_2 será defensa. Acciones Aplicación del aprendizaje Q modular

62 61 Resultados del Aprendizaje -fase aprendizaje individual Aplicación del aprendizaje Q modular

63 62 Resultados del Aprendizaje - fase Q modular Aplicación del aprendizaje Q modular

64 63 Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

65 64 Contribuciones Movimiento rápido del robot para patear la pelota. Habilidad mejorada para salir de los bordes de la cancha. Algoritmo optimizado para definir el comportamiento del arquero usando estimación de trayectorias. Especificación de las condiciones para aplicar campos potenciales univectoriales. Aplicación del algoritmo de aprendizaje Q modular. Logros adicionales obtenidos con la ejecución de este proyecto.

66 65 Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

67 66 Futuros Trabajos (1) Aplicar campos potenciales y aprendizaje Q sobre otro tipo de aplicaciones. Futuras implementaciones aplicando nuevas técnicas de Inteligencia Artificial. Aplicar un método de aprendizaje de máquinas que permita seleccionar el camino más óptimo usando la técnica de campos potenciales univectoriales. Diseñar estrategias que definan posiciones, zonas de juego, roles de forma automática utilizando aprendizaje del adversario.

68 67 Futuros Trabajos (2) Construir otro tipo de robots móviles con la capacidad de comunicarse entre sí y con sensores incorporados. Realizar trabajos en otros entornos de fútbol robótico simulado, tales como el software del Soccer Server de la RoboCup o el Java Soccer Server. Aprovechar el fútbol robótico para incentivar a los estudiantes al estudio de disciplinas tales como la inteligencia artificial, visión por computadora, control automático, entre otras. Continuar participando en las futuras competiciones y congresos relacionados con los sistemas multiagente a nivel mundial.

69 68 Publicaciones Survey on Learning in Multi-Agent Systems FIRA Robot World Congress, Seoul, Korea, May Libro de Intelligent Robots: Vision, Learning and Interaction, Sección: Learning for Navigation and Control, Editorial: KAIST Press, año Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Espol Ciencia 2002, Octubre Sistemas multiagente aplicados al fútbol robótico: problemática existente. IV Jornadas Iberoamericanas de Robótica, Seminario 3, Panamá, Enero, Univector Fields for Motion Control in Mirosot Robots. Submitido en el 2003 FIRA Robot World Congress, Austria. Control de Movimiento de los Micro-Robots en la Mirosot. Revista Tecnológica (CICYT), Junio 2003, Vol.16, No. I, Guayaquil - Ecuador.

70 69 Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha César Alberto Villarroel Samaniego ESCUELA SUPERIOR POLITECNICA DEL LITORAL GRACIAS


Descargar ppt "1 DISEÑO E IMPLEMENTACIÓN DE UN EQUIPO DE ROBOTS AUTÓNOMOS CON DECISIONES EN TIEMPO REAL: FÚTBOL ROBÓTICO - COMPONENTE INTELIGENTE Carlos Amín Calderón."

Presentaciones similares


Anuncios Google