Director: Ph.D. Boris Xavier Vintimilla

Presentación del tema: "Director: Ph.D. Boris Xavier Vintimilla"— Transcripción de la presentación:

1 Director: Ph.D. Boris Xavier Vintimilla
“DISEÑO E IMPLEMENTACIÓN DE UN EQUIPO DE ROBOTS AUTÓNOMOS CON DECISIONES EN TIEMPO REAL: FÚTBOL ROBÓTICO - COMPONENTE INTELIGENTE” Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha César Alberto Villarroel Samaniego Director: Ph.D. Boris Xavier Vintimilla Facultad de Ingeniería en Electricidad y Computación

2 Contenido Introducción y Objetivos. Motivaciones.
Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

3 Contenido Introducción y objetivos.

4 Componente Electromecánico
Introducción Módulo Radio Frecuencia Componente de Visión Robots: Componente Electromecánico Componente Inteligente

5 Objetivos Desarrollo del componente inteligente.
Utilizar y reforzar técnicas y métodos existentes. Implementar algoritmos de orientación, definición de trayectorias y métodos de aprendizaje. Incursionar en diversas áreas de investigación.

6 Contenido Introducción y objetivos. Motivaciones.

7 Motivaciones Plataforma excelente para el estudio y desarrollo de los Sistemas Multiagente. Formar jóvenes investigadores en el campo de la robótica, visión e inteligencia artificial. Resolver problemas de alta complejidad. Pertenecer a una comunidad científica de investigadores a nivel mundial.

8 Contenido Introducción y objetivos. Motivaciones.
Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup.

9 Técnicas de movimiento utilizadas por el equipo FUROEC
Agente Ambiente Sensores Efectores Percepciones Acciones Técnicas de movimiento utilizadas por el equipo FUROEC

10 Clasificación de los Sistemas Multiagente
- Sistemas multiagente homogéneos. -Comunicativos y no comunicativos. - Sistemas multiagente heterogéneos. Técnicas de movimiento utilizadas por el equipo FUROEC

11 Técnicas de movimiento utilizadas por el equipo FUROEC
Sistema Multiagente Homogéneo No Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

12 Técnicas de movimiento utilizadas por el equipo FUROEC
Sistema Multiagente Homogéneo Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

13 Sistema Multiagente Heterogéneo No Comunicativo
Técnicas de movimiento utilizadas por el equipo FUROEC

14 Técnicas de movimiento utilizadas por el equipo FUROEC
Sistema Multiagente Heterogéneo Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

15 Técnicas de movimiento utilizadas por el equipo FUROEC
Clasificación de Sistemas de Fútbol Robótico Sistemas sin inteligencia Sistemas con inteligencia Técnicas de movimiento utilizadas por el equipo FUROEC

16 Técnicas de movimiento utilizadas por el equipo FUROEC
Clasificación de Sistemas de Fútbol Robótico Técnicas de movimiento utilizadas por el equipo FUROEC

17 Estrategia general del equipo.
Técnicas de movimiento utilizadas por el equipo FUROEC

18 Estrategia general del equipo.
Técnicas de movimiento utilizadas por el equipo FUROEC

19 Algoritmo básico para patear la pelota
Técnicas de movimiento utilizadas por el equipo FUROEC

20 Algoritmo para salir de los bordes del campo de juego
Técnicas de movimiento utilizadas por el equipo FUROEC

21 Técnicas de movimiento utilizadas por el equipo FUROEC
Algoritmo del arquero de acuerdo a la posición de la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

22 Técnicas de movimiento utilizadas por el equipo FUROEC
Algoritmo del arquero de acuerdo a la posición de la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

23 Estrategia general del equipo
Técnicas de movimiento utilizadas por el equipo FUROEC

24 Técnicas de movimiento utilizadas por el equipo FUROEC
Estrategia general del equipo Técnicas de movimiento utilizadas por el equipo FUROEC

25 Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT.

26 Control de movimiento de los micro-robots en la MIROSOT.
Cinemática del robot Control de movimiento de los micro-robots en la MIROSOT.

27 Parámetros de ubicación del robot
Kp:ganancia de realimentación proporcional Kd: ganancia de realimentación derivada del tiempo Control de movimiento de los micro-robots en la MIROSOT.

28 Control de movimiento de los micro-robots en la MIROSOT.
Método de campos potenciales para posicionamiento y orientación del robot Objetivo: Generación de campos potenciales para determinar la posición final y evadir obstáculos en tiempo real. Control de movimiento de los micro-robots en la MIROSOT.

29 Control de movimiento de los micro-robots en la MIROSOT.
Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de repulsión para evitar obstáculos. Implementación del campo potencial de atracción para patear la pelota.

30 Implementación del campo potencial de atracción para patear la pelota
Campo para una posición g deseada. Control de movimiento de los micro-robots en la MIROSOT.

31 Implementación del campo potencial de atracción para patear la pelota
campo para la posición deseada g. Control de movimiento de los micro-robots en la MIROSOT.

32 Implementación del campo potencial de atracción para patear la pelota
Control de movimiento de los micro-robots en la MIROSOT.

33 Implementación del campo potencial de atracción para patear la pelota
Control de movimiento de los micro-robots en la MIROSOT.

34 Control de movimiento de los micro-robots en la MIROSOT.
Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de atracción para patear la pelota. Implementación del campo potencial de repulsión para evitar obstáculos.

35 Implementación del campo potencial de repulsión para evitar obstáculos
Generación del campo univectorial de repulsión para evitar un obstáculo Control de movimiento de los micro-robots en la MIROSOT.

36 Implementación del campo potencial de repulsión para evitar obstáculos
Zona del campo univectorial R(p) que permite evitar un obstáculo Control de movimiento de los micro-robots en la MIROSOT.

37 Implementación del campo potencial de repulsión para evitar obstáculos
Control de movimiento de los micro-robots en la MIROSOT.

38 Implementación del campo potencial de repulsión para evitar obstáculos
Control de movimiento de los micro-robots en la MIROSOT.

39 Implementación del campo potencial de repulsión para evitar obstáculos
Control de movimiento de los micro-robots en la MIROSOT.

40 Control de movimiento de los micro-robots en la MIROSOT.
Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de atracción para patear la pelota. Implementación del campo potencial de repulsión para evitar obstáculos. Función de predicción para estimar la trayectoria de la pelota.

41 Función de predicción para estimar la trayectoria de la pelota (1)
Control de movimiento de los micro-robots en la MIROSOT.

42 Función de predicción para estimar la trayectoria de la pelota (2)
Control de movimiento de los micro-robots en la MIROSOT.

43 Contenido Introducción y Objetivos. Motivaciones.
Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

44 Aprendizaje por refuerzo aplicado al fútbol robótico.
Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aplicación del aprendizaje Q modular.

45 Clasificación de Aprendizaje de Maquina
Supervisado Es implementado en situaciones donde es posible percibir las entradas y salidas. No Supervisado Es implementado en ambientes donde no se tiene certeza de cuales serán las salidas. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

46 Conceptos generales de aprendizaje por refuerzo y aprendizaje Q
Descripción Modelo de Aprendizaje por Refuerzo Aprendizaje Q Algoritmo de Aprendizaje Q

47 Aprendizaje por Refuerzo
Descripción Es considerado como un tipo de aprendizaje no supervisado. Hacer que un agente aprenda una conducta a través de iteraciones de pruebas y errores en un ambiente dinámico. Usa las recompensas de una satisfactoria función de agente. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

48 Modelo de Aprendizaje por Refuerzo
T: F. de Transiciones B: Agente I: F. de Entradas R: F. de Recompensas i: Entrada sensorial s: Estado actual r: Recompensa a: Acción Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

49 Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.
Aprender una política, que para cada estado, indique cuál es la mejor acción a ejecutar para alcanzar un objetivo dado. El agente aprende una función acción –valor que para cada acción ejecutada en un estado obtiene un valor, llamado valor Q, el cual se guarda en la tabla Q. El valor Q expresa la utilidad esperada al emprender una acción en un estado determinado. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

50 Algoritmo de Aprendizaje Q
Para cada par (s , a) inicializar la tabla Q(s,a) a [0 , 0.02]. Observar el estado actual s. Repetir n veces: Seleccionar una acción a y ejecutarla Recibir el refuerzo inmediato r Observar el nuevo estado s' Actualizar la entrada de la tabla, Q(s,a) con la ecuación:   Asignar a s el estado s' Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

51 Aprendizaje por refuerzo aplicado al fútbol robótico.
Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aplicación del aprendizaje Q modular.

52 Aplicación del aprendizaje Q modular
Arquitectura del aprendizaje Q Modular Región de Conflicto. Agentes Individuales y Agentes Acoplados Fases de Aprendizaje Individual y Modular Estados Acciones Resultados del Aprendizaje - fase aprendizaje individual Resultados del Aprendizaje - fase Q modular

53 Arquitectura del aprendizaje Q Modular
Aplicación del aprendizaje Q modular

54 Región de Conflicto Aplicación del aprendizaje Q modular

55 Agentes Individuales y Agentes Acoplados
Aplicación del aprendizaje Q modular

56 Fases de Aprendizaje (1)
Existen 2 fases de aprendizaje: Individual y Modular En la fase de aprendizaje individual cada agente explora el ambiente de trabajo para obtener información de los estados, el jugador cambia su acción de forma aleatoria cada vez que se encuentra con la pelota, para actualizar de esta manera la tabla Q con valores reales. Aplicación del aprendizaje Q modular

57 Fases de Aprendizaje (2)
Estos valores son usados por el módulo mediador en la fase de aprendizaje modular, para seleccionar la acción que considere más adecuada Aplicación del aprendizaje Q modular

58 Estados (1) Aplicación del aprendizaje Q modular

59 Estados (2) Aplicación del aprendizaje Q modular

60 Acciones La tabla muestra la lista de acciones que el agente acoplado puede seleccionar en la Región 1. Por ejemplo, si la Acción 0 es seleccionada, el robot_1 será atacante y el robot_2 será defensa. Aplicación del aprendizaje Q modular

61 Aprendizaje -fase aprendizaje individual
Resultados del Aprendizaje -fase aprendizaje individual Aplicación del aprendizaje Q modular

62 Resultados del Aprendizaje - fase Q modular
Aplicación del aprendizaje Q modular

63 Contenido Introducción y Objetivos. Motivaciones.
Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

64 Contribuciones Movimiento rápido del robot para patear la pelota.
Habilidad mejorada para salir de los bordes de la cancha. Algoritmo optimizado para definir el comportamiento del arquero usando estimación de trayectorias. Especificación de las condiciones para aplicar campos potenciales univectoriales. Aplicación del algoritmo de aprendizaje Q modular. Logros adicionales obtenidos con la ejecución de este proyecto.

65 Contenido Introducción y Objetivos. Motivaciones.
Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

66 Futuros Trabajos (1) Aplicar campos potenciales y aprendizaje Q sobre otro tipo de aplicaciones. Futuras implementaciones aplicando nuevas técnicas de Inteligencia Artificial. Aplicar un método de aprendizaje de máquinas que permita seleccionar el camino más óptimo usando la técnica de campos potenciales univectoriales. Diseñar estrategias que definan posiciones, zonas de juego, roles de forma automática utilizando aprendizaje del adversario.

67 Futuros Trabajos (2) Construir otro tipo de robots móviles con la capacidad de comunicarse entre sí y con sensores incorporados. Realizar trabajos en otros entornos de fútbol robótico simulado, tales como el software del Soccer Server de la RoboCup o el Java Soccer Server. Aprovechar el fútbol robótico para incentivar a los estudiantes al estudio de disciplinas tales como la inteligencia artificial, visión por computadora, control automático, entre otras. Continuar participando en las futuras competiciones y congresos relacionados con los sistemas multiagente a nivel mundial.

68 Publicaciones Submitido en el 2003 FIRA Robot World Congress, Austria.
“Survey on Learning in Multi-Agent Systems“. 2002 FIRA Robot World Congress, Seoul, Korea, May 2002. Libro de Intelligent Robots: Vision, Learning and Interaction, Sección: Learning for Navigation and Control, Editorial: KAIST Press, año 2003. “Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup“. Espol Ciencia 2002, Octubre 2002. “Sistemas multiagente aplicados al fútbol robótico: problemática existente”. IV Jornadas Iberoamericanas de Robótica, Seminario 3, Panamá, Enero, 2003. “Univector Fields for Motion Control in Mirosot Robots”. Submitido en el 2003 FIRA Robot World Congress, Austria. “Control de Movimiento de los Micro-Robots en la Mirosot“. Revista Tecnológica (CICYT), Junio 2003, Vol.16, No. I, Guayaquil - Ecuador.

69 GRACIAS Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha
ESCUELA SUPERIOR POLITECNICA DEL LITORAL Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha César Alberto Villarroel Samaniego GRACIAS