Director: Ph.D. Boris Xavier Vintimilla “DISEÑO E IMPLEMENTACIÓN DE UN EQUIPO DE ROBOTS AUTÓNOMOS CON DECISIONES EN TIEMPO REAL: FÚTBOL ROBÓTICO - COMPONENTE INTELIGENTE” Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha César Alberto Villarroel Samaniego Director: Ph.D. Boris Xavier Vintimilla Facultad de Ingeniería en Electricidad y Computación

Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

Contenido Introducción y objetivos.

Componente Electromecánico Introducción Módulo Radio Frecuencia Componente de Visión Robots: Componente Electromecánico Componente Inteligente

Objetivos Desarrollo del componente inteligente. Utilizar y reforzar técnicas y métodos existentes. Implementar algoritmos de orientación, definición de trayectorias y métodos de aprendizaje. Incursionar en diversas áreas de investigación.

Contenido Introducción y objetivos. Motivaciones.

Motivaciones Plataforma excelente para el estudio y desarrollo de los Sistemas Multiagente. Formar jóvenes investigadores en el campo de la robótica, visión e inteligencia artificial. Resolver problemas de alta complejidad. Pertenecer a una comunidad científica de investigadores a nivel mundial.

Contenido Introducción y objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup.

Técnicas de movimiento utilizadas por el equipo FUROEC Agente Ambiente Sensores Efectores Percepciones Acciones Técnicas de movimiento utilizadas por el equipo FUROEC

Clasificación de los Sistemas Multiagente - Sistemas multiagente homogéneos. -Comunicativos y no comunicativos. - Sistemas multiagente heterogéneos. Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Sistema Multiagente Homogéneo No Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Sistema Multiagente Homogéneo Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

Sistema Multiagente Heterogéneo No Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Sistema Multiagente Heterogéneo Comunicativo Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Clasificación de Sistemas de Fútbol Robótico Sistemas sin inteligencia Sistemas con inteligencia Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Clasificación de Sistemas de Fútbol Robótico Técnicas de movimiento utilizadas por el equipo FUROEC

Estrategia general del equipo. Técnicas de movimiento utilizadas por el equipo FUROEC

Estrategia general del equipo. Técnicas de movimiento utilizadas por el equipo FUROEC

Algoritmo básico para patear la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

Algoritmo para salir de los bordes del campo de juego Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Algoritmo del arquero de acuerdo a la posición de la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Algoritmo del arquero de acuerdo a la posición de la pelota Técnicas de movimiento utilizadas por el equipo FUROEC

Estrategia general del equipo Técnicas de movimiento utilizadas por el equipo FUROEC

Técnicas de movimiento utilizadas por el equipo FUROEC Estrategia general del equipo Técnicas de movimiento utilizadas por el equipo FUROEC

Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT.

Control de movimiento de los micro-robots en la MIROSOT. Cinemática del robot Control de movimiento de los micro-robots en la MIROSOT.

Parámetros de ubicación del robot Kp:ganancia de realimentación proporcional Kd: ganancia de realimentación derivada del tiempo Control de movimiento de los micro-robots en la MIROSOT.

Control de movimiento de los micro-robots en la MIROSOT. Método de campos potenciales para posicionamiento y orientación del robot Objetivo: Generación de campos potenciales para determinar la posición final y evadir obstáculos en tiempo real. Control de movimiento de los micro-robots en la MIROSOT.

Control de movimiento de los micro-robots en la MIROSOT. Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de repulsión para evitar obstáculos. Implementación del campo potencial de atracción para patear la pelota.

Implementación del campo potencial de atracción para patear la pelota Campo para una posición g deseada. Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de atracción para patear la pelota campo para la posición deseada g. Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de atracción para patear la pelota Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de atracción para patear la pelota Control de movimiento de los micro-robots en la MIROSOT.

Control de movimiento de los micro-robots en la MIROSOT. Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de atracción para patear la pelota. Implementación del campo potencial de repulsión para evitar obstáculos.

Implementación del campo potencial de repulsión para evitar obstáculos Generación del campo univectorial de repulsión para evitar un obstáculo Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de repulsión para evitar obstáculos Zona del campo univectorial R(p) que permite evitar un obstáculo Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT.

Implementación del campo potencial de repulsión para evitar obstáculos Control de movimiento de los micro-robots en la MIROSOT.

Control de movimiento de los micro-robots en la MIROSOT. Método de campos potenciales para posicionamiento y orientación del robot. Implementación del campo potencial de atracción para patear la pelota. Implementación del campo potencial de repulsión para evitar obstáculos. Función de predicción para estimar la trayectoria de la pelota.

Función de predicción para estimar la trayectoria de la pelota (1) Control de movimiento de los micro-robots en la MIROSOT.

Función de predicción para estimar la trayectoria de la pelota (2) Control de movimiento de los micro-robots en la MIROSOT.

Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

Aprendizaje por refuerzo aplicado al fútbol robótico. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aplicación del aprendizaje Q modular.

Clasificación de Aprendizaje de Maquina Supervisado Es implementado en situaciones donde es posible percibir las entradas y salidas. No Supervisado Es implementado en ambientes donde no se tiene certeza de cuales serán las salidas. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

Conceptos generales de aprendizaje por refuerzo y aprendizaje Q Descripción Modelo de Aprendizaje por Refuerzo Aprendizaje Q Algoritmo de Aprendizaje Q

Aprendizaje por Refuerzo Descripción Es considerado como un tipo de aprendizaje no supervisado. Hacer que un agente aprenda una conducta a través de iteraciones de pruebas y errores en un ambiente dinámico. Usa las recompensas de una satisfactoria función de agente. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

Modelo de Aprendizaje por Refuerzo T: F. de Transiciones B: Agente I: F. de Entradas R: F. de Recompensas i: Entrada sensorial s: Estado actual r: Recompensa a: Acción Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aprender una política, que para cada estado, indique cuál es la mejor acción a ejecutar para alcanzar un objetivo dado. El agente aprende una función acción –valor que para cada acción ejecutada en un estado obtiene un valor, llamado valor Q, el cual se guarda en la tabla Q. El valor Q expresa la utilidad esperada al emprender una acción en un estado determinado. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

Algoritmo de Aprendizaje Q Para cada par (s , a) inicializar la tabla Q(s,a) a [0 , 0.02]. Observar el estado actual s. Repetir n veces: Seleccionar una acción a y ejecutarla Recibir el refuerzo inmediato r Observar el nuevo estado s' Actualizar la entrada de la tabla, Q(s,a) con la ecuación:   Asignar a s el estado s' Conceptos generales de aprendizaje por refuerzo y aprendizaje Q.

Aprendizaje por refuerzo aplicado al fútbol robótico. Conceptos generales de aprendizaje por refuerzo y aprendizaje Q. Aplicación del aprendizaje Q modular.

Aplicación del aprendizaje Q modular Arquitectura del aprendizaje Q Modular Región de Conflicto. Agentes Individuales y Agentes Acoplados Fases de Aprendizaje Individual y Modular Estados Acciones Resultados del Aprendizaje - fase aprendizaje individual Resultados del Aprendizaje - fase Q modular

Arquitectura del aprendizaje Q Modular Aplicación del aprendizaje Q modular

Región de Conflicto Aplicación del aprendizaje Q modular

Agentes Individuales y Agentes Acoplados Aplicación del aprendizaje Q modular

Fases de Aprendizaje (1) Existen 2 fases de aprendizaje: Individual y Modular En la fase de aprendizaje individual cada agente explora el ambiente de trabajo para obtener información de los estados, el jugador cambia su acción de forma aleatoria cada vez que se encuentra con la pelota, para actualizar de esta manera la tabla Q con valores reales. Aplicación del aprendizaje Q modular

Fases de Aprendizaje (2) Estos valores son usados por el módulo mediador en la fase de aprendizaje modular, para seleccionar la acción que considere más adecuada Aplicación del aprendizaje Q modular

Estados (1) Aplicación del aprendizaje Q modular

Estados (2) Aplicación del aprendizaje Q modular

Acciones La tabla muestra la lista de acciones que el agente acoplado puede seleccionar en la Región 1. Por ejemplo, si la Acción 0 es seleccionada, el robot_1 será atacante y el robot_2 será defensa. Aplicación del aprendizaje Q modular

Aprendizaje -fase aprendizaje individual Resultados del Aprendizaje -fase aprendizaje individual Aplicación del aprendizaje Q modular

Resultados del Aprendizaje - fase Q modular Aplicación del aprendizaje Q modular

Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

Contribuciones Movimiento rápido del robot para patear la pelota. Habilidad mejorada para salir de los bordes de la cancha. Algoritmo optimizado para definir el comportamiento del arquero usando estimación de trayectorias. Especificación de las condiciones para aplicar campos potenciales univectoriales. Aplicación del algoritmo de aprendizaje Q modular. Logros adicionales obtenidos con la ejecución de este proyecto.

Contenido Introducción y Objetivos. Motivaciones. Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup. Control de movimiento de los micro-robots en la MIROSOT. Aprendizaje por refuerzo aplicado al fútbol robótico. Contribuciones. Futuros Trabajos.

Futuros Trabajos (1) Aplicar campos potenciales y aprendizaje Q sobre otro tipo de aplicaciones. Futuras implementaciones aplicando nuevas técnicas de Inteligencia Artificial. Aplicar un método de aprendizaje de máquinas que permita seleccionar el camino más óptimo usando la técnica de campos potenciales univectoriales. Diseñar estrategias que definan posiciones, zonas de juego, roles de forma automática utilizando aprendizaje del adversario.

Futuros Trabajos (2) Construir otro tipo de robots móviles con la capacidad de comunicarse entre sí y con sensores incorporados. Realizar trabajos en otros entornos de fútbol robótico simulado, tales como el software del Soccer Server de la RoboCup o el Java Soccer Server. Aprovechar el fútbol robótico para incentivar a los estudiantes al estudio de disciplinas tales como la inteligencia artificial, visión por computadora, control automático, entre otras. Continuar participando en las futuras competiciones y congresos relacionados con los sistemas multiagente a nivel mundial.

Publicaciones Submitido en el 2003 FIRA Robot World Congress, Austria. “Survey on Learning in Multi-Agent Systems“. 2002 FIRA Robot World Congress, Seoul, Korea, May 2002. Libro de Intelligent Robots: Vision, Learning and Interaction, Sección: Learning for Navigation and Control, Editorial: KAIST Press, año 2003. “Técnicas de movimiento utilizadas por el equipo FUROEC en las competiciones de la FIRA 2002 World Cup“. Espol Ciencia 2002, Octubre 2002. “Sistemas multiagente aplicados al fútbol robótico: problemática existente”. IV Jornadas Iberoamericanas de Robótica, Seminario 3, Panamá, 27-31 Enero, 2003. “Univector Fields for Motion Control in Mirosot Robots”. Submitido en el 2003 FIRA Robot World Congress, Austria. “Control de Movimiento de los Micro-Robots en la Mirosot“. Revista Tecnológica (CICYT), Junio 2003, Vol.16, No. I, Guayaquil - Ecuador.

GRACIAS Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha ESCUELA SUPERIOR POLITECNICA DEL LITORAL Carlos Amín Calderón Garzozi Rommel Patricio Carrillo Chagcha César Alberto Villarroel Samaniego GRACIAS