Tópicos en Inteligencia Artificial I Universidad Católica San Pablo

Abstract La interacción de humanos con robots hoy en día es un problema desafiante. Sin embargo es poco eficiente promover técnicas determinísticas en un mundo que no lo es. El presente trabajo aborda la combinación de técnicas para conseguir aprendizaje por refuerzo. La red Neuronal RBF será la plataforma. El algoritmo Sarsa(λ) basado en acciones y estados promoverá el criterio de selección. Finalmente el algoritmo de aprendizaje sobre la red será mediante Descenso de Gradiente.

Trabajos Relacionados Perceptron [8] de una sola capa; que solo puede separar linealmente dos grupos. Este ultimo ha sufrido variadas adaptaciones como la implementación de varias capas. MLP (multi layer perceptron) consta de muchas capas (neuronas) las cuales al ser ajustados sus pesos, pueden generar una división de clases no lineal. Rummery y Niranjan [11] proponen un algoritmo usando Q-Learning, y un algoritmo de Diferencia Temporal (TD). Los autores notan las limitaciones de los modelos de estados nitos de Markov. Prueban su estudio aplicándolo en la navegación de un robot en un ambiente con obstáculos.

El algoritmo SARSA (state-action-reward-state-action) es similar al Q-Learning, ya que se basa en estados y acciones. Sutton [12] usa el algoritmo SARSA en conjunto con CMAC para dar solucion a problemas con estados continuos. Las redes RBF (Radial Basis Functions) usadas por Huang et al. en [3] son ampliamente exploradas en varias aplicaciones. También los autores señalan un problema con estas redes, saber el numero ideal de funciones base. Si se escoge un numero muy pequeño, el resultado deseado será muy impreciso; por el contrario, un numero grande producirá mucha flexibilidad para los datos.

RBF Radial basis function

Sarsa State-action-reward-state-action Softmax

Descenso de Gradiente Optimización Matemática Mínimos Globales

Marco

Bibliografía [8] S. Dasgupta, A. Tauman, C. Monteleoni, Analysis of Perceptron-Based Active Learning, Journal of Machine Learning Research,vol 10, (2009), pp [11]G. Rummery, M. Niranjan, On-Line Q-Learning Using Connectionist Systems, Cambridge University Engineering Department, 1994, UK. [12] R. Sutton, Generalization in Reinforcement Learning: Successful Examples Using Sparse Coarse Coding, Advances in Neural Information Processing Systems, pp , [3] C. Huang, H. Wang, Data Construction Method for Basis Selection in RBF Networks, IEEE International Conference on Industrial Engineering and Engineering Management, pp , 2007, China.