Aprendizaje en Agente Autónomos 2006 Ulises Cortés 01/08/2019

Motivación “The central idea underlying goal-driven learning is that because the value of learning depends on how well the learning contributes to achieving the learner´s goals, the learning process should be guided by reasoning about the information that is needed to serve those goals.” 01/08/2019 ia@lsi.upc.es

01/08/2019 ia@lsi.upc.es

Aprendizaje La investigación en aprendizaje supervisado en inteligencia artificial está basada en argumentos computacionales. Explosión combinatoria de inferencias Restricciones temporales Restricciones físicas (recursos limitados) Racionalidad limitada 01/08/2019 ia@lsi.upc.es

Metas y aprendizaje Las metas son importantes para guiar la actuación del aprendiz Determinar los recursos disponibles para realizar la tarea Guiar el proceso control y/o búsqueda elegido para realizar la tarea Guiar los planes de recuperación, la resolución de problemas y otros tipos de conocimiento Enfocar la atención en ciertos aspectos de la información de entrada Guiar la evaluación de los resultados de realizar una tarea 01/08/2019 ia@lsi.upc.es

Metas y aprendizaje Guiar la tarea aprendizaje Especificar el objetivo del aprendizaje Seleccionar el algoritmo de aprendizaje Restringir el proceso de aprendizaje (ie influenciar las políticas bajo las cuales operara el algoritmo de aprendizaje) Enfocar la búsqueda de información necesaria para realizar el proceso de aprendizaje Determinar en qué condiciones se debe intentar aprender Ayudar en la evaluación de los resultados del aprendizaje (respecto de los resultados esperados) 01/08/2019 ia@lsi.upc.es

Metas y aprendizaje Las metas son importantes para guiar el almacenado (de lo aprendido) Seleccionar que almacenar Determinar como indexar el conocimiento Seleccionar que elementos se deben olvidar 01/08/2019 ia@lsi.upc.es

Recompensas vs. Metas Aprender a realizar una tarea no es suficiente en muchos casos prácticos. Utilizar un sistema de recompensa a base de otorgar refuerzos positivo o negativos puede ayudar a mejor la efectividad (quizá decidiendo aprender otra estrategia de resolución) de un sistema a la hora de realizar una tarea. La nueva meta del aprendiz, en este caso, es maximizar la recompensa y minimizar la penalización. 01/08/2019 ia@lsi.upc.es

Medios y Metas Función  Estructura Medios  Metas ¿Cómo se conectan los medios de que disponemos (conocimiento, métodos, etc) con las metas que se quiere alcanzar? Función  Estructura Medios  Metas Premisa(s)  Conclusión Causa  Efecto ¿Cómo se aprehenden esas conexiones? 01/08/2019 ia@lsi.upc.es

Aprendizaje El aprendizaje supervisado abarca no sólo el aprendizaje sobre el mundo sino que también implica mejorar el propio modo de razonar del sistema Un mecanismo de mejora es mantener una traza del razonamiento realizado. La traza del razonamiento es una base para el razonamiento introspectivo o metarazonamiento que permite mejorar el propio mecanismo de razonamiento 01/08/2019 ia@lsi.upc.es

Aprendizaje Automático Problemas Requiere muchos datos (ejemplos) Tiene una fuerte inercia (sistemas conservadores)  Difícil de aplicar de forma incremental 01/08/2019 ia@lsi.upc.es

Generación de metas de aprendizaje Tarea = Situación + las metas de la tarea Selección y aplicación de método de razonamiento Traza de razonamiento + resultado del razonamiento Detección Proceso de Evaluación Fallos en el Razonamiento Análisis de los fallos Metas de aprendizaje= Especificación de una meta + Especificación de una tarea 01/08/2019 ia@lsi.upc.es

Aplicando la estrategia adecuada Metas de aprendizaje + prioridades Red de dependencia entre metas, prioridades y dependencias Selección de metas de aprendizaje Metas activas de aprendizaje Factores de entorno Selección de estrategias de aprendizaje Estrategias de aprendizaje por aplicar 01/08/2019 ia@lsi.upc.es

¿Hay diferentes tipos de metas? Temas abiertos ¿Qué es una meta? ¿Hay diferentes tipos de metas? ¿De qué manera influencian las metas al aprendizaje? ¿Cuáles son las implicaciones funcionales y pragmáticas del aprendizaje supervisado? 01/08/2019 ia@lsi.upc.es

Metas Cualquier sistema que ejecuta un proceso (built-in) puede ser visto como poseedor de una meta que alcanzar. Y de aquí se puede asumir que todo aprendiz es supervisado (goal-driven). [Barsalou] Las metas explícitas son aquellas que guían la resolución de problema en las que el sistema intenta alcanzar un conjunto de metas y ejecutas las acciones necesarias. Las metas se expresan como especificaciones de un objetivo o de un resultado esperado (deseado) en la resolución de un problema o en un proceso de aprendizaje. 01/08/2019 ia@lsi.upc.es

Tipos de metas Metas de Tareas Metas de Aprendizaje Especificaciones Políticas (heurísticas) Restricciones 01/08/2019 ia@lsi.upc.es

Bibliografía Minsky, M. “The Society of Mind”. Touchstone. 1988. ISBN 0-671-60740-5 Rajesh P.N. Rao, Bruno A. Olshausen and Michael S. Lewicki (editors). Probabilistic Models of the Brain. MIT Press. 2002. Ram, A & Leake, D. “Goal-driven Learning”. Mit Press. 1995. ISBN 0-262-18165-7 01/08/2019 ia@lsi.upc.es