Aprendizaje en Agente Autónomos

Presentación del tema: "Aprendizaje en Agente Autónomos"— Transcripción de la presentación:

1 Aprendizaje en Agente Autónomos
2006 Ulises Cortés 01/08/2019

2 Motivación “The central idea underlying goal-driven learning is that because the value of learning depends on how well the learning contributes to achieving the learner´s goals, the learning process should be guided by reasoning about the information that is needed to serve those goals.” 01/08/2019

3 01/08/2019

4 Aprendizaje La investigación en aprendizaje supervisado en inteligencia artificial está basada en argumentos computacionales. Explosión combinatoria de inferencias Restricciones temporales Restricciones físicas (recursos limitados) Racionalidad limitada 01/08/2019

5 Metas y aprendizaje Las metas son importantes para guiar la actuación del aprendiz Determinar los recursos disponibles para realizar la tarea Guiar el proceso control y/o búsqueda elegido para realizar la tarea Guiar los planes de recuperación, la resolución de problemas y otros tipos de conocimiento Enfocar la atención en ciertos aspectos de la información de entrada Guiar la evaluación de los resultados de realizar una tarea 01/08/2019

6 Metas y aprendizaje Guiar la tarea aprendizaje
Especificar el objetivo del aprendizaje Seleccionar el algoritmo de aprendizaje Restringir el proceso de aprendizaje (ie influenciar las políticas bajo las cuales operara el algoritmo de aprendizaje) Enfocar la búsqueda de información necesaria para realizar el proceso de aprendizaje Determinar en qué condiciones se debe intentar aprender Ayudar en la evaluación de los resultados del aprendizaje (respecto de los resultados esperados) 01/08/2019

7 Metas y aprendizaje Las metas son importantes para guiar el almacenado (de lo aprendido) Seleccionar que almacenar Determinar como indexar el conocimiento Seleccionar que elementos se deben olvidar 01/08/2019

8 Recompensas vs. Metas Aprender a realizar una tarea no es suficiente en muchos casos prácticos. Utilizar un sistema de recompensa a base de otorgar refuerzos positivo o negativos puede ayudar a mejor la efectividad (quizá decidiendo aprender otra estrategia de resolución) de un sistema a la hora de realizar una tarea. La nueva meta del aprendiz, en este caso, es maximizar la recompensa y minimizar la penalización. 01/08/2019

9 Medios y Metas Función  Estructura Medios  Metas
¿Cómo se conectan los medios de que disponemos (conocimiento, métodos, etc) con las metas que se quiere alcanzar? Función  Estructura Medios  Metas Premisa(s)  Conclusión Causa  Efecto ¿Cómo se aprehenden esas conexiones? 01/08/2019

10 Aprendizaje El aprendizaje supervisado abarca no sólo el aprendizaje sobre el mundo sino que también implica mejorar el propio modo de razonar del sistema Un mecanismo de mejora es mantener una traza del razonamiento realizado. La traza del razonamiento es una base para el razonamiento introspectivo o metarazonamiento que permite mejorar el propio mecanismo de razonamiento 01/08/2019

11 Aprendizaje Automático
Problemas Requiere muchos datos (ejemplos) Tiene una fuerte inercia (sistemas conservadores)  Difícil de aplicar de forma incremental 01/08/2019

12 Generación de metas de aprendizaje
Tarea = Situación + las metas de la tarea Selección y aplicación de método de razonamiento Traza de razonamiento + resultado del razonamiento Detección Proceso de Evaluación Fallos en el Razonamiento Análisis de los fallos Metas de aprendizaje= Especificación de una meta + Especificación de una tarea 01/08/2019

13 Aplicando la estrategia adecuada
Metas de aprendizaje + prioridades Red de dependencia entre metas, prioridades y dependencias Selección de metas de aprendizaje Metas activas de aprendizaje Factores de entorno Selección de estrategias de aprendizaje Estrategias de aprendizaje por aplicar 01/08/2019

14 ¿Hay diferentes tipos de metas?
Temas abiertos ¿Qué es una meta? ¿Hay diferentes tipos de metas? ¿De qué manera influencian las metas al aprendizaje? ¿Cuáles son las implicaciones funcionales y pragmáticas del aprendizaje supervisado? 01/08/2019

15 Metas Cualquier sistema que ejecuta un proceso (built-in) puede ser visto como poseedor de una meta que alcanzar. Y de aquí se puede asumir que todo aprendiz es supervisado (goal-driven). [Barsalou] Las metas explícitas son aquellas que guían la resolución de problema en las que el sistema intenta alcanzar un conjunto de metas y ejecutas las acciones necesarias. Las metas se expresan como especificaciones de un objetivo o de un resultado esperado (deseado) en la resolución de un problema o en un proceso de aprendizaje. 01/08/2019

16 Tipos de metas Metas de Tareas Metas de Aprendizaje Especificaciones
Políticas (heurísticas) Restricciones 01/08/2019

17 Bibliografía Minsky, M. “The Society of Mind”. Touchstone ISBN Rajesh P.N. Rao, Bruno A. Olshausen and Michael S. Lewicki (editors). Probabilistic Models of the Brain. MIT Press Ram, A & Leake, D. “Goal-driven Learning”. Mit Press ISBN 01/08/2019