Autor: Javier Insa Cabrera Director: José Hernández Orallo 26 de septiembre de 2011.

Presentación del tema: "Autor: Javier Insa Cabrera Director: José Hernández Orallo 26 de septiembre de 2011."— Transcripción de la presentación:

1 Autor: Javier Insa Cabrera Director: José Hernández Orallo 26 de septiembre de 2011

2 Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 2/26

3 CAPTCHA Discrimina entre humanos y máquinas. Cada vez discrimina menos. Tests psicométricos (por ejemplo, tests IQ) Son antropomórficos. Problemas obtenidos de manera subjetiva y validados de manera empírica. Evaluación de IA Problemas específicos. No se sabe muy bien lo que se está midiendo. Psicología comparada Compara distintas especies. Inteligencia general: Aptitud para dar respuesta a problemas de diferente índole. 3/26 Precedentes en evaluación de inteligencia Actualmente no existe ningún método apropiado para evaluar la inteligencia general en máquinas.

4 Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 4/26

5 Requisitos deseables de un sistema de evaluación universal de inteligencia general: 1.Debe evaluar y discriminar cualquier tipo de sistema inteligente conocido o aun por construir/descubrir. 2.Debe medir cualquier nivel de inteligencia y cualquier escala de tiempo. 3.Lo que se esté midiendo ha de representar la noción más general de inteligencia. 4.Debe derivarse de nociones computacionales bien fundadas. 5.La precisión dependerá sobretodo de la cantidad de tiempo que se evalúe. 6.Debe ser factible. ¿Cómo trata de conseguir todo esto? 5/26

6 Agente π Entorno μ Observación Acción Recompensa Interacción ¿Cómo les decimos a los sujetos que vamos a evaluar su inteligencia? Condicionamiento por recompensas. Debe evaluar cualquier tipo de sistema inteligente conocido o aun por construir/descubrir 6/26

7 Debe medir cualquier nivel de inteligencia Los entornos deben poder ser de distintas complejidades. ¿Cómo medimos la complejidad? Complejidad para describir el entorno. Complejidad Kolmogorov. 7/26

8 Distribución universal. Discriminativo. Sensible a las recompensas. Interacciones computables e instantáneas desde el punto de vista del agente. ¿Cómo seleccionar los entornos? Debe discriminar cualquier tipo de sistema inteligente Lo que se esté midiendo ha de representar la noción más general de inteligencia ¿Cómo medimos la inteligencia? 8/26

9 π +1 1 2 3 Espacio: 9/26

10 GE +1 +1 +1 Recompensas: Good y Evil no pueden estar simultáneamente en la misma celda. Se elige aleatoriamente cual se mueve. Good y Evil siguen un patrón de comportamiento. 10/26

11 G E π Recompensas 1ª Iteración: 2ª Iteración: 3ª Iteración: 4ª Iteración: Recompensa media: +1+0.5+0.25 +1 0 Sesión de evaluación: +0.67 11/26

12 Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 12/26

13 Probar si un algoritmo de IA obtiene resultados coherentes en esta clase de entornos. Agentes evaluados Q-learning Aleatorio Seguidor trivial Oráculo 13/26

14 3 Celdas 6 Celdas 9 Celdas Entornos donde hemos evaluado: Distintas complejidades. Promedio de 100 entornos con 10.000 iteraciones. Patrón de Good y Evil con 100 movimientos en promedio. 14/26

15 9 CeldasTodos los entornos Complejidad de los entornos: 15/26

16 Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 16/26

17 Probar si el sistema de evaluación discrimina correctamente a dos tipos distintos de sistemas inteligentes en función de su inteligencia real. Agentes evaluados Agente biológico: Seres humanos Técnica de IA: Q-learning 17/26

18 Experimento: 20 tests. Configuración de cada test. Hay que evaluar a los humanos en un periodo de tiempo razonable. Aproximadamente alrededor de 20 - 25 minutos. 18/26

19 Interfaz: b:E:πGa:: Algoritmos de IAHumanos 19/26

20 Resultados: 20/26

21 Resultados: 21/26

22 Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 22/26

23 Conclusiones Es la primera vez que se evalúan diferentes sistemas de IA con un test general no dedicado a ninguna tarea concreta. Es la primera vez que se usa el mismo test general para evaluar humanos y máquinas. El sistema de evaluación ofrece resultados coherentes al evaluar un algoritmo de IA. El sistema de evaluación no discrimina correctamente dos sistemas inteligentes. Conocimiento adquirido Este sistema de evaluación no evalúa la inteligencia general, aunque es posible que sí parte de ella. Es muy difícil proporcionar un entorno complejo. 23/26

24 Trabajo futuro Introducir comportamiento social en los entornos. Construir el test autoajustando la complejidad de los entornos en función de la inteligencia del sujeto y adaptarse mejor con una distribución adaptativa. Volver a evaluar distintos tipos de sistemas inteligentes y comprobar si con los cambios realizados se obtienen resultados más coherentes. 24/26

25 Evaluating a reinforcement learning algorithm with a general intelligence test. CAEPIA, volume 7023. LNAI series, Springer, 2011. (to appear) J. Insa-Cabrera and D.L. Dowe and J. Hernández-Orallo Comparing humans and AI agents. Artificial General Intelligence, volume 6830 of Lecture Notes in Computer Science, pages 122-132. Springer Berlin / Heidelberg, 2011. J. Insa-Cabrera and D. Dowe and S. España-Cubillo and M.V. Hernández-Lloreda and J. Hernández-Orallo. On more realistic environment distributions for defining, evaluating and developing intelligence. Artificial General Intelligence, volume 6830 of Lecture Notes in Computer Science, pages 82-91. Springer Berlin / Heidelberg, 2011. J. Hernández-Orallo and D.L. Dowe and S. España-Cubillo and M.V. Hernández-Lloreda and J. Insa-Cabrera 25/26

26 http://users.dsic.upv.es/proy/anynt/human1/test.html Gracias por su atención