Autor: Javier Insa Cabrera Director: José Hernández Orallo 26 de septiembre de 2011.

Slides:



Advertisements
Presentaciones similares
¿PARA QUE ESTAMOS AQUÍ? LOS OBJETIVOS DE LA ENCARNACIÓN.
Advertisements

SIES – SISTEMA INTEGRADO DE EDUCACIÓN SUPERIOR
el 1, el 4 y el 9 tres cuadrados perfectos autosuficientes
ESTIMACIÓN DE DENSIDAD
Propiedades de los Reales
Página 1 Encuesta sobre conducción y seguridad viaria Diciembre 2004 Presentación.
MOVIMIENTO JOVENES DE LA CALLE CIUDAD DE GUATEMALA la storia la historia lhistoire the history strada calle rue street.
Paso 1 Portada YO SOY EUROPEO Comisión Europea.
Conceptos Básicos Sobre Préstamos Conceptos Básicos Sobre Préstamos
Jacqueline Chávez Cuzcano
INTELIGENCIA ARTIFICIAL
Complejidad Computacional
Complejidad Computacional
Serie: Cómo hacer con EpiInfoTM .
1 LA UTILIZACION DE LAS TIC EN LAS PYMES GALLEGAS AÑO Resumen. 24 de Junio de 2005.
Aranda Fernández, Miguel Ángel García Redondo, Luis Miguel
03- PREINSCRIPCIÓN v.2 Noviembre 2009 SIES – SISTEMA INTEGRADO DE EDUCACIÓN SUPERIOR.
4. ANÁLISIS FACTORIAL Introducción Modelo factorial ortogonal
Inteligencia Artificial
SIMULACIÓN DE MONTECARLO
Cuestiones y problemas
ANALISIS DE IMÁGENES A PARTIR DE LA PRESENTACIÓN DE ALGUNAS IMÁGENES, PEDIR A LOS NIÑOS QUE OBSERVEN LAS ILUSTRACIONES Y QUE DESCRIBAN EN SU CUADERNO LAS.
Validación de Requerimientos
ESTIMACIÓN DEL ESFUERZO EN EL DESARROLLO DE SOFTWARE
Septiembre METODOLOGÍA DE CREACIÓN DE CONTENIDOS PARA E-LEARNING.
1-1 Capítulo dos Descripción de los datos: distribuciones de frecuencias y representaciones gráficas OBJETIVOS Al terminar este capítulo podrá: UNO Organizar.
ARQUITECTURA DE COMPUTADORES - PERFORMANCE
Unidad de competencia II Estadística descriptiva:
Estadística Administrativa I
UPC Tema: ESPACIO VECTORIAL Rn
PARA PARTICIPAR EN ESTE CERTAMEN, SE DEBEN DE CUMPLIR CON LOS SIGUIENTES REQUISITOS : 1.Costo Mínimo Del Vehículo £ 800, Modelo Anterior A.
Resolución de Problemas
Coincidencia de imagen a través de cadena de triángulos
Sistema operativo Tema: Maquina virtual Alumnos: Eduar peña
Proyecto ProMéxico Plasmas mayo SECCIONES NOTICIAS PROYECTOS UNIDAD ACTÚA EVENTUALES secciones ProMéxico.
CENTRO EDUCATIVO ANAHUAC, A.C. PRÁCTICA DE CONTABILIDAD # 4 PRÁCTICA DE CONTABILIDAD # 4 EMPRESA : LA MORELIANA EMPRESA : LA MORELIANA.
Exponentes Racionales y Radicales
La minimización de los costes
Grupo 8 Fernando Arias Porras Jorge Mozos Arias Walber González Sedeño
Investigación Algorítmica
Comité Nacional de Información Bogotá, Julio 21 de 2011 Consejo Nacional de Operación de Gas Natural 1 ESTADISTICAS NACIONALES DE OFERTA Y DEMANDA DE GAS.
Comité Nacional de Información Bogotá, Julio 27 de 2011 Consejo Nacional de Operación de Gas Natural 1 ESTADISTICAS NACIONALES DE OFERTA Y DEMANDA DE GAS.
La ley de los grandes números
Proyecto Fin de Carrera E.T.S. Ingeniería Informática 26 de Septiembre de 2006 DESARROLLO DE UN COMPONENTE TECLADO ALUMNO: Fco. Javier Sánchez Ramos TUTORES:
PASOS PARA EL FORMATEO DE UN PC
Estadística Administrativa I
Aqui está Señoras y Señores !!!!!
1 Alumno: Javier Insa Cabrera Director: José Hernández Orallo 23 de septiembre de 2010.
CULENDARIO 2007 Para los Patanes.
Enrutamiento con un protocolo de Link-State
Números enteros.
Sistemas Basados en conocimientos
Tema 2 Orden de contacto Polinomios de Taylor Teorema de Taylor
Investigación en acción
Objetivo. Dado que ya tenemos la planificación temporal del proyecto, que responde a: ¿Qué se hará?, ¿Quién lo hará?, y ¿Cuándo lo hará? ¿Qué recursos.
Procedimientos Estándares de Operación Sanitaria (SSOP)
Ministerio de Educación Nacional República de Colombia 1 SABER 2003 Evaluación de competencias ciudadanas en 5o. y 9o. de educación básica Resultados en.
Intelligent Databases and Information Systems research group Department of Computer Science and Artificial Intelligence E.T.S Ingeniería Informática –
Evaluaci ó n Modelizaci ó nTareas ClasesEvaluaci ó n Reflexi ó n.
Agrupamiento de relaciones no lineales entre expresiones de genes
Copyright © 2002 por The McGraw-Hill Companies, Inc.
3º curso Ingeniería Técnica en Informática de Sistemas UNED
ESTADÍSTICA INFERENCIAL I
Bloque 1: Sobre la satisfacción de los Alumnos/as del Centro Educativo. LOGROS IMPORTANCIA Sobre la tarea del profesorado Las enseñanzas recibidas.
Análisis Diseño y Desarrollo
Estadística Administrativa I
ESCUELA PROFESIONAL DE INGENIERIA INDUSTRIAL CURSO: GESTION DE LA CALIDAD ING.ELIZABETH FERG 1.
Ambientes inteligentes de aprendizaje: experiencias de la Universidad de Colima  Pedro César Santana Mancilla de noviembre - Colima, México.
Simulacion de sistemas dinamicos
Transcripción de la presentación:

Autor: Javier Insa Cabrera Director: José Hernández Orallo 26 de septiembre de 2011

Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 2/26

CAPTCHA Discrimina entre humanos y máquinas. Cada vez discrimina menos. Tests psicométricos (por ejemplo, tests IQ) Son antropomórficos. Problemas obtenidos de manera subjetiva y validados de manera empírica. Evaluación de IA Problemas específicos. No se sabe muy bien lo que se está midiendo. Psicología comparada Compara distintas especies. Inteligencia general: Aptitud para dar respuesta a problemas de diferente índole. 3/26 Precedentes en evaluación de inteligencia Actualmente no existe ningún método apropiado para evaluar la inteligencia general en máquinas.

Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 4/26

Requisitos deseables de un sistema de evaluación universal de inteligencia general: 1.Debe evaluar y discriminar cualquier tipo de sistema inteligente conocido o aun por construir/descubrir. 2.Debe medir cualquier nivel de inteligencia y cualquier escala de tiempo. 3.Lo que se esté midiendo ha de representar la noción más general de inteligencia. 4.Debe derivarse de nociones computacionales bien fundadas. 5.La precisión dependerá sobretodo de la cantidad de tiempo que se evalúe. 6.Debe ser factible. ¿Cómo trata de conseguir todo esto? 5/26

Agente π Entorno μ Observación Acción Recompensa Interacción ¿Cómo les decimos a los sujetos que vamos a evaluar su inteligencia? Condicionamiento por recompensas. Debe evaluar cualquier tipo de sistema inteligente conocido o aun por construir/descubrir 6/26

Debe medir cualquier nivel de inteligencia Los entornos deben poder ser de distintas complejidades. ¿Cómo medimos la complejidad? Complejidad para describir el entorno. Complejidad Kolmogorov. 7/26

Distribución universal. Discriminativo. Sensible a las recompensas. Interacciones computables e instantáneas desde el punto de vista del agente. ¿Cómo seleccionar los entornos? Debe discriminar cualquier tipo de sistema inteligente Lo que se esté midiendo ha de representar la noción más general de inteligencia ¿Cómo medimos la inteligencia? 8/26

π Espacio: 9/26

GE Recompensas: Good y Evil no pueden estar simultáneamente en la misma celda. Se elige aleatoriamente cual se mueve. Good y Evil siguen un patrón de comportamiento. 10/26

G E π Recompensas 1ª Iteración: 2ª Iteración: 3ª Iteración: 4ª Iteración: Recompensa media: Sesión de evaluación: /26

Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 12/26

Probar si un algoritmo de IA obtiene resultados coherentes en esta clase de entornos. Agentes evaluados Q-learning Aleatorio Seguidor trivial Oráculo 13/26

3 Celdas 6 Celdas 9 Celdas Entornos donde hemos evaluado: Distintas complejidades. Promedio de 100 entornos con iteraciones. Patrón de Good y Evil con 100 movimientos en promedio. 14/26

9 CeldasTodos los entornos Complejidad de los entornos: 15/26

Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 16/26

Probar si el sistema de evaluación discrimina correctamente a dos tipos distintos de sistemas inteligentes en función de su inteligencia real. Agentes evaluados Agente biológico: Seres humanos Técnica de IA: Q-learning 17/26

Experimento: 20 tests. Configuración de cada test. Hay que evaluar a los humanos en un periodo de tiempo razonable. Aproximadamente alrededor de minutos. 18/26

Interfaz: b:E:πGa:: Algoritmos de IAHumanos 19/26

Resultados: 20/26

Resultados: 21/26

Introducción Sistema de evaluación Requisitos Aprendizaje por refuerzo Complejidad de los entornos Factible Clase de entornos Λ Evaluación de un algoritmo de IA Evaluación y comparación de distintos sistemas inteligentes Conclusiones y trabajo futuro 22/26

Conclusiones Es la primera vez que se evalúan diferentes sistemas de IA con un test general no dedicado a ninguna tarea concreta. Es la primera vez que se usa el mismo test general para evaluar humanos y máquinas. El sistema de evaluación ofrece resultados coherentes al evaluar un algoritmo de IA. El sistema de evaluación no discrimina correctamente dos sistemas inteligentes. Conocimiento adquirido Este sistema de evaluación no evalúa la inteligencia general, aunque es posible que sí parte de ella. Es muy difícil proporcionar un entorno complejo. 23/26

Trabajo futuro Introducir comportamiento social en los entornos. Construir el test autoajustando la complejidad de los entornos en función de la inteligencia del sujeto y adaptarse mejor con una distribución adaptativa. Volver a evaluar distintos tipos de sistemas inteligentes y comprobar si con los cambios realizados se obtienen resultados más coherentes. 24/26

Evaluating a reinforcement learning algorithm with a general intelligence test. CAEPIA, volume LNAI series, Springer, (to appear) J. Insa-Cabrera and D.L. Dowe and J. Hernández-Orallo Comparing humans and AI agents. Artificial General Intelligence, volume 6830 of Lecture Notes in Computer Science, pages Springer Berlin / Heidelberg, J. Insa-Cabrera and D. Dowe and S. España-Cubillo and M.V. Hernández-Lloreda and J. Hernández-Orallo. On more realistic environment distributions for defining, evaluating and developing intelligence. Artificial General Intelligence, volume 6830 of Lecture Notes in Computer Science, pages Springer Berlin / Heidelberg, J. Hernández-Orallo and D.L. Dowe and S. España-Cubillo and M.V. Hernández-Lloreda and J. Insa-Cabrera 25/26

Gracias por su atención