La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

1 Razonamiento aproximado y modelado del alumno Curso de doctorado Fundamentos Teóricos de la Inteligencia Artificial Curso 2004-2005 Eva Millán.

Presentaciones similares


Presentación del tema: "1 Razonamiento aproximado y modelado del alumno Curso de doctorado Fundamentos Teóricos de la Inteligencia Artificial Curso 2004-2005 Eva Millán."— Transcripción de la presentación:

1 1 Razonamiento aproximado y modelado del alumno Curso de doctorado Fundamentos Teóricos de la Inteligencia Artificial Curso Eva Millán

2 2 Razonamiento aproximado en modelado del alumno Introducción: los STI y el problema del modelado del alumno Lógica difusa y modelado del alumno: el sistema KNOME Redes bayesianas y modelado del alumno: Diseño y evaluación de test adaptativos basados en redes bayesianas

3 3 Razonamiento aproximado en modelado del alumno Introducción: los STI y el problema del modelado del alumno Lógica difusa y modelado del alumno: el sistema KNOME Redes bayesianas y modelado del alumno: Diseño y evaluación de test adaptativos basados en redes bayesianas

4 4 Sistemas Tutores Inteligentes Definición de Sistema Tutor Inteligente (STI) Un Sistema Tutor Inteligente es un sistema que posee un amplio conocimiento sobre cierta materia y cuyo objetivo es transmitir este conocimiento a un alumno por medio de un proceso interactivo personalizado. Características de un STI (Hartley y Sleeman, 1973). Un STI debe tener conocimiento sobre El dominio Estrategias de aprendizaje El alumno Q UÉ E NSEÑAR Q UÉ S ABE E L A LUMNO C ÓMO E NSEÑAR Diagnóstico cognitivo

5 5 Arquitectura tradicional de los STI Módulo del Alumno Modelo del alumno Diagnóstico Módulo Instructor Estrategias aprendizaje Ayudas, etc. Módulo Entorno Interfaces sProfesores sAlumnos Módulo Experto Conocimiento del dominio Estructura currículum Problemas y herramientas resolución MOTOR

6 6 ¿Qué se entiende por inteligencia en un STI? Encuesta Shute, Pregunta ¿Qué significa la I en STI? Población Aproximadamente 20 expertos (VanLehn, Lesgold, Sleeman, Soloway, Woolf, etc.) Consenso casi general El elemento más importante diagnóstico cognitivo Segundo elemento más citado enseñanza adaptativa

7 7 Modelado del alumno Modelo del alumno. Estructura de datos utilizada para representar toda la información relativa al alumno Estado cognitivo, Pantallas visitadas, Problemas resueltos, Estilos favoritos de enseñanza, etc. Diagnóstico. Proceso que consiste en inferir, a partir de la información disponible, el estado cognitivo del alumno.

8 8 Diagnóstico cognitivo Problema que consiste en inferir, a partir de los datos observables, el estado cognitivo del alumno. Algoritmo de diagnóstico D1D1 D2D2 DnDn K1K1 K2K2 KsKs Heurísticos Razonamiento aproximado Otros

9 9 Lógica difusa y modelado del alumno El sistema KNOME

10 10 KNOME KNOME (Chin, 1989) es la componente que realiza el modelado del usuario en el sistema UNIX CONSULTANT (UC), una herramienta de consulta en lenguaje natural para el sistema operativo UNIX Durante la interacción con el usuario, KNOME crea y mantiene un modelo del usuario que usa para proporcionar ayuda al nivel de detalle adecuado según el conocimiento que posee el usuario El modelo de usuario de KNOME hace uso de estereotipos para representar tanto el conocimiento del usuario como el nivel de dificultad de la interacción Este modelo se utiliza para –Eliminar la ambigüedad en las sentencias del usuario –Evitar dar al usuario información que ya conoce –Presentar la información al nivel de detalle adecuado –Detectar las situaciones en las que el usuario necesita ayuda

11 11 Ejemplo de sesiones Hola, ¿Cómo puedo ayudarte? # ¿Cómo puedo borrar un fichero? Por ejemplo, para eliminar el fichero llamado foo, teclea rm foo #Qué hace ruptime? ruptime se usa para listar todas las máquinas de la red, listar el número de usuarios en ellas, y listar su carga media Sesión de UC con usuario 1 Hola, ¿Cómo puedo ayudarte? # ¿Cómo puedo encontrar el inodo de un fichero? Usa ls-i #Qué hace ruptime? ruptime es como uptime, excepto que ruptime es para todas las máquinas de la red Sesión de UC con usuario 2

12 12 Cómo razona KNOME KNOME utiliza un modelo de estereotipos doble –Los usuarios se clasifican en cuatro niveles novice, begginer, intermediate, expert –Los conceptos se agrupan en cuatro niveles de dificultad simple, mundane, complex y esoteric Los estereotipos de usuarios se relacionan con los estereotipos de niveles de dificultad mediante reglas difusas Si el usuario es intermediate, conoce la mayoría de los conceptos mundane

13 13 Cómo razona KNOME Durante la interacción con el usuario, KNOME almacena los conceptos que el usuario conoce o desconoce. Esta información se usa para inferir el nivel del alumno. Una vez el alumno ha sido clasificado, se pueden hacer predicciones sobre si conoce otros conceptos. Tratamiento de la incertidumbre KNOME utiliza un número fijo de – niveles de verosimilitud para una afirmación FALSE, UNLIKELY, UNCERTAIN, LIKELY, TRUE Y modificadores somewhat, very (excepto para FALSE y TRUE) – predicados A FEW, MOST, ALL, NONE

14 14 Cómo razona KNOME

15 15 Cómo razona KNOME Deduciendo el tipo de usuario 1. Recolección de evidencia

16 16 Cómo razona KNOME 2. Combinación de evidencia Regla de diagnóstico SI el usuario U conoce el concepto C y C es COMPLEJO ENTONCES es algo probable que U sea EXPERTO Regla de predicción SI el usuario U es EXPERTO y el concepto C es SIMPLE, ENTONCES es probable que U conozca C

17 17 Ejemplo de sesión

18 18 Ejemplo de sesión

19 19 Conclusiones Hay pocos intentos serios de utilizar la lógica difusa en modelado del alumno El sistema KNOME utiliza conceptos difusos pero no teoría de conjuntos ni lógica difusa En cualquier caso, el sistema KNOME es un ejemplo de sistema con un proceso de modelado del alumno simple pero robusto que proporciona muy buenas prestaciones

20 20 Redes bayesianas Diseño y evaluación de test adaptativos basados en redes bayesianas

21 21 Ejemplo Pregunta 1 Concepto 1 Pregunta 2 Concepto 2 Pregunta 3 Redes Bayesianas Objetivo: diseño, uso y evaluación de una red bayesiana para optimizar el proceso de diagnóstico cognitivo. Exactitud, tiempo

22 22 Definición de TAI: Test administrado por un ordenador donde la selección de la siguiente pregunta a plantear y la decisión de finalizar el test se realizan de una forma dinámica basándose en la estimación actual del nivel de conocimiento del alumno. Test adaptativo informatizado Diferencia clave Sistemas tradicionales de E.A.O. Test tradicionales de lápiz y papel Sistemas tutores inteligentes Test adaptativos Enseñanza individualizadaEnseñanza en grupo Capacidad de adaptación al alumno

23 23 Test Adaptativos Informatizados Elementos básicos de un TAI – Modelo de respuesta asociado a cada pregunta – Colección de ítems –Método de selección de preguntas –Método de estimación del nivel de conocimiento – Criterio de finalización Teoría de respuesta al ítem (IRT, Item Response Theory) –El comportamiento del examinado se representa por una variable continua –Modelo de respuesta asociado es la llamada Curva Característica del Item (ICC), que es la función P( ) = P(Respuesta correcta a item I / nivel )

24 24 Teoría de la Respuesta al Item Métodos de selección de preguntas Elegir item más informativo, elegir item que minimiza la varianza a posteriori (Owen), etc. Criterios de finalización del test tiempo, número de items administrados, cambios en la estimación del nivel del alumno, indicadores de precisión de dicha estimación (error estándar) Modelo de tres parámetros de Birnbaum P( ) = c i + (1-c i ) / (1 + exp (1.7 a i ( - b i )) a i, índice de discriminación b i, índice de dificultad del ítem c i, factor de adivinanza Ejemplo con a i = 1.2; b i = 6; c i = ,2 0,4 0,6 0,8 1 1,

25 25 Estimación final nivel conocimiento El alumno responde Selección y presentación del siguiente item ¿Se cumple criterio de parada? Presentación primer item SÍ NO Esti mación nivel conocimiento 1. Banco preguntas 4. Nivel inicial 5. Método puntuación 3. Modelo de respuesta 2. Método selección 6. Criterio parada Algoritmo TAI

26 26 Definir los nodos y enlaces ( modelo estructural ) de una red bayesiana para modelado del alumno. Desarrollar un criterio adaptativo de selección de preguntas que permita realizar el diagnóstico Evaluar el modelo estructural y el test adaptativo Objetivos

27 27 A C 11 C 1n 1 T1T1 C sn s C s1 TsTs P1P1 P2P2 P3P3 P4P4 P5P5 P6P6 PrPr... Modelo estructural

28 28 Ejemplo Matemát Cálculo Trigon. Geomet. Integración Diferenciación Aplicación Funciones Conceptos 1 =0.5 2 =0.3 3 =0.2 w 11 =0.2 w 12 =0.25 w 13 =0.25 w 14 =0.3 w 21 =0.3 w 22 =0.3 w 23 =0.4 w 31 =0.4 w 32 =0.6 Conceptos Aplicación Funciones Aplicación

29 29 Especificación de los parámetros Pesos para la jerarquía de granularidad ( i, i ) La probabilidad condicionada se construirá a partir de una suma ponderada de dichos pesos. Peso 20 Peso 30 Peso 50 P(A=sí/ T 1 = sí, T 2 = no, T 3 = sí) = = 0,7 P(A =sí / T 1 = sí, T 2 = sí, T 3 = sí) = = P(A =sí / T 1 = sí, T 2 = sí, T 3 = no) = = 0,

30 30 Especificación de los parámetros En principio, necesitamos especificar P(P i /{C j / C j pa(P i )}), pero si suponemos que para cada ítem P i tenemos –un nivel de dificultad a i, –un índice de discriminación b i, –un factor de adivinanza c i, –la probabilidad de descuido s i, –la importancia relativa de cada concepto en la pregunta. Sabe todo … Le falta un concepto Sabe un concepto No sabe nada c 1-s 1

31 31 Elementos básicos del test adaptativo El modelo de respuesta asociado a cada pregunta P(P/{C i, C i pa(P)} El método de estimación del nivel de conocimiento Algoritmos de propagación bayesianos El banco de ítems o preguntas Parámetros IRT dificultad, discriminación, adivinanza, descuido El nivel inicial En ausencia de información, distribución uniforme El criterio de parada Se alcanza un número máximo de preguntas Todos los conceptos han sido diagnosticados El método de selección de preguntas Test Adaptativos basados en Redes Bayesianas

32 32 Criterio aleatorio (C A ) Criterios adaptativos Criterios basados en la información –Criterios basados en la ganancia de información –Criterios basados en los conceptos de sensibilidad/especificidad Criterios condicionados Métodos de Selección de Preguntas

33 33 Definición 1 Dada una pregunta P y un nodo de conocimiento C, se define la utilidad 1 del nodo P para el nodo C como U 2 ( P, C ) = P(P=1)P(P=1) P(P=0)P(P=0) + (P ( C = 1/P = 1 ) - P(C=1)) P(C=1) si P=1 (P ( C = 0/P = 0 ) - P ( C = 0)) P(C=0) si P=0 Criterios basados en la Ganancia de Información

34 34 Definición 2 Dada una pregunta P y un nodo de conocimiento C, se define la utilidad 2 del nodo P para el nodo C como U 2 ( P, C ) = P(C=1)P(C=1) P(C=0)P(C=0) + P ( P = 0/C = 0 ) Especificidad P ( P = 1/C = 1 ) Sensibilidad Criterios basados en los Conceptos de Sensibilidad/Especificidad

35 35 Definición 4 La utilidad_global M de una pregunta P, U M (P), se define como U M (P) = Definición 3 La utilidad_global S de una pregunta P, U S (P), se define como U S (P) = Concepto de Utilidad global

36 36 La combinación de las cuatro definiciones anteriores da lugar a cuatro criterios adaptativos diferentes Ganancia información Máximo C MG Suma C SG Sensibilidad/Especificidad Máximo C ME Suma C SE Criterios basados en la Utilidad

37 37 Criterio condicionado a la probabilidad del concepto ( C CC ). La utilidad de un item P se define como U CC (P) = donde U(P,C) se define como U(P,C) = Criterio condicionado a la probabilidad de la pregunta ( C CP ). La utilidad de un item P se define como U CP (P) = Criterios Condicionados

38 38 Uso de alumnos simulados Ventajas –Más conveniente en estudios preliminares –Permite comparar los resultados con el verdadero estado cognitivo Evaluación

39 39 Definición Un alumno simulado tipo s es un alumno que conoce el 100·s% de los conceptos Funcionamiento de un alumno simulado P( P i ) Algoritmo diagnóstico basado en tests adaptativos bayesianos X X C1C1 C2C2 C n-1 CnCn C3C3 ··· C1C1 C2C2 C n-1 CnCn C3C3 P P P P P ··· Predicción Diagnóstico u u (1-u,u) u 1-u Alumnos Simulados

40 40 Condiciones de la simulación Red de pruebas Una asignatura, cuatro temas, catorce conceptos, cien preguntas Parámetros Mismo número de preguntas con cada nivel de dificultad Factores de descuido 0.001, 0.01 y 0.2 Índices de discriminación 0.2, 1.2 y 2 Cada pregunta tiene seis posibles respuestas Se generaron alumnos simulados tipo 0.0, 0.2, 0.4, 0.6, 0.8 y 1 (30 de cada tipo, un total de 180 alumnos) Umbral u = 0.3 Evaluación

41 41 Interpretación – Buen funcionamiento del algoritmo de diagnóstico –Sólo uno de los criterios adaptativos propuestos demuestra un mejor comportamiento –Los criterios basados en ganancia de información reducen significativamente el número de preguntas necesarias con un rendimiento aceptable Resultados de la evaluación

42 42 Evolución del test Aleatorio Adaptativo Correcto Incorrecto Sin evaluar Comparativa criterios aleatorio y adaptativo

43 43 AleatorioAdaptativo Uso de las preguntas

44 44 Resultados por tipo de alumno

45 45 Adecuación de las redes bayesianas al problema – 90.27% de conceptos correctamente diagnosticados Mejora mediante técnicas TAI – Hasta un 94.53% de conceptos correctamente diagnosticados Evaluación con alumnos simulados – El uso del modelo bayesiano produce un rendimiento excelente a todos los niveles de granularidad – Sin embargo, este trabajo debe considerarse sólo como un primer paso hacia una evaluación más completa con alumnos reales Conclusiones


Descargar ppt "1 Razonamiento aproximado y modelado del alumno Curso de doctorado Fundamentos Teóricos de la Inteligencia Artificial Curso 2004-2005 Eva Millán."

Presentaciones similares


Anuncios Google