Razonamiento aproximado y modelado del alumno Curso de doctorado Fundamentos Teóricos de la Inteligencia Artificial Curso 2004-2005 Eva Millán

Razonamiento aproximado en modelado del alumno Introducción: los STI y el problema del modelado del alumno Lógica difusa y modelado del alumno: el sistema KNOME Redes bayesianas y modelado del alumno: Diseño y evaluación de test adaptativos basados en redes bayesianas

Razonamiento aproximado en modelado del alumno Introducción: los STI y el problema del modelado del alumno Lógica difusa y modelado del alumno: el sistema KNOME Redes bayesianas y modelado del alumno: Diseño y evaluación de test adaptativos basados en redes bayesianas

Sistemas Tutores Inteligentes Definición de Sistema Tutor Inteligente (STI) Un Sistema Tutor Inteligente es un sistema que posee un amplio conocimiento sobre cierta materia y cuyo objetivo es transmitir este conocimiento a un alumno por medio de un proceso interactivo personalizado. Características de un STI (Hartley y Sleeman, 1973). Un STI debe tener conocimiento sobre El dominio Estrategias de aprendizaje El alumno QUÉ ENSEÑAR CÓMO ENSEÑAR QUÉ SABE EL ALUMNO Diagnóstico cognitivo

Arquitectura tradicional de los STI Módulo del Alumno Modelo del alumno Diagnóstico MOTOR Módulo Experto Conocimiento del dominio Estructura currículum Problemas y herramientas resolución Módulo Instructor Estrategias aprendizaje Ayudas, etc. Módulo Entorno Interfaces Profesores Alumnos

¿Qué se entiende por inteligencia en un STI? Encuesta Shute, 1995. Pregunta ¿Qué significa la “I” en STI? Población Aproximadamente 20 expertos (VanLehn, Lesgold, Sleeman, Soloway, Woolf, etc.) Consenso casi general El elemento más importante diagnóstico cognitivo Segundo elemento más citado enseñanza adaptativa

Modelado del alumno Modelo del alumno. Estructura de datos utilizada para representar toda la información relativa al alumno Estado cognitivo, Pantallas visitadas, Problemas resueltos, Estilos favoritos de enseñanza, etc. Diagnóstico. Proceso que consiste en inferir, a partir de la información disponible, el estado cognitivo del alumno.

Diagnóstico cognitivo Problema que consiste en inferir, a partir de los datos observables, el estado cognitivo del alumno. D1 D2 Dn K1 K2 Ks Algoritmo de diagnóstico Heurísticos Razonamiento aproximado Otros

Lógica difusa y modelado del alumno El sistema KNOME

KNOME KNOME (Chin, 1989) es la componente que realiza el modelado del usuario en el sistema UNIX CONSULTANT (UC), una herramienta de consulta en lenguaje natural para el sistema operativo UNIX Durante la interacción con el usuario, KNOME crea y mantiene un modelo del usuario que usa para proporcionar ayuda al nivel de detalle adecuado según el conocimiento que posee el usuario El modelo de usuario de KNOME hace uso de estereotipos para representar tanto el conocimiento del usuario como el nivel de dificultad de la interacción Este modelo se utiliza para Eliminar la ambigüedad en las sentencias del usuario Evitar dar al usuario información que ya conoce Presentar la información al nivel de detalle adecuado Detectar las situaciones en las que el usuario necesita ayuda

Sesión de UC con usuario 2 Ejemplo de sesiones Hola, ¿Cómo puedo ayudarte? # ¿Cómo puedo borrar un fichero? Por ejemplo, para eliminar el fichero llamado foo, teclea ‘rm foo’ #Qué hace ruptime? ruptime se usa para listar todas las máquinas de la red, listar el número de usuarios en ellas, y listar su carga media Hola, ¿Cómo puedo ayudarte? # ¿Cómo puedo encontrar el inodo de un fichero? Usa ls-i #Qué hace ruptime? ruptime es como uptime, excepto que ruptime es para todas las máquinas de la red Sesión de UC con usuario 2 Sesión de UC con usuario 1

Cómo razona KNOME KNOME utiliza un modelo de estereotipos doble Los usuarios se clasifican en cuatro niveles novice, begginer, intermediate, expert Los conceptos se agrupan en cuatro niveles de dificultad simple, mundane, complex y esoteric Los estereotipos de usuarios se relacionan con los estereotipos de niveles de dificultad mediante reglas difusas Si el usuario es intermediate, conoce la mayoría de los conceptos mundane

Cómo razona KNOME Durante la interacción con el usuario, KNOME almacena los conceptos que el usuario conoce o desconoce. Esta información se usa para inferir el nivel del alumno. Una vez el alumno ha sido clasificado, se pueden hacer predicciones sobre si conoce otros conceptos. Tratamiento de la incertidumbre KNOME utiliza un número fijo de niveles de verosimilitud para una afirmación FALSE, UNLIKELY, UNCERTAIN, LIKELY, TRUE Y modificadores somewhat, very (excepto para FALSE y TRUE) predicados A FEW, MOST, ALL, NONE

Cómo razona KNOME

Cómo razona KNOME Deduciendo el tipo de usuario 1. Recolección de evidencia

Cómo razona KNOME 2. Combinación de evidencia Regla de diagnóstico SI el usuario U conoce el concepto C y C es COMPLEJO ENTONCES es algo probable que U sea EXPERTO Regla de predicción SI el usuario U es EXPERTO y el concepto C es SIMPLE, ENTONCES es probable que U conozca C

Ejemplo de sesión

Ejemplo de sesión

Conclusiones Hay pocos intentos serios de utilizar la lógica difusa en modelado del alumno El sistema KNOME utiliza conceptos difusos pero no teoría de conjuntos ni lógica difusa En cualquier caso, el sistema KNOME es un ejemplo de sistema con un proceso de modelado del alumno simple pero robusto que proporciona muy buenas prestaciones

Diseño y evaluación de test adaptativos basados en redes bayesianas

Redes Bayesianas Ejemplo Pregunta 1 Concepto 1 Pregunta 2 Concepto 2 Pregunta 3 Objetivo: diseño, uso y evaluación de una red bayesiana para optimizar el proceso de diagnóstico cognitivo. Exactitud, tiempo

Test adaptativo informatizado Enseñanza en grupo Enseñanza individualizada Sistemas tradicionales de E.A.O. Sistemas tutores inteligentes Test tradicionales de lápiz y papel Test adaptativos Diferencia clave Capacidad de adaptación al alumno Definición de TAI: Test administrado por un ordenador donde la selección de la siguiente pregunta a plantear y la decisión de finalizar el test se realizan de una forma dinámica basándose en la estimación actual del nivel de conocimiento del alumno.

Test Adaptativos Informatizados Elementos básicos de un TAI Modelo de respuesta asociado a cada pregunta Colección de ítems Método de selección de preguntas Método de estimación del nivel de conocimiento Criterio de finalización Teoría de respuesta al ítem (IRT, Item Response Theory) El comportamiento del examinado se representa por una variable continua  Modelo de respuesta asociado es la llamada Curva Característica del Item (ICC), que es la función P() = P(Respuesta correcta a item I / nivel )

Teoría de la Respuesta al Item Modelo de tres parámetros de Birnbaum P() = ci + (1-ci) / (1 + exp (1.7 ai ( - bi)) ai, índice de discriminación bi, índice de dificultad del ítem ci, factor de adivinanza Ejemplo con ai = 1.2; bi = 6; ci = 0.3 0,2 0,4 0,6 0,8 1 1,2 -5 5 10 Métodos de selección de preguntas Elegir item más informativo, elegir item que minimiza la varianza a posteriori (Owen), etc. Criterios de finalización del test tiempo, número de items administrados, cambios en la estimación del nivel del alumno, indicadores de precisión de dicha estimación (error estándar)

Algoritmo TAI 4. Nivel inicial 1. Banco preguntas 2. Método selección Presentación primer item 3. Modelo de respuesta Selección y presentación del siguiente item El alumno responde NO ¿Se cumple criterio de parada? Estimación final nivel conocimiento SÍ 6. Criterio parada Esti mación nivel conocimiento 5. Método puntuación

Objetivos Definir los nodos y enlaces (modelo estructural) de una red bayesiana para modelado del alumno. Desarrollar un criterio adaptativo de selección de preguntas que permita realizar el diagnóstico Evaluar el modelo estructural y el test adaptativo

Modelo estructural A C11 C1n1 T1 Csns Cs1 Ts P1 P2 P3 P4 P5 P6 Pr ...

Ejemplo Cálculo Matemát Trigon. Geomet. Funciones Diferenciación w11=0.2 w12=0.25 Diferenciación Cálculo w13=0.25 Integración w14=0.3 a1=0.5 Aplicación Matemát Conceptos w21=0.3 a2=0.3 Trigon. w22=0.3 Funciones Aplicación w23=0.4 a3=0.2 w31=0.4 Conceptos Geomet. Aplicación w32=0.6

Especificación de los parámetros Pesos para la jerarquía de granularidad (ai, wi) La probabilidad condicionada se construirá a partir de una suma ponderada de dichos pesos. 20 + 0 + 50 20 + 30 + 50 P(A=sí/ T1 = sí, T2 = no, T3 = sí) = = 0,7 Peso 20 Peso 30 Peso 50 20 + 30 + 50 P(A=sí/ T1 = sí, T2 = sí, T3 = sí) = = 1 20 + 30 + 0 20 + 30 + 50 P(A=sí/ T1 = sí, T2 = sí, T3 = no) = = 0,5

Especificación de los parámetros En principio, necesitamos especificar P(Pi/{Cj / Cj pa(Pi)}), pero si suponemos que para cada ítem Pi tenemos un nivel de dificultad ai , un índice de discriminación bi , un factor de adivinanza ci, la probabilidad de descuido si , la importancia relativa de cada concepto en la pregunta. 1 1-s … Le falta un concepto c No sabe nada Sabe un concepto Sabe todo

Test Adaptativos basados en Redes Bayesianas Elementos básicos del test adaptativo El modelo de respuesta asociado a cada pregunta P(P/{Ci, Cipa(P)} El método de estimación del nivel de conocimiento Algoritmos de propagación bayesianos El banco de ítems o preguntas Parámetros IRT dificultad, discriminación, adivinanza, descuido El nivel inicial En ausencia de información, distribución uniforme El criterio de parada Se alcanza un número máximo de preguntas Todos los conceptos han sido diagnosticados El método de selección de preguntas

Métodos de Selección de Preguntas Criterio aleatorio (CA) Criterios adaptativos Criterios basados en la información Criterios basados en la ganancia de información Criterios basados en los conceptos de sensibilidad/especificidad Criterios condicionados

Criterios basados en la Ganancia de Información Definición 1 Dada una pregunta P y un nodo de conocimiento C, se define la utilidad1 del nodo P para el nodo C como U2(P, C) = (P(C=1/P=1) -P(C=1))  P(C=1) si P=1 P(P=1) P(P=0) + (P(C=0/P=0) - P(C=0))  P(C=0) si P=0

Criterios basados en los Conceptos de Sensibilidad/Especificidad Definición 2 Dada una pregunta P y un nodo de conocimiento C, se define la utilidad2 del nodo P para el nodo C como P(P=1/C=1) Sensibilidad U2(P, C) = P(C=1) P(C=0) + P(P=0/C=0) Especificidad

Concepto de Utilidad global Definición 3 La utilidad_globalS de una pregunta P, US(P), se define como US(P) = Definición 4 La utilidad_globalM de una pregunta P, UM(P), se define como UM(P) =

Criterios basados en la Utilidad La combinación de las cuatro definiciones anteriores da lugar a cuatro criterios adaptativos diferentes Ganancia información Máximo CMG Suma CSG Sensibilidad/Especificidad Máximo CME Suma CSE

Criterios Condicionados Criterio condicionado a la probabilidad del concepto (CCC). La utilidad de un item P se define como UCC(P) = donde U’(P,C) se define como U’(P,C) = Criterio condicionado a la probabilidad de la pregunta (CCP). La utilidad de un item P se define como UCP(P) =

Evaluación Uso de alumnos simulados Ventajas Más conveniente en estudios preliminares Permite comparar los resultados con el verdadero estado cognitivo

Alumnos Simulados Definición Un alumno simulado tipo s es un alumno que conoce el 100·s% de los conceptos Funcionamiento de un alumno simulado C1 C2 Cn-1 Cn C3 ··· C1 C2 Cn-1 Cn C3 P ···  u (1-u,u)  u  1-u X  Algoritmo diagnóstico basado en tests adaptativos bayesianos P(Pi)  Predicción Diagnóstico X

Evaluación Condiciones de la simulación Red de pruebas Una asignatura, cuatro temas, catorce conceptos, cien preguntas Parámetros Mismo número de preguntas con cada nivel de dificultad Factores de descuido 0.001, 0.01 y 0.2 Índices de discriminación 0.2, 1.2 y 2 Cada pregunta tiene seis posibles respuestas Se generaron alumnos simulados tipo 0.0, 0.2, 0.4, 0.6, 0.8 y 1 (30 de cada tipo, un total de 180 alumnos) Umbral u = 0.3

Resultados de la evaluación Interpretación Buen funcionamiento del algoritmo de diagnóstico Sólo uno de los criterios adaptativos propuestos demuestra un mejor comportamiento Los criterios basados en ganancia de información reducen significativamente el número de preguntas necesarias con un rendimiento aceptable

Comparativa criterios aleatorio y adaptativo Evolución del test Incorrecto Correcto Aleatorio Adaptativo Sin evaluar

Uso de las preguntas Aleatorio Adaptativo

Resultados por tipo de alumno

Conclusiones Adecuación de las redes bayesianas al problema 90.27% de conceptos correctamente diagnosticados Mejora mediante técnicas TAI Hasta un 94.53% de conceptos correctamente diagnosticados Evaluación con alumnos simulados El uso del modelo bayesiano produce un rendimiento excelente a todos los niveles de granularidad Sin embargo, este trabajo debe considerarse sólo como un primer paso hacia una evaluación más completa con alumnos reales