Redes Bayesianas Título Francisco Roche Beltrán Huelva, 20 de Abril de 2007.

Presentación del tema: "Redes Bayesianas Título Francisco Roche Beltrán Huelva, 20 de Abril de 2007."— Transcripción de la presentación:

1 Redes Bayesianas Título Francisco Roche Beltrán Huelva, 20 de Abril de 2007

2 Índice  Introducción a las Redes Bayesianas  Búsqueda de la Red Bayesiana mas probable.  Tratamiento de variables continuas  Cadenas de Markov

3 Introducción Un sistema de DM pueden llevar a cabo una o más de las siguientes tareas (funciones):  Descripción de clases.  Asociación o descubrimiento de relaciones o correlaciones entre un conjunto de datos.  Clasificación o análisis de un conjunto de entrenamiento con clase conocida y construye un modelo para cada clase.  Predicción o regresión.  Clustering o identificación de subconjuntos de objetos que tienen datos similares entre sí.  Análisis de series temporales

4  Función principal el estudio de la relación de dependencia de parámetros.  Ahora bien la forma adoptada es la red bayesiana, los motivos que influyen en esta decisión son: 1. Forma visual la relación de dependencia existente entre las variables del dominio del problema. 2. Incertidumbre de forma global. 3. Variables no cuantificables. 4. Dan reglas de cómo obtienen esta información. Inconvenientes 1. Variables continuas. 2. Coste computacional. Introducción

5 1 INTRODUCCION Introduccion  Búsqueda  Introducción  Cadenas de Markov  Variables continuas

6 DAG Introducción Una Red Bayesiana es una DAG (Grafo acíclico dirigido) Nodos están etiquetados con los nombres de las variables Y1Y1 Y2Y2 Y4Y4 Y3Y3 Arcos dirigidos indican relación de dependencia y en algunos casos relación causal.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas

7 Introducción Y1Y1 Y2Y2 Y4Y4 Y3Y3 P es una distribución joint sobre N. Y 2 = 00.7 Y 2 = 10.3 Y 1 = V0.8 Y 1 = F0.2 Y1Y1 VVFF Y2Y2 0101 Y 4 =A0.50.30.80.9 Y 4 =B0.50.70.20.1 Y 3 = 20.5 Y 3 = 50.5  Búsqueda  Introducción  Cadenas de Markov  Variables continuas

8 P(A  B) = P(A) * P(B|A) Dos sucesos A y B se dice que son independientes si y sólo si: P(A  B) = P(A) * P(B). P (A  B ) = P (A) * P ( B| A) = P (A) * P (B) P( B | A ) = P (B)  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

9 Y1Y1 Y2Y2 Y4Y4 Y3Y3 Y1Y1 VVFF Y2Y2 0101 Y 4 =A0.50.30.80.9 Y 4 =B0.50.70.20.1 P(y 1..y 4 )= P(y 1 ) * P(y 2 |y 1 ) * P(y 3 |y 2,y 1 ) * P(y 4 |y 1,y 2,y 3 ) P(y 1..y 4 )= P(y 1 ) * P(y 2 ) * P(y 3 ) * P(y 4 |y 1,y 2 )) Y 2 no depende de Y 1 Y 3 no depende ni de Y 1, ni de Y 2 Y 4 no depende de Y 3 (conociendo Y 1 e Y 2 ) DEPENDENCIA CONDICIONAL  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

10 Tipo de animal y hábitat son dependientes mutuamente. Tipo de animal y hábitat no son dependientes mutuamente si yo sé el animal. Animal Hábitat Tipo de animal ?  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

11 X1111111100000 Y1111111000000 X Y X Y Modelo M1 Modelo M2  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

12 Puertas(2, 3, 4, 5 o más). Personas(2, 4, más de 4). Seguridad (baja, media, alta). Maletero (grande, mediano, pequeño). Precio compra(muy caro, caro, medio, bajo). Coste mantenimiento (muy caro, caro, medio, bajo). Grado de satisfacción(muy bueno, bueno, satisfecho, insatisfecho). Tarea de Data Mining: Asociación o relación de dependencia / independencia entre variables BASE DE DATOS DE COCHES UCI REPOSITORY  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

13 Para conocer el grado de satisfacción de un cliente en la adquisición de un coche sólo necesito saber el precio de compra y el coste de mantenimiento. MANTENIMIENTO SATISFACCIÓN COMPRANº PUERTAS SEGURIDAD Nº OCUPANTES MALETERO El número de puertas no tiene ninguna influencia en el resto de variables.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

14 Compra Mant. MUY CAROCAROMEDIOBAJO MUY CAROInsatisfecho (100%) Insatisfecho (100%) Satisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) CAROInsatisfecho (100%) Satisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) MEDIOSatisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) Muy bueno (12%) Satisfecho (31%) Insatisfecho (57%) Muy bueno (12%) Satisfecho (31%) Insatisfecho (57%) BAJOSatisfecho (33%) Insatisfecho (67%) Muy bueno (12%) Satisfecho (31%) Insatisfecho (57%) Muy bueno (12%) Bueno(21%) Satisfecho (10%) Insatisfecho (57%) Muy bueno (12%) Bueno(21%) Satisfecho (10%) Insatisfecho (57%)  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

15 MANTENIMIENTO SATISFACCIÓN COMPRANº PUERTAS SEGURIDAD Nº OCUPANTES MALETERO Support Vector Machines.- Aproximación bayesiana. Incorporación de selección de características a filtros.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

16 Extraer información de una página Web Modelar (automático) 1.Clases. 2.Propiedades. 3.Relaciones. Inferir (automático) 1.Clasificar. 2.Correlacionar. 3.Extrapolar. Responder a preguntas sobre el modelo 1.Evidencia. 2.Inferencia. 3.Cualquier otro tipo.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

17 edadsueldo vivienda propiaciudad 25 825 siHuelva 37 850 noHuelva 35 850 noSevilla 401250 siSevilla 18 700 noHuelva 36 725 noHuelva 551800 siHuelva 421350 siSevilla Si sueldo  [700,850] entonces vivienda propia = no soporte: … confianza: 4 / 5 = 80% P (vivienda propia = no | sueldo  [700,850]) = 0.8  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción Redes bayesianas y Reglas de asociacion

18 edadsueldo vivienda propiaciudad 25 825 siHuelva 37 850 noHuelva 35 850 noSevilla 401250 siSevilla 18 700 noHuelva 36 725 noHuelva 551800 siHuelva 421350 siSevilla Si sueldo  [700,850] entonces vivienda propia = no confianza: 4 / 5 = 80% Si edad < 38 entonces vivienda propia = no confianza: 4 / 5 = 80% Si edad < 38 y sueldo  [700,850] entonces vivienda propia = no ¿ Con qué grado de confianza / certidumbre?  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción Redes bayesianas y Reglas de asociacion

19 Atributos tienen valores no cuantificables. Por ejemplo si consideramos la variable aleatoria color de un coche, y etiquetamos blanco..1, negro..2, azul..3 Blanco Negro Azul Blanco Azul Negro  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción Tecnica de los vecinos

20 2 BUSQUEDA  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

21  El experto sabe determinar directamente un modelo gráfico.  Sin embargo, es más habitual que no se conozcan, al menos en forma total, las relaciones de influencia entre los elementos que intervienen.  El número de modelos (redes bayesianas) diferentes que son posibles, se eleva de manera considerable en función del número n de variables a considerar: n * (n-1) /2 2  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

22  Método algorítmico capaz de generar redes bayesianas utilizando algoritmos evolutivos A1A1 A2A2 A3A3...AnAn 152312...36 113675...23 3144102...34... 63055...22 Algoritmo Redes Bayesianas  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

23 AEAE Red Bayesiana X Individuo con mejor bondad población inicial Red Bayesiana 1 Red Bayesiana 2 Red Bayesiana 3...  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

24 Entrada: Un conjunto de datos D Salida: Una Red Bayesiana Crearycargarpoblacioninicial; Evaluar; Vueltas_sin_mejorar := 0; mientras no solucion y (vueltas_sin_mejorar < MM) hacer inicio Seleccion; Cruce; Mutacion; Nuevageneracion; Evaluar; fin; Escribirsolucion;  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

25  Se elige como primer individuo una red bayesiana en la que no hay ningún arco entre los nodos.  Se crean los 49 individuos restantes a partir del primer individuo tomando aleatoriamente una variable y eligiendo de forma también aleatoria un nodo padre para ella. Este proceso se repite dos veces para el segundo, tres veces para el tercero... Individuo 1 Individuo 2 Individuo 3  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

26  Especial mención cabe reseñar que dado que la red bayesiana es un grafo acíclico dirigido, cada vez que se intenta insertar un padre se debe de comprobar antes que no provoca ciclo, si es así este nodo padre no se inserta.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

27 Réplica  Estrategia elitista con un elemento para obtener convergencia en el algoritmo Operador de cruce  Intercambiar los padres de una variable al azar entre dos individuos  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

28 Operador de mutación  Alterar uno o más genes del individuo  Para cada individuo se escoge aleatoriamente si se añade o se quita un padre.  Sólo se quita un padre si lo tiene.  Sólo se añade un padre si no produce ciclo.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

29  M es la red bayesiana a evaluar.  D son los datos de entrenamiento.  I recorre cada una de las variables.  J recorre cada combinación posible diferente de valores de los padres en la red bayesiana de la variable i.  n 1i, n 2i,... n ni es el número de veces que aparece el estado 1, 2... N para la variable i en la combinación j de los padres.  N i = n 1i + n 2i +.. n ni  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

30  El algoritmo RB es capaz de encontrar la red bayesiana con mayor probabilidad de generar los datos de entrenamiento de forma global evitando mínimos locales al utilizar algoritmos evolutivos.  En comparación con las reglas de asociación se puede tratar la incertidumbre de forma global y no de forma local a cada regla.  Se ofrece una representación muy gráfica del conocimiento inducido.  Se puede aplicar a variables no cuantificables.  Proporcionan información de cómo clasifican, en comparación con las redes neuronales.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

31 3 Variables continuas  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables Continuas

32 Variables discretas – continuas Una variable aleatoria se dice que es discreta si existe un conjunto numerable E (es decir existe una biyección entre los números naturales y elementos x del conjunto), tal que E  R | P(x E) = 1. Número finito de estados implica que una variable se considere como discreta. Soluciones planteadas: Realizar una discretización previa de dichas variables con dominios continuos. Modelar dichas variables usando un conjunto de familias de distribuciones. (MTE y MTG). SOLUCION ADOPTADA: La discretización está inmersa dentro del propio Algoritmo Evolutivo, realizándose in-situ durante el propio proceso de aprendizaje.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

33 Los tres puntos de corte seleccionados, para el atributo representado serían C1, C2 y C3 originando los 4 intervalos: [O, C2], [C2, C3], [C3, C1] y [C1, M]. Detección de Outliers El intervalo [C1, M] no cumple el requisito establecido del porcentaje de instancia, por lo tanto el punto de corte C1 no se considera, seleccionándose el siguiente punto de corte, en la figura el punto de corte C4, de tal forma que los intervalos serían: [O, C4], [C4, C2], [C2, C3] y [C3, M].  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

34 Entrada: Un conjunto de datos D Salida: Una Red Bayesiana Crearycargarpoblacioninicial; Evaluar; Vueltas_sin_mejorar := 0; mientras no solucion y (vueltas_sin_mejorar < MAX) hacer inicio Seleccion; Cruce; Mutacion; Mutacion_para_continuos; Nuevageneracion; Evaluar; fin; Escribirsolucion;  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

35 Temperatura Llueve mañana > 15 grados5 a 15 grados< 5 grados SI149 NO961 El algoritmo utiliza un operador especial para variables con dominios continuos. LLUEVE TEMPERATURA  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

36 Temperatura Llueve mañana > 15 grados5 a 15 grados< 5 grados SI149 NO961 Temperatura Llueve mañana > 15 grados10 a 15 grados 5 a 10 grados< 5 grados SI …04.. NO …51… Aumenta un intervalo  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

37 Temperatura Llueve mañana > 15 grados5 a 15 grados< 5 grados SI149 NO961 ¿ Fusiona intervalos ? Temperatura Llueve mañana 0 a 50 grados SI 14 NO 16  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

38 4 Cadenas de Markov  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Cadenas de Markov

39  El futuro del proceso sólo depende del estado presente y no de la historia del mismo.  Veamos un ejemplo : Número ininterrumpido de éxitos que se han obtenido (Bernouilli, 0.7 éxito y 0.3 fallo) 0 1 2 … 0.3 0.7 0.3  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Cadenas de Markov

40 CADENAS DE DE MARKOV El estado en el tiempo t sólo depende del estado en el tiempo t-1 P(x = 1, t | x =1, t-1) = 0.3 por ejemplo, luego son probabilidades condicionadas. 1 1 2 0.3 0.6 0.8 0.1 0.5 0.3 0.2 1 2 3 0.3 0.6 0.1 0.8 0.1 0.3 0.5 0.2  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Cadenas de Markov

41 FIN