Redes Bayesianas Título Francisco Roche Beltrán Huelva, 20 de Abril de 2007

Índice  Introducción a las Redes Bayesianas  Búsqueda de la Red Bayesiana mas probable.  Tratamiento de variables continuas  Cadenas de Markov

Introducción Un sistema de DM pueden llevar a cabo una o más de las siguientes tareas (funciones):  Descripción de clases.  Asociación o descubrimiento de relaciones o correlaciones entre un conjunto de datos.  Clasificación o análisis de un conjunto de entrenamiento con clase conocida y construye un modelo para cada clase.  Predicción o regresión.  Clustering o identificación de subconjuntos de objetos que tienen datos similares entre sí.  Análisis de series temporales

 Función principal el estudio de la relación de dependencia de parámetros.  Ahora bien la forma adoptada es la red bayesiana, los motivos que influyen en esta decisión son: 1. Forma visual la relación de dependencia existente entre las variables del dominio del problema. 2. Incertidumbre de forma global. 3. Variables no cuantificables. 4. Dan reglas de cómo obtienen esta información. Inconvenientes 1. Variables continuas. 2. Coste computacional. Introducción

1 INTRODUCCION Introduccion  Búsqueda  Introducción  Cadenas de Markov  Variables continuas

DAG Introducción Una Red Bayesiana es una DAG (Grafo acíclico dirigido) Nodos están etiquetados con los nombres de las variables Y1Y1 Y2Y2 Y4Y4 Y3Y3 Arcos dirigidos indican relación de dependencia y en algunos casos relación causal.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas

Introducción Y1Y1 Y2Y2 Y4Y4 Y3Y3 P es una distribución joint sobre N. Y 2 = 00.7 Y 2 = 10.3 Y 1 = V0.8 Y 1 = F0.2 Y1Y1 VVFF Y2Y Y 4 =A Y 4 =B Y 3 = 20.5 Y 3 = 50.5  Búsqueda  Introducción  Cadenas de Markov  Variables continuas

P(A  B) = P(A) * P(B|A) Dos sucesos A y B se dice que son independientes si y sólo si: P(A  B) = P(A) * P(B). P (A  B ) = P (A) * P ( B| A) = P (A) * P (B) P( B | A ) = P (B)  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

Y1Y1 Y2Y2 Y4Y4 Y3Y3 Y1Y1 VVFF Y2Y Y 4 =A Y 4 =B P(y 1..y 4 )= P(y 1 ) * P(y 2 |y 1 ) * P(y 3 |y 2,y 1 ) * P(y 4 |y 1,y 2,y 3 ) P(y 1..y 4 )= P(y 1 ) * P(y 2 ) * P(y 3 ) * P(y 4 |y 1,y 2 )) Y 2 no depende de Y 1 Y 3 no depende ni de Y 1, ni de Y 2 Y 4 no depende de Y 3 (conociendo Y 1 e Y 2 ) DEPENDENCIA CONDICIONAL  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

Tipo de animal y hábitat son dependientes mutuamente. Tipo de animal y hábitat no son dependientes mutuamente si yo sé el animal. Animal Hábitat Tipo de animal ?  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

X Y X Y X Y Modelo M1 Modelo M2  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

Puertas(2, 3, 4, 5 o más). Personas(2, 4, más de 4). Seguridad (baja, media, alta). Maletero (grande, mediano, pequeño). Precio compra(muy caro, caro, medio, bajo). Coste mantenimiento (muy caro, caro, medio, bajo). Grado de satisfacción(muy bueno, bueno, satisfecho, insatisfecho). Tarea de Data Mining: Asociación o relación de dependencia / independencia entre variables BASE DE DATOS DE COCHES UCI REPOSITORY  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

Para conocer el grado de satisfacción de un cliente en la adquisición de un coche sólo necesito saber el precio de compra y el coste de mantenimiento. MANTENIMIENTO SATISFACCIÓN COMPRANº PUERTAS SEGURIDAD Nº OCUPANTES MALETERO El número de puertas no tiene ninguna influencia en el resto de variables.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

Compra Mant. MUY CAROCAROMEDIOBAJO MUY CAROInsatisfecho (100%) Insatisfecho (100%) Satisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) CAROInsatisfecho (100%) Satisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) MEDIOSatisfecho (33%) Insatisfecho (67%) Satisfecho (33%) Insatisfecho (67%) Muy bueno (12%) Satisfecho (31%) Insatisfecho (57%) Muy bueno (12%) Satisfecho (31%) Insatisfecho (57%) BAJOSatisfecho (33%) Insatisfecho (67%) Muy bueno (12%) Satisfecho (31%) Insatisfecho (57%) Muy bueno (12%) Bueno(21%) Satisfecho (10%) Insatisfecho (57%) Muy bueno (12%) Bueno(21%) Satisfecho (10%) Insatisfecho (57%)  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

MANTENIMIENTO SATISFACCIÓN COMPRANº PUERTAS SEGURIDAD Nº OCUPANTES MALETERO Support Vector Machines.- Aproximación bayesiana. Incorporación de selección de características a filtros.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

Extraer información de una página Web Modelar (automático) 1.Clases. 2.Propiedades. 3.Relaciones. Inferir (automático) 1.Clasificar. 2.Correlacionar. 3.Extrapolar. Responder a preguntas sobre el modelo 1.Evidencia. 2.Inferencia. 3.Cualquier otro tipo.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción

edadsueldo vivienda propiaciudad siHuelva noHuelva noSevilla siSevilla noHuelva noHuelva siHuelva siSevilla Si sueldo  [700,850] entonces vivienda propia = no soporte: … confianza: 4 / 5 = 80% P (vivienda propia = no | sueldo  [700,850]) = 0.8  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción Redes bayesianas y Reglas de asociacion

edadsueldo vivienda propiaciudad siHuelva noHuelva noSevilla siSevilla noHuelva noHuelva siHuelva siSevilla Si sueldo  [700,850] entonces vivienda propia = no confianza: 4 / 5 = 80% Si edad < 38 entonces vivienda propia = no confianza: 4 / 5 = 80% Si edad < 38 y sueldo  [700,850] entonces vivienda propia = no ¿ Con qué grado de confianza / certidumbre?  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción Redes bayesianas y Reglas de asociacion

Atributos tienen valores no cuantificables. Por ejemplo si consideramos la variable aleatoria color de un coche, y etiquetamos blanco..1, negro..2, azul..3 Blanco Negro Azul Blanco Azul Negro  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Introducción Tecnica de los vecinos

2 BUSQUEDA  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

 El experto sabe determinar directamente un modelo gráfico.  Sin embargo, es más habitual que no se conozcan, al menos en forma total, las relaciones de influencia entre los elementos que intervienen.  El número de modelos (redes bayesianas) diferentes que son posibles, se eleva de manera considerable en función del número n de variables a considerar: n * (n-1) /2 2  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

 Método algorítmico capaz de generar redes bayesianas utilizando algoritmos evolutivos A1A1 A2A2 A3A3...AnAn Algoritmo Redes Bayesianas  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

AEAE Red Bayesiana X Individuo con mejor bondad población inicial Red Bayesiana 1 Red Bayesiana 2 Red Bayesiana 3...  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

Entrada: Un conjunto de datos D Salida: Una Red Bayesiana Crearycargarpoblacioninicial; Evaluar; Vueltas_sin_mejorar := 0; mientras no solucion y (vueltas_sin_mejorar < MM) hacer inicio Seleccion; Cruce; Mutacion; Nuevageneracion; Evaluar; fin; Escribirsolucion;  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

 Se elige como primer individuo una red bayesiana en la que no hay ningún arco entre los nodos.  Se crean los 49 individuos restantes a partir del primer individuo tomando aleatoriamente una variable y eligiendo de forma también aleatoria un nodo padre para ella. Este proceso se repite dos veces para el segundo, tres veces para el tercero... Individuo 1 Individuo 2 Individuo 3  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

 Especial mención cabe reseñar que dado que la red bayesiana es un grafo acíclico dirigido, cada vez que se intenta insertar un padre se debe de comprobar antes que no provoca ciclo, si es así este nodo padre no se inserta.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

Réplica  Estrategia elitista con un elemento para obtener convergencia en el algoritmo Operador de cruce  Intercambiar los padres de una variable al azar entre dos individuos  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

Operador de mutación  Alterar uno o más genes del individuo  Para cada individuo se escoge aleatoriamente si se añade o se quita un padre.  Sólo se quita un padre si lo tiene.  Sólo se añade un padre si no produce ciclo.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

 M es la red bayesiana a evaluar.  D son los datos de entrenamiento.  I recorre cada una de las variables.  J recorre cada combinación posible diferente de valores de los padres en la red bayesiana de la variable i.  n 1i, n 2i,... n ni es el número de veces que aparece el estado 1, 2... N para la variable i en la combinación j de los padres.  N i = n 1i + n 2i +.. n ni  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

 El algoritmo RB es capaz de encontrar la red bayesiana con mayor probabilidad de generar los datos de entrenamiento de forma global evitando mínimos locales al utilizar algoritmos evolutivos.  En comparación con las reglas de asociación se puede tratar la incertidumbre de forma global y no de forma local a cada regla.  Se ofrece una representación muy gráfica del conocimiento inducido.  Se puede aplicar a variables no cuantificables.  Proporcionan información de cómo clasifican, en comparación con las redes neuronales.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Búsqueda

3 Variables continuas  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables Continuas

Variables discretas – continuas Una variable aleatoria se dice que es discreta si existe un conjunto numerable E (es decir existe una biyección entre los números naturales y elementos x del conjunto), tal que E  R | P(x E) = 1. Número finito de estados implica que una variable se considere como discreta. Soluciones planteadas: Realizar una discretización previa de dichas variables con dominios continuos. Modelar dichas variables usando un conjunto de familias de distribuciones. (MTE y MTG). SOLUCION ADOPTADA: La discretización está inmersa dentro del propio Algoritmo Evolutivo, realizándose in-situ durante el propio proceso de aprendizaje.  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

Los tres puntos de corte seleccionados, para el atributo representado serían C1, C2 y C3 originando los 4 intervalos: [O, C2], [C2, C3], [C3, C1] y [C1, M]. Detección de Outliers El intervalo [C1, M] no cumple el requisito establecido del porcentaje de instancia, por lo tanto el punto de corte C1 no se considera, seleccionándose el siguiente punto de corte, en la figura el punto de corte C4, de tal forma que los intervalos serían: [O, C4], [C4, C2], [C2, C3] y [C3, M].  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

Entrada: Un conjunto de datos D Salida: Una Red Bayesiana Crearycargarpoblacioninicial; Evaluar; Vueltas_sin_mejorar := 0; mientras no solucion y (vueltas_sin_mejorar < MAX) hacer inicio Seleccion; Cruce; Mutacion; Mutacion_para_continuos; Nuevageneracion; Evaluar; fin; Escribirsolucion;  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

Temperatura Llueve mañana > 15 grados5 a 15 grados< 5 grados SI149 NO961 El algoritmo utiliza un operador especial para variables con dominios continuos. LLUEVE TEMPERATURA  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

Temperatura Llueve mañana > 15 grados5 a 15 grados< 5 grados SI149 NO961 Temperatura Llueve mañana > 15 grados10 a 15 grados 5 a 10 grados< 5 grados SI …04.. NO …51… Aumenta un intervalo  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

Temperatura Llueve mañana > 15 grados5 a 15 grados< 5 grados SI149 NO961 ¿ Fusiona intervalos ? Temperatura Llueve mañana 0 a 50 grados SI 14 NO 16  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Variables continuas

4 Cadenas de Markov  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Cadenas de Markov

 El futuro del proceso sólo depende del estado presente y no de la historia del mismo.  Veamos un ejemplo : Número ininterrumpido de éxitos que se han obtenido (Bernouilli, 0.7 éxito y 0.3 fallo) …  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Cadenas de Markov

CADENAS DE DE MARKOV El estado en el tiempo t sólo depende del estado en el tiempo t-1 P(x = 1, t | x =1, t-1) = 0.3 por ejemplo, luego son probabilidades condicionadas  Búsqueda  Introducción  Cadenas de Markov  Variables continuas Cadenas de Markov

FIN