Sesión 6: Redes Bayesianas - Inferencia

Incertidumbre - RB I, L.E. Sucar [Neapolitan 90] Incertidumbre - RB I, L.E. Sucar

Inferencia en Redes Bayesianas Introducción Propagación en árboles Propagación en poliárboles Propagación en redes multi-conectadas Condicionamiento Simulación Agrupamiento Abducción Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación de Probabilidades El razonamiento probabilístico o propagación de probabilidades consiste en propagar de los efectos de la evidencia a través de la red para conocer la probabilidad a posteriori de las variables. Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar La propagación consiste en darle valores a ciertas variables (evidencia), y obtener la probabilidad posterior de las demás variables dadas las variables conocidas (instanciadas). Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Inferencia bayesiana C Causal: C -> H Evidencial: E -> H Mixta: C,E -> H P(H|C) H P(E|H) E Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Algoritmos Los algoritmos de propagación dependen de la estructura de la red: Árboles Poliárboles Redes multiconectadas Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación en Árboles . Cada nodo corresponde a una variable discreta, B{B 1, B 2,…, B n) con su respectiva matriz de probabilidad condicional, P(B|A)=P(Bj| Ai) Incertidumbre - RB I, L.E. Sucar

Propagación en Árboles H A I B C D E F G Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Dada cierta evidencia E --representada por la instanciación de ciertas variables-- la probabilidad posterior de cualquier variable B, por el teorema de Bayes: P( Bi | E)=P( Bi ) P(E | Bi) / P( E ) B Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia H A I B C D E F G E = {I,F,E} Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia Ya que la estructura de la red es un árbol, el Nodo B la separa en dos subárboles, por lo que podemos dividir la evidencia en dos grupos: E-: Datos en el árbol que cuya raíz es B E+: Datos en el resto del árbol Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia H E+ A I B C D E F G E- Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Entonces: P( Bi | E ) = P ( Bi ) P ( E-,E+ | Bi ) / P(E) Pero dado que ambos son independientes y aplicando nuevamente Bayes: P( Bi | E ) = a P ( Bi | E+ ) P(E- | Bi ) Donde a es una constante de normalización Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Definiciones: Si definimos los siguientes términos: l (Bi)= P ( E- | Bi) p (Bi)= P (Bi | E+ ) Entonces: P(Bi | E )= a p (B i) l (B i) Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Desarrollo En base a la ecuación anterior, se puede integrar un algoritmo distribuido para obtener la probabilidad de un nodo dada cierta evidencia Para ello se descompone el cálculo de cada parte: Evidencia de los hijos (l) Evidenica de los demás nodos (p) Incertidumbre - RB I, L.E. Sucar

Evidencia de los hijos (l) Dado que los hijos son condicionalmente independientes dado el padre: l (Bi) = P ( E- | Bi) = Pk P ( Ek- | Bi) Donde Ek- corresponde a la evidencia del subárbol del hijo k Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia hijos H A I B C D E-(D) E E-(E) F G J Incertidumbre - RB I, L.E. Sucar

Evidencia de los hijos (l) Condicionando respecto a los posibles valores de los hijos de B: l (Bi)= Pk [ Sj P ( Ek- | Bi, Sjk) P(Sjk | Bi) ] Donde Sk es el hijo k de B, y la sumatoria es sobre los valores de dicho nodo (teorema de probabilidad total) Incertidumbre - RB I, L.E. Sucar

Evidencia de los hijos (l) Dado que B es condicionalmente independiente de la evidencia dados sus hijos: l (Bi) = Pk [ Sj P ( Ek- | Sjk) P(Sjk | Bi) ] Substituyendo la definción de l: l (Bi)= Pk [ Sj P(Sjk | Bi) l (Sjk)] Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia hijos H A I B C D l(D) E l(E) F G Incertidumbre - RB I, L.E. Sucar

Evidencia de los hijos (l) Recordando que l es un vector (un valor por cada posible valor de B), lo podemos ver en forma matricial: l = l P (S | B) Incertidumbre - RB I, L.E. Sucar

Evidencia de los demás nodos (p) Condicionando sobre los diferentes valores del nodo padre (A): p (Bi) = P (Bi | E+ ) = Sj P (Bi | E+ , Aj) P(Aj | E+ ) Donde Aj corresponde a los diferentes valores del nodo padre de B Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia padre H A E+ I B C D E F G Incertidumbre - RB I, L.E. Sucar

Evidencia de los demás nodos (p) Dado que B es independiente de la evidencia “arriba” de A dado A: p (Bi) = Sj P (Bi | Aj) P(Aj | E+ ) La P(Aj | E+ ) corresponde a la P posterior de A dada toda la evidencia excepto B y sus hijos, por lo que se puede escribir como: P(Aj | E+ ) = a p (A i) Pk¹B lk (A i) Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Evidencia padre p(A) H A I B C l(C) D l(B) E F G Incertidumbre - RB I, L.E. Sucar

Evidencia de los demás nodos (p) Substituyendo P(Aj | E+ ) en la ecuación de p : p (Bi) = Sj P (Bi | Aj) [ a p (A i) Pk¹B lk (A i) ] De forma que se obtiene combinando la p de del nodo padre con la l de los demás hijos Incertidumbre - RB I, L.E. Sucar

Evidencia de los demás nodos (p) Dado que también p es un vector, lo podemos ver en forma matricial: p = P (B | A) PA Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Algoritmo Mediante estas ecuaciones se integra un algoritmo de propagación de probabilidades en árboles. Cada nodo guarda los valores de los vectores p y l, así como las matrices de probabilidad P. La propagación se hace por un mecanismo de paso de mensajes, en donde cada nodo envía los mensajes correspondientes a su padre e hijos: Incertidumbre - RB I, L.E. Sucar

Mensaje a los hijos (hacia abajo) -- nodo B a su hijo Sk : Mensaje al padre (hacia arriba) -- nodo B a su padre A: Mensaje a los hijos (hacia abajo) -- nodo B a su hijo Sk : Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Al instanciarse ciertos nodos, éstos envían mensajes a sus padres e hijos, y se propagan hasta a llegar a la raíz u hojas, o hasta encontrar un nodo instanciado. Así que la propagación se hace en un solo paso en un tiempo proporcional al diámetro de la red. Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación l H lI(H) lA(H) A lB(A) I lC(A) B C lD(B) lE(B) D E lF(D) lG(D) F G Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación p H pH(I) pH(A) A pA(B) I pA(C) B C pB(D) pB(E) D E pD(F) pD(G) F G Incertidumbre - RB I, L.E. Sucar

Condiciones Iniciales Nodos no conocidos: l (Bi) = [1,1, …] p (Bi) = [1,1, …] Nodos asignados (conocidos): l (Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado) p (Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado) Nodo raíz: p (A) = P(A), (probabilidad marginal inicial) Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo P(C) 0.8 0.2 Comida P(E|C) 0.9 0.7 0.1 0.3 Enf. P(F|E) 0.9 0.5 0.1 0.5 P(D|E) 0.7 0.4 0.3 0.6 Fiebre Dolor Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo Comida Enf. F=si l=[1,0] l=[1,1] Fiebre Dolor Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo Comida lF= [1,0] * [.9 .5 | .1 .5] = [.9 .5] lD= [1,1] * [.7 .4 | .3 .6] = [1 1] Enf. Fiebre Dolor P(F|E) 0.9 0.5 0.1 0.5 P(D|E) 0.7 0.4 0.3 0.6 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo l(C) = [.9 .5] * [.9 .7| .1 .3] = [.86 .78] Comida P(E|C) 0.9 0.7 0.1 0.3 l(E) = [.9 .5] * [1 1] = [.9 .5] Enf. Fiebre Dolor P(F|E) 0.9 0.5 0.1 0.5 P(D|E) 0.7 0.4 0.3 0.6 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo p(C) = [.8 .2] Comida p(E) = [.8 .2] * [.9 .7| .1 .3] = [.86 .14] P(E|C) 0.9 0.7 0.1 0.3 Enf. Fiebre Dolor P(F|E) 0.9 0.5 0.1 0.5 P(D|E) 0.7 0.4 0.3 0.6 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo p(C) = [.8 .2] Comida p(D) = [.86 .14] * [.9 .5] [.7 .4| .3 .6] = [.5698 .2742] p(E) = [.86 .14] Enf. Fiebre Dolor P(D|E) 0.7 0.4 0.3 0.6 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo p(C) = [.8 .2] Comida p(E) = [.86 .14] l(C) = [.86 .78] P(C)=a[.688 .156] P(C)= [.815 .185] l(E) = [.9 .5] P(E)=a[.774 .070] P(E)= [.917 .083] Enf. p(D) = [.57 .27] Fiebre Dolor l(D)=[1,1] P(D)=a[.57 .27] P(D)= [.67 .33] Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo Ejemplo propagación en árboles en HUGIN Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación en Poliárboles . Un poliárbol es una red conectada en forma sencilla, pero en la que un nodo puede tener varios padres: P(B | A1, A2, …, An) Incertidumbre - RB I, L.E. Sucar

Propagación en Poliárboles H I A B C D E F G Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Algoritmo El método es muy similar al de árboles, con algunas consideraciones adicionales: Considerar la probabilidad condicional del nodo dados todos sus padres para el cálculo de p y l Enviar los mensajes l a cada uno de los padres de un nodo Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación en Redes Multiconectadas Una red multiconectada es un grafo no conectado en forma sencilla, es decir, en el que hay múltiples trayectorias entre nodos (MCG). En este tipo de RP los métodos anteriores ya no aplican, pero existen otras técnicas alternativas: Condicionamiento Simulación estocástica Agrupamiento Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Condicionamiento Si instanciamos una variable, ésta bloquea las trayectorias de propagación. Entonces asumiendo valores para un grupo seleccionado de variables podemos descomponer la gráfica en un conjunto de SCG. Propagamos para cada valor posible de dichas variables y luego promediamos las probabilidades ponderadas. Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Condicionamiento 1=V 1=V 1 1 1 3 3 2 2 4 5 4 5 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Simulación Estocástica: Se asignan valores aleatorios a las variables no instanciadas, se calcula la distribución de probabilidad y se obtienen valores de cada variable dando una muestra. Se repite el procedimiento para obtener un número apreciable de muestras y en base al numero de ocurrencias de cada valor se determina la probabilidad de dicha variable. Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Simulación Estocástica: v 1 f f 3 2 v 4 5 f vfffv Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Agrupamiento: El método de agrupamiento consiste en transformar la estructura de la red para obtener un árbol, mediante agrupación de nodos usando la teoría de grafos. Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Agrupamiento Transformación: Eliminar direccionalidad de los arcos Ordenamiento de los nodos por máxima cardinalidad Moralizar el grafo (arco entre nodos con hijos comunes) Triangularizar el grafo Obtener los cliques y ordenar Construir árbol de cliques Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo 1 1 3 2 3 2 4 5 4 5 Incertidumbre - RB I, L.E. Sucar

Ordenamiento de Cliques 1 C1 3 2 C3 4 5 C2 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Árbol de Cliques C1 1,2,3 C2 2,3,4 C3 3,5 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Propagación La propagación es mediante el envio de mensajes en el árbol de cliques (en forma similar a árboles) Inicialmente se calcula la probabilidad conjunta (potencial) de cada clique, y la condicional dado el padre Dada cierta evidencia se recalculan las probabilidades de cada clique La probabilidad individual de cada variable se obtiene de la del clique por marginalización Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Complejidad En el peor caso, la propagación en redes bayesianas es un problema NP-duro En la práctica, en muchas aplicaciones se tienen redes no muy densamente conectadas y la propagación es eficiente aún para redes muy grandes Se realiza nvestigación en técnicas de propagación aproximada Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Ejemplo Propagación en redes multiconectadas en HUGIN Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Abducción La “abducción” se define como encontrar la mejor “explicación” (valores de un cierto conjunto de variables) dada cierta evidencia Normalmente se buscan los valores del conjunto “explicación” que tiene mayor probabilidad En general, el conjunto de mayor probabilidad NO es igual a los valores individuales de mayor probabilidad Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Abducción H A I B C D E Ejemplo: Max P(A,B,F|G,I) F G Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Referencias Pearl 88 – Cap. 4,5 Neapolitan 90 – Cap. 6,7,8 Incertidumbre - RB I, L.E. Sucar

Incertidumbre - RB I, L.E. Sucar Actividades Hacer ejercicios de propagación en redes bayesianas Incertidumbre - RB I, L.E. Sucar