Juan Domingo Tardós Dpto. Informática e Ingeniería de Sistemas. Inteligencia Artificial (30223) Lección 12. Probabilidad y Redes Bayesianas Curso 2012-2013 Juan Domingo Tardós Dpto. Informática e Ingeniería de Sistemas.

Índice Probabilidad. Conceptos básicos Regla de Bayes Independencia .vs. Independencia Condicional Redes Bayesianas D-Separación Basado en las transparencias de Sebastian Thrun y Peter Norwig, CS221: Artificial Intelligence, Stanford University, 2011

El Problema de Monty Hall Concurso de la tele (“Let’s make a deal”) Hay tres puertas cerradas, tras una hay un coche y tras las otras, sendas cabras El concursante elige una puerta, por ejemplo la 1 El presentador (Monty Hall) abre una de las otras dos puertas Él sabe dónde está el coche y nunca lo muestra Da al concursante la opción de mantener su elección o cambiar ¿Cual es la decisión más racional? ¿Mantener la elección? ¿Cambiar de puerta? ¿Da igual? Los creadores de “1,2,3 responda otra vez” ¿sabían cálculo de probabilidades?

Objetivo de este Tema Representación estructurada de la incertidumbre batería vieja alternador roto correa alternador rota batería no se recarga batería muerta indicador de la batería batería sin carga sin aceite sin gasolina manguito gasolina obstruído motor de arranque averiado luces luz del aceite indicador de la gasolina el coche no arranca varilla del aceite

Probabilidad Representa la incertidumbre Grado de creencia de un agente en una afirmación Tiene fundamento matemático sólido Aparece en todos los campos de la Inteligencia Artificial Aprendizaje Recuperación de información Visión por Computador Robótica Ejemplo: vamos al dentista dolor_de_muelas  caries dolor_de_muelas  caries  problema_encías  flemón  .... caries  dolor_de_muelas P( dolor_de_muelas | caries ) = 0.8 ? ? ?

Recordatorio X: variable aleatoria x: un valor específico Distribución discreta X: variable aleatoria x: un valor específico Probabilidad condicional: Tma Probabilidad Total: Regla de Bayes: X e Y son independientes si:

Probabilidad Probabilidad incondicional o a priori: Probabilidad condicional o a posteriori (dada una cierta evidencia):

Probabilidad Conjunta Eventos múltiples: cancer, resultado de un test Problema: para N variables binarias, hacen falta 2N-1 valores para especificar la distribución conjunta Tiene Cancer? Test Positivo? P(C,TP) si 0.018 no 0.002 0.196 0.784

Probabilidades Marginales Pueden obtenerse a partir de la conjunta Marginalizar: C P(C) si 0.02 no 0.98 Tiene Cancer? Test Positivo? P(C,TP) si 0.018 no 0.002 0.196 0.784 TP P(TP) si 0.214 no 0.786

Probabilidad Condicional Características del test: Probabilidad a priori: Podemos calcular la distribución conjunta: Tiene Cancer? Test Positivo? P(C,TP) si 0.018 no 0.002 0.196 0.784

Probabilidad Condicional Pregunta de diagnóstico: ¿Como de probable es que tenga cancer si ha dado test positivo? Siendo un test relativamente bueno, porque sale tan baja? Porque la probabilidad a priori era muy baja: Tiene Cancer? Test Positivo? P(C,TP) si 0.018 no 0.002 0.196 0.784

Regla de Bayes Ejemplo: C TP

Red Bayesiana (Bayes Network) Nuestra primera red Bayesiana: La flecha indica que existe dependencia entre la v.a. Test_positivo y la v.a. Cancer Cancer P(Cancer) y P(Test positivo | Cancer) constituyen el “modelo” A calcular P(Test positivo) se le llama “predicción” A calcular P(Cancer | Test positivo) se le llama “razonamiendo diagnóstico” Test positivo

Red Bayesiana Que significan estas dos redes Bayesianas?: Cancer versus Test positivo Test positivo El resultado del test depende del valor de la v.a. cancer Son v.a. Independientes: el test no aporta ninguna información sobre el cancer !!

Bayes con Normalización Retrasada Podemos hacer el cálculo sin normalizar: Y después normalizar: NO son probabilidades

Ejemplo: Cancer con dos tests Cálculo normalizando al final: C T1 T2 P(C) P(T1+|C) P’(C|+) P(T2+|C) P’(C|++) P(C|++) c 0.02 0.9 0.018 0.0162 0.2924 -c 0.98 0.2 0.196 0.0392 0.7076 0.0554 1.0000

Independencia Dos variables aleatorias X e Y son independientes si: Su distrubución conjunta se puede factorizar como el producto de dos distribuciones más simples X no da información sobre Y, ni Y sobre X Se denota mediante : La independencia suele ser una suposición simplificadora del modelado Las distribuciones conjuntas empíricas en el mejor de los casos son “cercanas” a ser independientes Son condiciones equivalentes

Ejemplo: Independencia N lanzamientos independientes de monedas: c 0.5 x c 0.5 x c 0.5 x

Ejemplo: ¿Independencia? P(T) Marginalizar T P warm 0.5 cold Si fueran independientes: P(T,W) = P(T) P(W) P(T,W) T W P warm sun 0.4 rain 0.1 cold 0.2 0.3 T W P warm sun 0.3 rain 0.2 cold P(W) W P sun 0.6 rain 0.4

Independencia Condicional P(Dolor, Caries, Infección) Si tengo caries, la sonda del dentista puede infectarme la muela Si tengo caries, es probable que tenga dolor de muelas Luego dolor e infección no son independientes, si tengo dolor de muelas, es más probable que se infecte P(Infección | Dolor) ≠ P(Infección) Pero: si tengo una caries, la probabilidad de que la sonda infecte no depende de si tengo o no dolor de muelas: P(Infección | Dolor, Caries) = P(Infección | Caries) Infección y Dolor son Condicionalmente Independientes dado Caries 20

Independencia Condicional Condiciones equivalentes: Lo denotamos mediante: Atención: Conocido Z, Y no da información adicional sobre X, ni X sobre Y ej: Dolor e Infeción son C.I. pero no son Independientes Luego veremos un ejemplo 21

Representación con Red Bayesiana P(Dolor, Caries, Infección) requeriría 23-1 = 7 parámetros P(Caries) p(+c) P(Infección | Caries) P(+i|+c) P(+i|-c) P(Dolor | Caries) P(+d|+c) P(+d|-c) Caries 1 parámetro 2 parámetros 2 parámetros Infección Dolor Basta con 5 parámetros

Notación del Grafo Nodos: variables (con sus dominios) Pueden ser observadas o no Arcos: interacciones Indican “influencia directa” entre variables Formalmente: codifican la independencia condicional Podemos pensar que representan relación causal (aunque no es necesario) Tiempo Caries Infección Dolor

Ejemplos X1 X2 Xn LL T LL T N lanzamientos de moneda independientes No hay interacción entre las variables: independencia absoluta La lluvia y el tráfico Modelo 1: independencia Modelo 2: la lluvia causa tráfico Un agente que use el modelo 2 se comportará mejor X1 X2 Xn LL T LL T

Ejemplo: Sol o Ascenso? S: Sol, A: Ascenso, C: Contento S A C Razonamiento predictivo:

Independencia pero no Ind.Condic. S: Sol, A: Ascenso, C: Contento S A C Razonamiento diagnóstico: Si viene contento y no sabemos qué tiempo hace Si hace sol, eso puede explicar la alegría Si no hace sol, es más probable que sea por el ascenso

Semántica de las Redes Bayesianas Un conjunto de nodos, uno por cada variable X Un grafo dirigido acíclico (DAG) Una distribución condicional por cada nodo Una colección de distribuciones sobre X, una por cada combinación de los valores de los nodos padre CPT: tabla de probabilidades condicionales Representación de un proceso “causal” con ruido A1 An X Red Bayesiana = Topología (grafo) + Prob. Condicionales Locales

Probabilidades en Redes Bayesianas Una red Bayesiana representa implícitamente las distribuciones conjuntas Como un producto de distribuciones condicionales locales As a product of local conditional distributions Para calcular la probabilidad de una asignación concreta, se multiplican todas la condiciones relevantes: Ejemplo: Permite reconstruir cualquier entrada de la tabla de probabilidades conjunta No todas las RB pueden representar todas las distribuciones conjuntas La topología define qué condiciones de independencia se cumplen Caries Infección Dolor

Ejemplo: Lanzamiento de monedas X1 X2 Xn h 0.5 t h 0.5 t h 0.5 t Solo las distribuciones cuyas variables son absolutamente independientes pueden modelarse mediante una red Bayesiana sin arcos.

Ejemplo: Tráfico LL T P(LL) P(T | LL) +ll 1/4 ll 3/4 LL T P(LL,T) +ll 3/16 -t 1/16 -ll 3/8 P(T | LL) +ll +t 3/4 t 1/4 T ll +t 1/2 t

Ejemplo: Alarma Antirrobo Variables L: Ha entrado un Ladrón A: La Alarma se dispara M: María llama a avisar J: Juan llama a avisar T: Terremoto! Ladrón Terremoto Alarma Juan llama María llama

Ejemplo: Alarma Antirrobo Ladrón Terremoto Alarma Juan llama María llama 1 1 4 2 2 10 ¿Número de parámetros? En lugar de 25-1 = 31

Ejemplo: Alarma Antirrobo P(T) +t 0.002 t 0.998 L P(L) +l 0.001 l 0.999 Ladrón Terremoto Alarma Juan llama María llama L T A P(A|L,T) +b +e +a 0.95 a 0.05 e 0.94 0.06 b 0.29 0.71 0.001 0.999 A J P(J|A) +a +j 0.9 j 0.1 a 0.05 0.95 A M P(M|A) +a +m 0.7 m 0.3 a 0.01 0.99

Ejemplo: Alarma Antirrobo Ladrón Terremoto Alarma Juan llama María llama

Red Bayesiana Un RB es una codificación eficiente de un modelo probabilístico de un dominio Preguntas que podemos hacer: Inferencia: dada una RB, ¿cual es P(X | e)? Representación: dado el grafo de una RB, ¿qué tipos de distribuciones puede codificar? Modelado: ¿qué RB es más apropiada para representar un cierto dominio? BN is most appropriate for a given domain?

Red Bayesiana del seguro del coche

Ejemplo: El coche que no arranca Representación ingénua: 216-1 = 65535 parámetros Representación estructurada con RB: 47 parámetros batería vieja alternador roto correa alternador rota batería no se recarga batería muerta indicador de la batería batería sin carga sin aceite sin gasolina manguito gasolina obstruído motor de arranque averiado luces luz del aceite indicador de la gasolina el coche no arranca varilla del aceite Ejercicio: Calcúlalo

D-separación Objetivo: Encontrar (In)Dependencias Condicionales en una red Bayesiana Pregunta general: ¿son dos variables independientes dada una cierta evidencia? Solución: analizar el grafo Concepto de “d-separación” Cualquier ejemplo complejo se puede analizar usando tres casos básicos: Cadena causal Causa común Efecto común

Cadena Causal X Y Z Esta configuración es una “cadena causal” ¡si! ¿Es X independiente de Z dado Y? La evidencia en una cadena “bloquea” la influencia X: Bajas Presiones Y: Lluvia Z: Tráfico X Y Z ¡si!

Causa Común Y X Z Dos efectos de la misma causa ¡no! ¡si! ¿Son X y Z independientes? ¿Son X y Z independientes dado Y? Observar la causa bloquea la influencia entre los efectos Y ¡no! X Z Y: Alarma X: Juan llama Z: María Llama ¡si!

Efecto Común X Z Y Dos causas de un mismo efecto (estructura en v) ¿Son X y Z independentes? el partido de futbol y la lluvia causan tráfico, pero futbol y lluvia no están relacionados ¿Son X y Z independientes dado Y? si hay tráfico, la lluvia y el fútbol entran en competencia como explicación Al revés que en los casos anteriores: Observar un efecto activa la influencia entre las posibles causas X Z ¡si! Y ¡no! X: Lluvia Z: Fútbol Y: Tráfico

Alcanzabilidad (D-Separación) Sombreamos las variables de evidencia Pregunta: ¿cuándo son X e Y condicionalmente independentes dadas las variables de evidencia {Z}? Cuando X e Y están d-separados por Z Cuando no hay ningún camino activo de X a Y Un camino es activo si todos sus tripletes son activos: Cadena causal A  B  C donde B no es observada (en ambas direcciones) Causa común A  B  C donde B no es observada Efecto común (estructura en v) A  B  C donde B o uno de sus descendientes es observado Un solo triplete inactivo bloquea un camino Tripletes Activos Tripletes Inactivos

Ejemplos ¿Cuales de estas propiedades se cumplen? R B si no no T T’

Ejemplo L si R B si no D T no si T’ ¿Cuales de estas propiedades se cumplen? L si R B si no D T no si T’

Ejemplo R T D no si S no Variables: ¿Cuales se cumplen? R: Raining T: Traffic D: Roof drips S: I’m sad ¿Cuales se cumplen? R T D no si S no

¿Causalidad? Cuando una Red Bayesiana refleja la causalidad real del dominio: Suele ser más simple (los nodos tienen menos padres) Suele ser más fácil razonar con ella Suele ser más fácil de obtener a partir de expertos Pero las Redes Bayesianas no necesitan ser causales A veces no existe una red causal para el dominio La red acaba teniendo flechas que reflejan correlación, no relación causal Entonces, ¿qué significan exactamente las flechas? La topología puede que represente la estructura causal La topología siempre representa la independencia condicional

Resumen Red Bayesiana: Próximo tema: Inferencia en redes Bayesianas Captura las dependencias dispersas entre variables No todas dependen de todas, sólo suele haber unas pocas relaciones Representación eficiente de distribuciones conjuntas Reduce el número de parámetros de exponencial a lineal (en muchos casos) Próximo tema: Inferencia en redes Bayesianas

Inteligencia Artificial (30223) Grado en Ingeniería Informática Lección 12. Probabilidad y Redes Bayesianas AIMA-3ed 13.1 a 13.5 (AIMA-2ed 13.1 a 13.6) Tema 3 de www.ai-class.com