Incertidumbre Capítulo 13. Contenido Incertidumbre Probabilidad Sintaxis y Semántica Inferencia Estocástica Independencia y La Regla de Bayes.

Presentación del tema: "Incertidumbre Capítulo 13. Contenido Incertidumbre Probabilidad Sintaxis y Semántica Inferencia Estocástica Independencia y La Regla de Bayes."— Transcripción de la presentación:

1 Incertidumbre Capítulo 13

2 Contenido Incertidumbre Probabilidad Sintaxis y Semántica Inferencia Estocástica Independencia y La Regla de Bayes

3 Incertidumbre Sea la acción A t = salir hacia el aeropuerto t minutos antes del vuelo. ¿Permitirá la Acción A t que pueda yo llegar al aeropuerto a tiempo? Problemas que pueden surgir: Observabilidad parcial (estado del camino, los planes de los otros conductores, etc). Sensores con ruido (reportes de tráfico imprecisos). Incertidumbre en el resultado de la acción (llanta pinchada, por ejemplo). La inmensa complejidad del modelado y la predicción del tráfico. Una representación en lógica clásica simple puede: 1.Exponerse a la falsedad: “A 25 me permitirá llegar a tiempo” pero con un margen de error mínimo e.g. t=26, o 2.Conducir a conclusiones que son muy débiles o muy complejas para tomar decisiones: “A 25 me permitirá llegar a tiempo si no hay accidentes en el puente y si no llueve y mi llantas no se pinchan y...” (De A 1440 se podría decir con confianza (y con razón) que me permitiría llegar a tiempo, pero tendría quizás que pasar la noche en el aeropuerto…)

4 Métodos para lidiar con la incertidumbre Lógica por omisión (Default) o nó monótona (Nonmonotonic): –Supongo que mi vehículo no tiene una llanta pinchada. –Supongo que A 25 tendrá éxito, a menos que la evidencia me contradiga. Problemas: ¿Cuáles suposiciones son razonables?. ¿Qué hacer con las contradicciones? Reglas con factores difusivos: –A 25 |→ 0.3 llegar a tiempo (La acción tiene una prob de.3 de éxito) –Regadera |→ 0.99 Grama_Húmeda –Grama_Húmeda |→ 0.7 Lluvia Problemas: Problemas con la combinación, e.g., ¿La Regadera causa Lluvia ?? Probabilidad –Modela el grado de creencia del agente dada la evidencia disponible: –A 25 me llevará a tiempo con probabilidad 0.04

5 Probabilidad Las afirmaciones probabilísticas combinan (y representan sucíntamente) los efectos de: –la pereza o la incapacidad: cuando no alcanzamos a enumerar las excepciones o a calificar las reglas y condiciones especiales. –ignorancia: La falta de conocimiento sobre hechos relevantes, condiciones iniciales o cualquier otro detalle crucial. Probabilidad Subjectiva: Estas probabilidades asocian las proposiciones con el estado del conocimiento del propio agente. e.g., P(A 25 | no se han reportado accidentes) =0.06 No hay afirmaciones acerca del mundo Las probabilidades de las proposiciones cambian cuando llega nueva evidencia: e.g., P(A 25 | no se han reportado accidentes, 5 a.m.) = 0.15

6 Tomando decisiones con incertidumbre Supongo que creo en lo siguiente: P(A 25 me lleva a tiempo | …) = 0.04 P(A 90 me lleva a tiempo | …) = 0.70 P(A 120 me lleva a tiempo | …) = 0.95 P(A 1440 me lleva a tiempo | …) = 0.9999 ¿Cuál acción debo elegir? Depende de mis preferencias acerca de perder el vuelvo vs. tiempo de espera, entre otros compromisos. –Una teoría de Utilidad se usa para representar e inferir preferencias –Teoría de Decisión = teoría de probabilidades + teoría de utilidad

7 Sintaxis El elemento básico: la variable aleatoria En forma similar a la lógica proposicional: mundos posibles se definen con asignaciones de valores a variables aleatorias. Variables Aleatorias Buleanas e.g., Caries (¿Tengo una caries?) Variables Aleatorias Discretas e.g., El clima es uno de estos Los valores en el dominio deben ser exhaustivos (cubrir todas las posibilidades) y mutuamente excluyentes. Las proposiciones elementales se construyen asignando un valor a una variable aleatoria, e.g. Clima=soleado o Caries=falso. Las proposiciones complejas se forman a partir de proposiciones elementales y con los conectivos lógicos standard e.g., Clima = soleado  Caries = falso

8 Sintaxis Evento atómico: Una especificación completa del estado del mundo acerca de la cual el agente tiene dudas E.g., si el mundo consistiera sólo de dos variables buleanas Caries y Dolor_Muelas, entonces habría 4 eventos atómicos distintos: Caries = falso  Dolor_Muelas = falso Caries = falso  Dolor_Muelas = verdad Caries = verdad  Dolor_Muelas = falso Caries = verdad  Dolor_Muelas = verdad Los Eventos Atómicos son mutuamente exclusivos y exhaustivos

9 Axiomas de probabilidad Para cada par de proposiciones A, B –0 ≤ P(A) ≤ 1 –P(verdad) = 1 and P(falso) = 0 –P(A  B) = P(A) + P(B) - P(A  B)

10 Probabilidad a priori Probabilidades a priori o incondicionales de las proposiciones e.g., P(Caries = verdad) = 0.1 and P(Clima = soleado) = 0.72 corresponden a creencias previas a la llegada de cualquier tipo de evidencia. Una Distribución de Probabilidades da los valores de probabilidad para todas las posibles asignaciones P(Clima) = (normalizados, es decir, suman 1) La Distribución de Probabilidades Conjunta de un conjunto de variables aleatorias produce la probabilidad de cada evento atómico sobre esas variables aleatorias. P(Clima,Caries) = una matriz de 4 × 2 valores: Clima =soleadolluviosonublado nevado Caries = cierto 0.1440.02 0.016 0.02 Caries = falso0.5760.08 0.064 0.08 Toda pregunta acerca de un dominio puede ser respondida por la distribución conjunta

11 Probabilidad Condicional Probabilidades Conditionales o a posteriori e.g., P(Caries | Dolor_Muelas) = 0.8 es decir, es 0.8 dado que todo lo que se es que me duele la muela (Notación de las distribuciones conditionales: P(Caries | Dolor_Muelas) = vector de vectores de 2 elementos Si sabemos más e.g, Caries también es dada, entonces tenemos P(Caries | Dolor_Muelas,Caries) = 1 Nueva evidencia puede ser irrelevante y permitir la simplificación, e.g., P(Caries | Dolor_Muelas, Soleado) = P(Caries | Dolor_Muelas) = 0.8 Este tipo de inferencia, apoyada en conocimiento del dominio, es crucial

12 Probabilidad Conditional Definición de Probabilidad Condicional: P(a | b) = P(a  b) / P(b) if P(b) > 0 La Regla del Producto permite una formulación alternativa: P(a  b) = P(a | b) P(b) = P(b | a) P(a) Una versión general se tiene para distribuciones completas, e.g., P(Clima,Caries) = P(Clima | Caries) P(Caries) (Vista como un conjunto de 4 x 2 ecuaciones, no como el producto de matrices) La Regla de la Cadena se obtiene con aplicaciones sucesivas de la regla del producto: P(X 1, …,X n ) = P(X 1,...,X n-1 ) P(X n | X 1,...,X n-1 ) = P(X 1,...,X n-2 ) P(X n-1 | X 1,...,X n-2 ) P(X n | X 1,...,X n-1 ) = … = π i= 1 n P(X i | X 1, …,X i-1 )

13 Inferencia por enumeración Comencemos con la distribución conjunta de prob: Para cada proposición φ, sume los eventos atómicos en los que es cierta P(φ) = Σ ω:ω╞φ P(ω)

14 Inferencia por enumeración Comencemos con la distribución conjunta de prob: Para cada proposición φ, sume los eventos atómicos en los que es cierta: P(φ) = Σ ω:ω╞φ P(ω) P(toothache) = 0.108 + 0.012 + 0.016 + 0.064 = 0.2

15 Inferencia por enumeración Comencemos con la distribución conjunta de prob: Para cada proposición φ, sume los eventos atómicos en los que es cierta: P(φ) = Σ ω:ω╞φ P(ω) P(toothache) = 0.108 + 0.012 + 0.016 + 0.064 = 0.2

16 Inferencia por enumeración Comencemos con la distribución conjunta de prob: También se pueden calcular las probabilidades condicionales: P(  cavity | toothache) = P(  cavity  toothache) P(toothache) = 0.016+0.064 0.108 + 0.012 + 0.016 + 0.064 = 0.4

17 Normalización El denominador puede ser visto como una constante de normalización α P(Cavity | toothache) = α, P(Cavity,toothache) = α, [P(Cavity,toothache,catch) + P(Cavity,toothache,  catch)] = α, [ + ] = α, = Idea: Calcule la distribución de algunas variables de interés fijando las variables evidencia y sumando sobre las variables ocultas.

18 Inferencia por enumeración continuación. Normalmente, estamos interesados en La distribución conjunta a posteriori de las variables pregunta Y dados valores específicos e de las variables evidencia E Sean las variables ocultas H = X - Y - E la suma requerida de entradas conjuntas se obtiene sumando sobre las variables ocultas: P(Y | E = e) = αP(Y,E = e) = αΣ h P(Y,E= e, H = h) Los términos de la suma son entradas conjuntas porque Y, E y H juntos completan el conjunto de variables aleatorias. Problemas obvios: 1.La complejidad del peor caso es O(d n ) donde d es la mayor aridad 2.La complejidad de espacio es O(d n ) para almacenar la distribución conjunta 3.¿Cómo encontramos los números para O(d n ) entradas?

19 Independencia A y B son independientes ssi P(A|B) = P(A) o P(B|A) = P(B) o P(A, B) = P(A) P(B) P(Toothache, Catch, Cavity, Weather) = P(Toothache, Catch, Cavity) P(Weather) De 32 entradas pasamos a 12, para n monedas sesgadas independientes, O(2 n ) →O(n) La independencias absoluta es poderosa, pero rara. La odontología es una especialidad compleja, con cientos de variables, ninguna independiente de las otras. ¿Qué podemos hacer?

20 Independencia Conditional P(Toothache, Cavity, Catch) tiene 2 3 – 1 = 7 entradas independientes Si tengo una caries (cavity), la probabilidad de que aparezca en la revisión (catches in it) no depende de que tenga dolor de muelas (toothache): (1) P(catch | toothache, cavity) = P(catch | cavity) La misma independencia se cumple si no tengo ninguna caries: (2) P(catch | toothache,  cavity) = P(catch |  cavity) Significa que detectar la caries (Catch) es condicionalmente independiente de Dolor de Muela (Toothache) dada la caries (Cavity): P(Catch | Toothache,Cavity) = P(Catch | Cavity) Otras declaraciones equivalentes son: P(Toothache | Catch, Cavity) = P(Toothache | Cavity) P(Toothache, Catch | Cavity) = P(Toothache | Cavity) P(Catch | Cavity)

21 Independencia Conditional continuación. Escriba toda la distribución conjunta usando la regla de la cadena: P(Toothache, Catch, Cavity) = P(Toothache | Catch, Cavity) P(Catch, Cavity) = P(Toothache | Catch, Cavity) P(Catch | Cavity) P(Cavity) = P(Toothache | Cavity) P(Catch | Cavity) P(Cavity) Es decir, 2 + 2 + 1 = 5 números independientes En la mayoría de los casos, el uso de la independencia condicional reduce el tamaño de la representación de la distribución conjunta de exponencial en n a lineal en n. La independencia condicional es la forma más básica y robusta de conocimiento acerca de ambientes inciertos.

22 La Regla de Bayes De la regla del producto P(a  b) = P(a | b) P(b) = P(b | a) P(a)  La regla de Bayes: P(a | b) = P(b | a) P(a) / P(b) o en forma de distribución P(Y|X) = P(X|Y) P(Y) / P(X) = αP(X|Y) P(Y) Es útil para evaluar probabilidades diagnóstico a partir de probabilidades de causas. –P(Causa|Efecto) = P(Efecto|Causa) P(Causa) / P(Efecto) –E.g., sea M meningitis y S cuello rígido: P(m|s) = P(s|m) P(m) / P(s) = 0.8 × 0.0001 / 0.1 = 0.0008 –Nota: La probabilidad a posteriori de menigitis es todavía muy pequeña, pero es mayor que la a priori.

23 La regla de Bayes y la independencia condiciona l P(Cavity | toothache  catch) = αP(toothache  catch | Cavity) P(Cavity) = αP(toothache | Cavity) P(catch | Cavity) P(Cavity) Este es un ejemplo de un modelo de Bayes Ingenuo: P(Cause,Effect 1, …,Effect n ) = P(Cause) π i P(Effect i |Cause) El número total de parámetros es lineal en n

24 Resumen La probabilidad es un formalismo riguroso para conocimiento incierto. Las distribuciones de probabilidad conjuntas especifican la probabilidad de cada evento atómico Se puede responder preguntas sumando sobre los eventos atómicos. Para dominios no triviales, debemos conseguir una manera de reducir el tamaño de la representación conjunta. La Independencia y la independencia condicional nos dan las herramientas