ENTROPÍA PARA BAYES Hebe Alicia Cadaval Hebe Alicia Cadaval

Presentación del tema: "ENTROPÍA PARA BAYES Hebe Alicia Cadaval Hebe Alicia Cadaval"— Transcripción de la presentación:

1 ENTROPÍA PARA BAYES Hebe Alicia Cadaval Hebe Alicia Cadaval
RICARDO ESTEBAN LIZASO

2 PARA QUE SE USA Para calcular la incertidumbre a priori.
Para calcular la incertidumbre que acarrea cada mensaje. Para calcular la incertidumbre promedio a posteriori. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

3 PARA QUE SE USA Para saber si la información provista por el informante reduce o no la incertidumbre. Si la matriz de verosimilitud es inútil, la incertidumbre no se reduce. Si el informante brinda información perfecta, la incertidumbre desaparece, pasamos a certeza. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

4 FÓRMULA H = -  pi * log2 pi Hebe Alicia Cadaval

5 CÁLCULO DEL LOGARITMO EN BASE 2
Log10 X Log2 X = Log10 2 Hebe Alicia Cadaval

6 EJEMPLO Las probabilidades a priori son: 0,6 y 0,4.
La matriz de verosimilitud es: N1 N2 Z1 0,3 Z2 0,6 0,9 Z3 0,1 Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

7 Para el mensaje Z1, tenemos la siguiente tabla:
EJEMPLO Para el mensaje Z1, tenemos la siguiente tabla: P(Nj) P(Zi/Nj) P(Zi y Nj) P(Nj/Zi) 0,6 0,3 0,18 1 0,4 P(Z1)=0,18 Hebe Alicia Cadaval

8 Para el mensaje Z2, tenemos la siguiente tabla:
EJEMPLO Para el mensaje Z2, tenemos la siguiente tabla: P(Nj) P(Zi/Nj) P(Zi y Nj) P(Nj/Zi) 0,6 0,36 0,5 0,4 0,9 P(Z2)=0,72 Hebe Alicia Cadaval

9 Para el mensaje Z3, tenemos la siguiente tabla:
EJEMPLO Para el mensaje Z3, tenemos la siguiente tabla: P(Nj) P(Zi/Nj) P(Zi y Nj) P(Nj/Zi) 0,6 0,1 0,06 0,4 0,04 P(Z3)=0,10 Hebe Alicia Cadaval

10 EJEMPLO La entropía a priori es:
H a priori = - [ 0,6 * log2 0,6 + 0,4 * log2 0,4 ] H a priori = - [ 0,6 * (-0, ) + 0,4 * (-1, )] H a priori = - [- 0, , ] H a priori = 0, Hebe Alicia Cadaval

11 EJEMPLO Las probabilidades a posteriori del Z1 son: 1 y 0, por lo tanto la entropía a posteriori del Z1 es: H (Z1) = - [ 1 * log * log2 0 ] H (Z1) = - [ 1 * 0 ] H (Z1) = - [ 0 ] H (Z1) = 0. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

12 EJEMPLO Las probabilidades a posteriori del Z2 son: 0,5 y 0,5, por lo tanto la entropía a posteriori del Z2 es: H (Z2) = - [ 0,5 * log2 0,5 + 0,5 * log2 0,5 ] H (Z2) = - [ 0,5 * ( - 1) + 0,5 * ( - 1) ] H (Z2) = - [ - 0,5 - 0,5 ] H (Z2) = - [ - 1 ] H (Z2) = 1 Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

13 EJEMPLO Las probabilidades a posteriori del Z3 son: 0,6 y 0,4, por lo tanto la entropía a posteriori del Z3 es: H (Z3) = - [ 0,6 * log2 0,6 + 0,4 * log2 0,4 ] o sea que es igual que la entropía a priori. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

14 EJEMPLO La H a priori es de: 0,970950594.
La H (Z1) = Z1 es un mensaje perfecto, ya que baja la incertidumbre a cero. La H (Z2) = Z2 sube la incertidumbre. La H (Z3) =0, Z3 es un mensaje inútil, ya que no discrimina entre estados, de ahí que la incertidumbre a posteriori sea igual que la a priori. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

15 EJEMPLO La entropía promedio a posteriori será:
HPP = H(Z1)*P(Z1) + H(Z2)*P(Z2) + H(Z3)*P(Z3) = = 0 * 0, * 0,72 + 0, * 0,10 = = 0,72 + 0, = 0, Como vemos, si bien hay distintos tipos de mensajes en la matriz de verosimilitud, la entropía promedio a posteriori es menor que la a priori, o sea que la incertidumbre baja en promedio. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

16 EJEMPLO Cuando el análisis bayesiano funciona la entropía promedio a posteriori es menor que la a priori. Ya que si bien puede haber algún mensaje que aumente la incertidumbre, los otros mensajes más que compensan ese aumento. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO