ENTROPÍA PARA BAYES Hebe Alicia Cadaval Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

PARA QUE SE USA Para calcular la incertidumbre a priori. Para calcular la incertidumbre que acarrea cada mensaje. Para calcular la incertidumbre promedio a posteriori. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

PARA QUE SE USA Para saber si la información provista por el informante reduce o no la incertidumbre. Si la matriz de verosimilitud es inútil, la incertidumbre no se reduce. Si el informante brinda información perfecta, la incertidumbre desaparece, pasamos a certeza. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

FÓRMULA H = -  pi * log2 pi Hebe Alicia Cadaval

CÁLCULO DEL LOGARITMO EN BASE 2 Log10 X Log2 X = ---------------- Log10 2 Hebe Alicia Cadaval

EJEMPLO Las probabilidades a priori son: 0,6 y 0,4. La matriz de verosimilitud es: N1 N2 Z1 0,3 Z2 0,6 0,9 Z3 0,1 Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

Para el mensaje Z1, tenemos la siguiente tabla: EJEMPLO Para el mensaje Z1, tenemos la siguiente tabla: P(Nj) P(Zi/Nj) P(Zi y Nj) P(Nj/Zi) 0,6 0,3 0,18 1 0,4 P(Z1)=0,18 Hebe Alicia Cadaval

Para el mensaje Z2, tenemos la siguiente tabla: EJEMPLO Para el mensaje Z2, tenemos la siguiente tabla: P(Nj) P(Zi/Nj) P(Zi y Nj) P(Nj/Zi) 0,6 0,36 0,5 0,4 0,9 P(Z2)=0,72 Hebe Alicia Cadaval

Para el mensaje Z3, tenemos la siguiente tabla: EJEMPLO Para el mensaje Z3, tenemos la siguiente tabla: P(Nj) P(Zi/Nj) P(Zi y Nj) P(Nj/Zi) 0,6 0,1 0,06 0,4 0,04 P(Z3)=0,10 Hebe Alicia Cadaval

EJEMPLO La entropía a priori es: H a priori = - [ 0,6 * log2 0,6 + 0,4 * log2 0,4 ] H a priori = - [ 0,6 * (-0,736965594) + 0,4 * (-1,321928095)] H a priori = - [- 0,442179356 - 0,528771238] H a priori = 0,970950594 Hebe Alicia Cadaval

EJEMPLO Las probabilidades a posteriori del Z1 son: 1 y 0, por lo tanto la entropía a posteriori del Z1 es: H (Z1) = - [ 1 * log2 1+ 0 * log2 0 ] H (Z1) = - [ 1 * 0 ] H (Z1) = - [ 0 ] H (Z1) = 0. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

EJEMPLO Las probabilidades a posteriori del Z2 son: 0,5 y 0,5, por lo tanto la entropía a posteriori del Z2 es: H (Z2) = - [ 0,5 * log2 0,5 + 0,5 * log2 0,5 ] H (Z2) = - [ 0,5 * ( - 1) + 0,5 * ( - 1) ] H (Z2) = - [ - 0,5 - 0,5 ] H (Z2) = - [ - 1 ] H (Z2) = 1 Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

EJEMPLO Las probabilidades a posteriori del Z3 son: 0,6 y 0,4, por lo tanto la entropía a posteriori del Z3 es: H (Z3) = - [ 0,6 * log2 0,6 + 0,4 * log2 0,4 ] o sea que es igual que la entropía a priori. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

EJEMPLO La H a priori es de: 0,970950594. La H (Z1) = 0. Z1 es un mensaje perfecto, ya que baja la incertidumbre a cero. La H (Z2) = 1. Z2 sube la incertidumbre. La H (Z3) =0,970950594. Z3 es un mensaje inútil, ya que no discrimina entre estados, de ahí que la incertidumbre a posteriori sea igual que la a priori. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

EJEMPLO La entropía promedio a posteriori será: HPP = H(Z1)*P(Z1) + H(Z2)*P(Z2) + H(Z3)*P(Z3) = = 0 * 0,18 + 1 * 0,72 + 0,970950594 * 0,10 = = 0,72 + 0,0970950594 = 0,8170950594 Como vemos, si bien hay distintos tipos de mensajes en la matriz de verosimilitud, la entropía promedio a posteriori es menor que la a priori, o sea que la incertidumbre baja en promedio. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO

EJEMPLO Cuando el análisis bayesiano funciona la entropía promedio a posteriori es menor que la a priori. Ya que si bien puede haber algún mensaje que aumente la incertidumbre, los otros mensajes más que compensan ese aumento. Hebe Alicia Cadaval RICARDO ESTEBAN LIZASO