Codificación de Shannon-Fano Facultad de Ingeniería Comunicación de Datos. Profesor : Alumnos : Marzo, 2003

Contenido Antecedentes Método de Shannon-Fano Propiedades de las tablas de código Entropía Utilización del método Conclusión

Antecedentes Este método de codificación fue desarrollado por Claude Shannon en los laboratorios Bell y por Robert Fano en MIT (Massachussets Institute of Technology) en la década del 40 casi simultáneamente C. Shannon R. Fano

Método de Shannon - Fano Se refiere a la probabilidad de aparición de cada símbolo en un mensaje. Básicamente se utiliza para la compresión de datos.

Propiedades Tablas de código Diferentes códigos, tienen diferentes tipos de bits Los códigos para símbolos con bajas probabilidades tienen más bits Los códigos para símbolos con altas probabilidades tienen menos bits Códigos de longitud diferente pueden ser unívocamente decodificados

Entropía La entropía se refiere a la cantidad de bits necesarios para representar un símbolo En un símbolo = - log2 (probabilidad) En un mensaje = suma de la entropía de sus símbolos

Utilización del método Para una secuencia de símbolos, se calcula la correspondiente lista de frecuencias de aparición de los símbolos. Se ordena la lista de símbolos según su frecuencia en orden decreciente. Se divide la lista en dos partes, de forma que la suma total de frecuencias de la mitad superior sea lo más cercana posible a la suma total de la parte inferior.

Utilización del método 4. A la mitad superior de la lista se le asigna el dígito binario 0, y a la mitad inferior se le asigna el dígito binario 1. Esto significa que los códigos de los símbolos en la primera mitad empezarán todos con 0 y los códigos en la segunda mitad empezarán todos con 1.

Utilización del método 5. Cada una de las mitades, se subdivide en grupos y se agregan bits (digitos binarios) a los códigos hasta que cada grupo conste de un único símbolo. 6. Se pueden representar los símbolos a modo de árbol binario

Utilización del método 7. Se calcula la entropía como: X = Largo de la serie / frecuencia Entropía = Log 2 (X) 8. Una vez calculada la entropía se calcula la entropía en el mensaje (cantidad de bits necesarios para representar el símbolo en el mensaje) Entropia * frecuencia del símbolo

Utilización del método 9. Finalmente el cálculo de los bits de código a transmitir está dado por la representación binaria (0,1) del símbolo y los bits de mensajes es la multiplicación de los bits de códigos * la frecuencia del símbolo

Ejemplo DDABEBADACABAAECDCBAEACA BCBAADDEAACAEAB Secuencia de símbolos inicial: DDABEBADACABAAECDCBAEACA BCBAADDEAACAEAB

1. Cálculo de Frecuencias de símbolos DDABEBADACABAAECDCBAEACA BCBAADDEAACAEAB A = 15 ; B = 7; C = 6; D = 6; E = 5 Total de veces que se repite cada símbolo en la series

2. Lista de símbolos Símbolo Frecuencia A 15 B 7 C 6 D E 5 Frecuencia: Veces que aparece cada letra o símbolo en la serie a transmitir

3. Se divide el grupo en dos (entre B y C) Símbolo Frecuencia A 15 B 7 C 6 D E 5 15+7 = 22 6+6+5=17

4. Mitad superior se asigna 0 e inferior 1 Símbolo Frecuencia 1 div A 15 B 7 C 6 1 D E 5

5. Se agregan bits hasta que sean únicos Símbolo Frecuencia 1 div 2 div 3 div A 15 00 ------ B 7 01 C 6 1 10 D 11 110 E 5 111

6. Representación como Árbol Binario Raíz 1 A B C D E A = 00 B = 01 C = 10 D = 110 E = 111

7. Entropía Símbolo Frec. Entropía A 15 1.38 B 7 2.48 C 6 2.70 D E 5 2.96 Total 39 12.32 A=Log2(39/15)=1.38 B=Log2 (39/7) =2.48 C=Log2 (39/6) =2.70 D=Log2 (39/6) =2.70 E=Log2 (39/5) =2.96

8. Entropía en el mensaje Símbolo Frec. Entropía 15 1.38 20.68 B 7 2.48 17.35 C 6 2.70 16.20 D E 5 2.96 14.82 Total 39 12.32 85.25

9. Bits de código y de Mensaje Símbolo Frec. Entropía Entropía mensaje Bits Código Mensaje A 15 1.38 20.68 2 30 B 7 2.48 17.35 14 C 6 2.70 16.20 12 D 3 18 E 5 2.96 14.82 Total 39 12.32 85.25 89

Si utilizáramos Shannon-Fano sólo usaríamos 89 bits. Conclusión Si codificáramos esta secuencia de símbolos utilizando 8 bits, utilizaríamos en total 312 bits (8 * 39 = 312). Si utilizáramos Shannon-Fano sólo usaríamos 89 bits. => Sólo codificamos el 29% (89/312)