Codificación de Shannon-Fano

Presentación del tema: "Codificación de Shannon-Fano"— Transcripción de la presentación:

1 Codificación de Shannon-Fano
Facultad de Ingeniería Comunicación de Datos. Profesor : Alumnos : Marzo, 2003

2 Contenido Antecedentes Método de Shannon-Fano
Propiedades de las tablas de código Entropía Utilización del método Conclusión

3 Antecedentes Este método de codificación fue desarrollado por Claude Shannon en los laboratorios Bell y por Robert Fano en MIT (Massachussets Institute of Technology) en la década del 40 casi simultáneamente C. Shannon R. Fano

4 Método de Shannon - Fano
Se refiere a la probabilidad de aparición de cada símbolo en un mensaje. Básicamente se utiliza para la compresión de datos.

5 Propiedades Tablas de código
Diferentes códigos, tienen diferentes tipos de bits Los códigos para símbolos con bajas probabilidades tienen más bits Los códigos para símbolos con altas probabilidades tienen menos bits Códigos de longitud diferente pueden ser unívocamente decodificados

6 Entropía La entropía se refiere a la cantidad de bits necesarios para representar un símbolo En un símbolo = - log2 (probabilidad) En un mensaje = suma de la entropía de sus símbolos

7 Utilización del método
Para una secuencia de símbolos, se calcula la correspondiente lista de frecuencias de aparición de los símbolos. Se ordena la lista de símbolos según su frecuencia en orden decreciente. Se divide la lista en dos partes, de forma que la suma total de frecuencias de la mitad superior sea lo más cercana posible a la suma total de la parte inferior.

8 Utilización del método
4. A la mitad superior de la lista se le asigna el dígito binario 0, y a la mitad inferior se le asigna el dígito binario 1. Esto significa que los códigos de los símbolos en la primera mitad empezarán todos con 0 y los códigos en la segunda mitad empezarán todos con 1.

9 Utilización del método
5. Cada una de las mitades, se subdivide en grupos y se agregan bits (digitos binarios) a los códigos hasta que cada grupo conste de un único símbolo. 6. Se pueden representar los símbolos a modo de árbol binario

10 Utilización del método
7. Se calcula la entropía como: X = Largo de la serie / frecuencia Entropía = Log 2 (X) 8. Una vez calculada la entropía se calcula la entropía en el mensaje (cantidad de bits necesarios para representar el símbolo en el mensaje) Entropia * frecuencia del símbolo

11 Utilización del método
9. Finalmente el cálculo de los bits de código a transmitir está dado por la representación binaria (0,1) del símbolo y los bits de mensajes es la multiplicación de los bits de códigos * la frecuencia del símbolo

12 Ejemplo DDABEBADACABAAECDCBAEACA BCBAADDEAACAEAB
Secuencia de símbolos inicial: DDABEBADACABAAECDCBAEACA BCBAADDEAACAEAB

13 1. Cálculo de Frecuencias de símbolos
DDABEBADACABAAECDCBAEACA BCBAADDEAACAEAB A = 15 ; B = 7; C = 6; D = 6; E = 5 Total de veces que se repite cada símbolo en la series

14 2. Lista de símbolos Símbolo Frecuencia A 15 B 7 C 6 D E 5
Frecuencia: Veces que aparece cada letra o símbolo en la serie a transmitir

15 3. Se divide el grupo en dos (entre B y C)
Símbolo Frecuencia A 15 B 7 C 6 D E 5 15+7 = 22 6+6+5=17

16 4. Mitad superior se asigna 0 e inferior 1
Símbolo Frecuencia 1 div A 15 B 7 C 6 1 D E 5

17 5. Se agregan bits hasta que sean únicos
Símbolo Frecuencia 1 div 2 div 3 div A 15 00 ------ B 7 01 C 6 1 10 D 11 110 E 5 111

18 6. Representación como Árbol Binario
Raíz 1 A B C D E A = 00 B = 01 C = 10 D = 110 E = 111

19 7. Entropía Símbolo Frec. Entropía A 15 1.38 B 7 2.48 C 6 2.70 D E 5
2.96 Total 39 12.32 A=Log2(39/15)=1.38 B=Log2 (39/7) =2.48 C=Log2 (39/6) =2.70 D=Log2 (39/6) =2.70 E=Log2 (39/5) =2.96

20 8. Entropía en el mensaje Símbolo Frec. Entropía
15 1.38 20.68 B 7 2.48 17.35 C 6 2.70 16.20 D E 5 2.96 14.82 Total 39 12.32 85.25

21 9. Bits de código y de Mensaje
Símbolo Frec. Entropía Entropía mensaje Bits Código Mensaje A 15 1.38 20.68 2 30 B 7 2.48 17.35 14 C 6 2.70 16.20 12 D 3 18 E 5 2.96 14.82 Total 39 12.32 85.25 89

22 Si utilizáramos Shannon-Fano sólo usaríamos 89 bits.
Conclusión Si codificáramos esta secuencia de símbolos utilizando 8 bits, utilizaríamos en total 312 bits (8 * 39 = 312). Si utilizáramos Shannon-Fano sólo usaríamos 89 bits. => Sólo codificamos el 29% (89/312)