1 Teoría de Información. 2 Respuestas que brinda la Teoría de Información Cantidad de Informacion Técnicas de codificación Cantidad máxima de informacion.

Presentación del tema: "1 Teoría de Información. 2 Respuestas que brinda la Teoría de Información Cantidad de Informacion Técnicas de codificación Cantidad máxima de informacion."— Transcripción de la presentación:

1 1 Teoría de Información

2 2 Respuestas que brinda la Teoría de Información Cantidad de Informacion Técnicas de codificación Cantidad máxima de informacion que puede transmitir un canal otras*

3 3 Cantidad de Informacion La capacidad de un mensaje de despejar incertidumbre sobre la ocurrencia de un evento. Depende de la probabilidad de ocurrencia del evento.*

4 4 Cantidad de Informacion I(A)  0 P(A) = 1 ==> I(A) = 0 I(A) = f [P(A)] P(A) > P(B) ==> I(A) < I(B) P(AB) = P(A). P(B) ==> I(AB) = I(A) + I(B) I(A) = - log P(A)*

5 5 Trabajo Vea y justifique la solución del Problema #1 del Tema 2 en documento word adjunto. Determine cual sería la estrategia de pesaje en la solución del problema. ¿Por qué?.

6 6 Fuente Discreta sin memoria (FDSM) S S { m i } M { p i } M mimi Discreta Discreta : Numero finito de símbolos Sin memoria Sin memoria : independencia estadística*

7 7 Entropía de una FDSM I(m i ) = - log p i H (S) : Entropía H (S) = I = -  p i log p i* S S { m i } M { p i } M mimi Entropía: cantidad de informacion promedio

8 8 La condición de máxima entropía se alcanza cuando los eventos son equiprobables, p = ½* Condición de máxima entropía Con M = 2 ; { p i } 2 = { p, (1- p) } p ½ 1 0 1 H(s)

9 9 La Información promedio es máxima si los eventos son equiprobables H(S) MAX = log M H(S) MAX = log M para p i = 1 / M* Condición de máxima Entropía para una FDSM

10 10 Redundancia de una FDSM R(S) = H(S) MAX - H(S) = log M – H(S) Medida de la información dejada de brindar por la fuente producto de la no equiprobabilidad de los símbolos de la fuente.*

11 11 Fuente Discreta con Memoria Las probabilidades de ocurrencia de los símbolos dependen de la ocurrencia de símbolos anteriores.(No hay independencia estadística) Orden de la Fuente, r: Número de símbolos que intervienen en la influencia de la ocurrencia de un nuevo símbolo. Estado de la Fuente: Conjunto de símbolos que determinan la ocurrencia de los símbolos siguientes. Ejemplos de FDCM: Textos, Imágenes, etc.

12 12 FDCM Orden r Estado: mimj….mr (r símbolos que definen el estado) S S { m i } M { p i/ m1m2…mr } M mimi NE: Número máximo de estados de una FDCM = M r

13 13 Ejemplo de FDCM A B C 0.5 Orden 1 P(A/A) = P(B/A)= 0.5, P(C/A)=0 P(B/B) = P(C/B)= 0.5, P(A/B)=0 P(C/C) = P(A/C)= 0.5, P(B/C)=0 Probabilidad de los Estados: P(Si) Entropía de una FDCM = Σ H(S/Si) P(Si) Diag. De Estados [T] = Caer en el estado A B C Dado que estoy en ABCABC ½ ½ 0 0 ½ ½ ½ 0 ½ Matriz de Transición

14 14 Fuente adjunta de una FDCM Es la FDSM con igual probabilidad de ocurrencia de símbolos que la FDSM. Equivale a removerle la memoria a la FDCM. Redundancia Secuencial= H(S Adj ) – H(S). Medida de lo que disminuye la información producto de la dependencia secuencial.

15 15 Para Fuentes discretas con memoria (FDCM), existe redundancia por no equiprobabilidad y redundancia por dependencia secuencial. Redundancia R (S) total = R (S) no equip + R (S) sec*

16 16 Modelo de Transmisión de Datos CanalCanal fuente Codif. de fuente cifrado Codif. de canal transmisor receptor Decodif de canal descifrado Decodif. de fuente destino

17 17 Establecer una correspondencia entre los símbolos de una fuente y los símbolos del alfabeto de un código. Codificación de Fuente Proceso encaminado a lograr una representación más eficiente de la información ( eliminar redundancia)*.

18 18 Condiciones del código no singular separable (Unicamente decodificable) instantáneo

19 19 Consideremos cuatro códigos m1 --- 01 m1 --- 0 m1 --- 0 m1 --- 0 m2 --- 01 m2 --- 01 m2 --- 01 m2 --- 10 m3 --- 10 m3 --- 001 m3 --- 011 m3 --- 110 abcd singular no singulares no separable separables instantáneo*

20 20 Códigos Singulares No singulares No separables Separables No instantáneosInstantáneos* Condiciones del código

21 21 a.- singular. b.- no singular, no separable. c.- no singular, separable, no instantáneo. d.- no singular, separable, instantáneo.* m1 --- 01 m1 --- 0 m1 --- 0 m1 --- 0 m2 --- 01 m2 --- 01 m2 --- 01 m2 --- 10 m3 --- 10 m3 --- 001 m3 --- 011 m3 --- 110 abcd

22 22 Condición de los prefijos La condición necesaria y suficiente para que un código sea instantáneo es que sus palabras cumplan la condición de los prefijos: No exista palabra que sea prefijo de otra palabra de longitud mayor No exista palabra que sea prefijo de otra palabra de longitud mayor.*

23 23 Códigos eficientes l i longitud de la palabra codificada del mensaje m i r : # de símbolos del alfabeto del código L =  p i l i : Longitud promedio de la palabra* Estrategia Estrategia: Asignar palabras más cortas a símbolos más probables

24 24 Eficiencia de un código log r : Cantidad máxima de información de un símbolo de código L log r  H(s)  Eficiencia del código :  S) / ( L log r) *

25 25 Métodos de codificación Código de Shannon Código de Huffman otros.

26 26 Código de Huffman Código de máxima eficiencia, no existe otro de mayor eficiencia. Empleado para codificar FDSM en las que se conocen las pi de cada mensaje.

27 27 No hay dos mensajes con iguales secuencias Cumple la condición de los prefijos Símbolos mas probables son codificados con palabras de códigos de menor longitud. l 1  l 2 .......  l M Los dos mensajes menos probables son codificados con palabras de igual longitud l M = l M - 1 * Principios del Código de Huffman

28 28 Procedimiento para el código de Huffman Los mensajes son ordenados en orden de probabilidades decrecientes. Se agrupan los r (para binarios r=2) mensajes menos probables y sus probabilidades se suman formando una fuente reducida de la original que contiene el nuevo mensaje compuesto y no los originales. Se mantiene la organización de probabilidades decrecientes en la nueva fuente reducida construida. El procedimiento se repite hasta que la fuente reducida quede con r mensajes. Se asignan dígitos del código de atrás hacia delante cumpliendo la condición de los prefijos. Vea ejemplo #2 en problemas del Tema 2. Resuelva los problemas 3 y 4 propuestos.

29 29 Inconvenientes del código de Huffman Las probabilidades de la fuente pueden no ser conocidas a priori Solución: Empleo de mensajes patrones ==> determinar estadísticas. Naturaleza de la fuente puede significar conjunto muy grande de símbolos (lenta codificación y requiere gran memoria.)*

30 30 Código de Huffman Modificado Ejemplo: Codificación de documento facsímil para G3 FAX 1728 pel B B B B B Codifica las longitudes de recorrido : Ej: 100B, 40N, 788B, 80N, 600B, 60N, 60B,20N, 40B*

31 31 Fuente con 1728 x 2 mensajes = 1728 long. de blanco y 1728 long. de negro = 3456 mensajes Longitud de recorrido : N = 64 m + n; n = 0, 1,..., 63 palabras de terminación m = 1, 2,..., 27 palabras de establecimiento 27 x 64 = 1728; Número total de mensajes : (27 + 64) 2 = 182 Ej: Para una longitud de 146 = 2 x 64 + 18; n = 18. m = 2* Huffman Modificado

32 32 Long Blanco Negro 0 00110101 00001101111 1 000111 010 63 00110100 000001100111 Palabras de terminación Long. Blanco Negro 1 (64) 11011 0000001111 2 (128) 10010 000011001000 6327 (1728) 010011011 0000001100101 EOL 00000000001 Palabras de establecimiento

33 33 Ejemplo de Huffman Modificado 23 blanco51 negro930 blanco 146 negro 578 blanco 23 blanco 51 negro ( 14 x 64) + 34 blanco (2x64) + 18 negro ( 9 x 64) + 2 blanco n=23 B; n = 51 N; (m = 14B) + (n = 34B) ; (m = 2N) + (n = 18N); (m=9B) + (n=2B) 0000100 000001010011 011010011 00010011 000011001000 0000001000 0110100000 0111 000000000001*

34 34 Codificación adaptativa Para casos en que el comportamiento estadístico de la fuente varíe o sea desconocido, puede ajustarse la codificación de forma dinámica teniendo en cuenta el comportamiento de la fuente.

35 35 Mensaje probabilidad pal. codigo m 1 0.41 m 2 0.2401......................................... m 7 Códigos corrientes Conociendo comportamiento estadístico de la fuente (exacta o por patrones) : Entradas Salida

36 36 Códigos adaptativos Con códigos adaptativos la tabla es variable y se adapta a las características de la fuente y no es necesario conocer las probabilidades Mensaje contador prob. estimada pal. Código m1 400 0.4 1................................................................. Se parte de una codificación acordada por TX y RX ( puede ser cualquiera) Cada cierto número de mensajes se estiman las probabilidades y ajusta codificación Igual procedimiento en el RX.*

37 37 Métodos de compresión

38 38 Aplicable a fuentes de caracteres. Existen múltiples variantes. Con frecuencia es el primer paso de un algoritmo de compresión más complejo. Se sustituye parte del texto original por texto comprimido precedido por carácter indicativo de compresión.* Compresión orientada a caracteres

39 39 Ejemplo : Texto original : M C M X C V I I I I I I I C L D M Texto comprimido : M C M X C V C I   C L D M  = I ;  = 7 Compresión orientada a caracteres

40 40 MNP5 Protocolo de comunicación entre MODEMs con dos etapas de compresión. Etapa 1) Compresión orientada a carácter (cuando un Ch. Se repite 3 veces o más se sustituye por 3 veces el carácter seguido del exceso de 3) Etapa 2) Compresión adaptativa con tabla dinámica de 256 filas. *

41 41 A cada fila le corresponde una palabra de código fija. Se parte de un ordenamiento común de los caracteres en TX y RX y por lo tanto de una codificación común. Tras un número de mensajes determinado los caracteres son reordenados en la tabla acorde a su frecuencia de ocurrencia, cambiando la codificación de los mismos acorde a la posición que ocupan en la tabal tras el reordenamiento. MNP5 produce relaciones de compresión entre 1.5 y 2, superadas hoy por numerosos métodos de compresión. * Procedimiento de etapa 2 MNP5

42 42 Algoritmos de adaptación de cadenas ( string-matching algorithms) Permiten aprovechar relaciones de orden superior entre palabras y frases en un texto. Apreccien que en los vostos anteriormente se sustituían solamente caracteres individuales que se repetían, ahora se trata de sustituir cadenas de caracteres que se repitan.

43 43 J. Ziv A. Lempel 1977 Algoritmo basado en buffers de ventanas deslizantes, LZ77 Algoritmos de adaptación de cadenas ( string-matching algorithms) En un texto (imagen, etc. ) frecuentemente se repiten cadenas de Ch. La secuencia repetida se sustituye por un código corto

44 44 Algoritmo LZ77 The brown fox jumped over the brown foxy jumping frog 53 octetos, 424 bits Cada octeto ==> patrón de 9 bits = “1” seguido de ASCII 8 bits. Se buscan cadenas repetidas y son sustituidas por puntero a la secuencia anterior longitud de cadena repetida. Dos opciones identificadas por dos bits de cabecera: - 8 bits de puntero, 4 bits de longitud, con cabecera 00 - 12 bit de puntero, 6 bits de longitud, con cabecera 01*

45 45 0 b 26 d 13 d 0 b 27 d 5 d * The brown fox jumped over the brown foxy jumping frog 53 octetos, 424 bits 26 13 5 27 Algoritmo LZ77

46 46 Preguntas Por la semejanza en los principios de LZ77 con el compresor Winzip responda: ¿Cómo es posible que al aplicar compresión a un archivo me de cómo resultado un archivo de mayor tamaño? ¿En qué consiste que hayan más de un tipo o modo de compresión, uno lento y otro rápido? ¿En qué se diferenciarán? ¿Por qué el lento puede alcanzar mayores niveles de compresión que el rápido?

47 47 Codificación de Fuente Conclusiones Primer proceso de la comunicación. Permite comunicación más eficiente. Objetivo: Extracción de redundancia. Métodos: –Código de Huffman –Huffman modificado. –Compresión de caracteres –MNP5 y otros –Adaptación de cadenas. –etc*

48 48 Trabajo independiente Localice 3 algoritmos o estándares de compresión, indicando su aplicación y las razones de compresión que alcanzan reportadas en la literatura. Hay algoritmos de compresión sin pérdida de información y con pérdida de información. ¿Qué significado tendrá esta clasificación y refiera aplicaciones de ambos?

49 49 Pero…. El canal tiene, ruido, distorsión e interferencia. Los errores qué?? Como protegemos la información contra? los errores? Codificación de canal**