Teoría de la Información y Codificación Práctico 1 Teoría de la Información y Codificación

Cantidad de Información La cantidad de información es proporcional a la probabilidad de un suceso: Si la probabilidad de un estado fuera 1, la cantidad de información que aporta sería 0. Si la probabilidad se acercara a 0, la cantidad de información tenderá a infinito: un suceso que no puede suceder aportará una cantidad infinita de información si llegara a ocurrir.

Cantidad de Información La cantidad I de información contenida en un mensaje, es un valor matemático medible referido a la probabilidad p de que una información en el mensaje sea recibida. Según shannon: I manifiesta la cantidad de símbolos posibles que representan el mensaje. Si la base es 2 la unidad se denomina bits. Si la base es el número natural e la unidad se denomina nats. Si la base es decimal la unidad se denomina Hartley.

Entropía La entropía H de un sistema de transmisión es igual a la cantidad de información media de sus mensajes, es decir: Si la entropía H es igual a 5, desde la óptica binaria esto significa que se necesitan 5 bits para codificar cada símbolo: 00000, 00001, 00010, 11111, etc. Permite ver la cantidad de bits necesarios para representar el mensaje que se va a transmitir. Se supone que se expresa c/ suceso empleando un mensaje escrito en un alfabeto binario. Cuanto más probable sea un valor individual, aportará menos información cuando aparezca.

Entropía

Entropía El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema.

Ejercicios Ejercicio 1: Calcular la información asociada a la caída de una moneda (suceso estadísticamente independiente).

Ejercicios  Ejercicio 2: Calcular la probabilidad que aparezcan 3 caras consecutivas en la tirada de una moneda y su información asociada.

Ejercicios Ejercicio 3: Supongamos que una fuente produce los símbolos A, B, C y D con probabilidades 1/2, 1/4, 1/8 y 1/8. Calcular la información en cada caso. Si los símbolos son independientes, calcular los bits de información del mensaje: CADABA. Que letra proporciona la mínima cantidad de Información.

Ejercicios Ejercicio 4: Calcular la tasa de información o velocidad de información de una fuente telegráfica teniendo: P (punto) = 2/3, P (raya) = 1/3; Siendo Ω = Duración promedio del símbolo: Ω (punto) = 0,2 seg., Ω ( raya) = 0,4 seg.

Ejercicios Ejercicio 5: Calcular e informar la situación del siguiente alfabeto en el cual la probabilidad de ocurrencia de las diferentes letras se da en la siguiente tabla: Informar ¿cuál letra proporciona la máxima cantidad de información? Informar ¿cuál letra proporciona la mínima cantidad de información? Suponiendo que las letras se eligen independientemente para formar palabras, calcular e informar la entropía (H) de este alfabeto. Informar la cantidad de información que contiene la palabra CERTAMEN.

Ejercicios Ejercicio 6: Una fuente de datos tiene 8 símbolos equiprobables y emite en bloques de tres a una tasa de 1000 bloques por segundo. Si el primer símbolo de cada bloque es siempre el mismo (sincronización) y los restantes pueden ser cualquiera de los 8 símbolos de la fuente. Calcular la Tasa de Información R y la velocidad de señalización.

Ejercicios Ejercicio 7: Supongamos una fuente binaria cuyos símbolos tienen las siguientes probabilidades: P(0) = 1/3 P(1) = 2/3 Calcular la entropía. Considerar una fuente de segundo orden de la anterior, definir los nuevos símbolos, su probabilidad y la nueva entropía. Idem al anterior pero considerando una fuente de tercer orden.

Ejercicios Ejercicio 8: Una fuente produce 5 símbolos con probabilidades 1/2, 1/4, 1/8, 1/16 y 1/16. Calcular la entropía de la fuente.

Ejercicios Ejercicio 9: Un fax transmite una imagen que tiene 250 líneas horizontales y 200 puntos por línea. Si cada punto puede tomar 32 niveles equiprobables de brillo, calcular la Información de la imagen. Si la imagen una vez explorada se almacena eléctricamente en una memoria y se envía por un canal de transmisión de 208,33 bit/seg. ¿Cuánto tiempo se tarda en transmitirla?