EL ESTANDAR MPEG-4 PID JOSE BAENA ROCA El estándar MPEG-4 Introducción. Funcionalidades. Estructura y sintaxis. Codificación y decodificación. Escalabilidad.

Presentación del tema: "EL ESTANDAR MPEG-4 PID JOSE BAENA ROCA El estándar MPEG-4 Introducción. Funcionalidades. Estructura y sintaxis. Codificación y decodificación. Escalabilidad."— Transcripción de la presentación:

1

2 EL ESTANDAR MPEG-4 PID JOSE BAENA ROCA

3 El estándar MPEG-4 Introducción. Funcionalidades. Estructura y sintaxis. Codificación y decodificación. Escalabilidad. Manipulación y reutilización de objetos.

4 La TV analógica Ha sido el único sistema de comunicación de vídeo. No ha experimentado cambios sustanciales en cuarenta y tantos años. Es el primer sistema de compresión. Sistema de comunicación unidireccional. El usuario es un simple espectador.

5 Hacia donde vamos La TV está cambiando a digital. Este cambio supone una nueva era en los sistemas de vídeo. El usuario dejará de ser un mero espectador. Se permite la interacción con el medio. Puede incluso crear y trasmitir sus contenidos. Existirán bases de datos con material para la composición de contenidos por parte del usuario.

6 Estándares de codificación 19981984198819901992199419961986 H.261H.263 ITU MPEG-4MPEG-1 MPEG-2 ISO

7 Evolución TV analógica Compresión de imagen y vídeo Esquemas basados en el pixel JPEG, H.26x, MPEG-1,2 Análisis de la imagen Detección y seguimiento de objetos Reconocimiento de objetos MPEG-4

8 Areas de aplicación TV digital Contenidos multimedia para móviles Producción de TV (p.e. efectos especiales) Juegos Vídeo en la red

9 ¿Qué nos ofrece MPEG-4? Compresión Interactividad basada en el contenido Acceso Universal

10 Ámbito y características Representar unidades de audio, vídeo y audiovisuales, que reciben el nombre de “media objects” Describir la composición de estos objetos para crear media objects compuestos que formarán las escenas audiovisuales. Multiplexar y sincronizar los datos asociados con los media objects. Interactuar con la escena audiovisual generada en el receptor final. MPEG-4 permite:

11 Ámbito y características MPEG-4 intenta satisfacer las necesidades de los autores, de los proveedores de servicio y de los usuarios. Para los autores: permite la reutilización de contenidos y una gran flexibilidad en su uso, dedicando una parte importante a los derechos de autor. Para los proveedores de servicios: permite un manejo de la información fácil para su uso en redes heterogéneas. Para los usuarios finales: ofrece altos niveles de interacción con el contenido

12 Representación codificada Media Objects Primitivos SintéticosNaturales Imágenes estáticas p.e. Un fondo fijo Objetos de vídeo p.e. Una persona hablando Objetos de audio p.e. La voz asociada a una persona Texto y gráficos Cabezas parlantes sintéticas y el texto asociado para el habla Sonido sintético

13 EscenaMPEG-4

14 Cadenas de datos El descriptor del objeto identifica todas las cadenas asociadas a un media object, lo que permite el manejo jerárquico de los datos codificados. Las cadenas de datos transportan marcas para su sincronización e identificación. La capa de sincronización permite identificar el tipo de la unidad de acceso en cadenas elementales.

15 Interacción con los media objects  cambiar el punto de vista y/o recepción del sonido en la escena, p.e. navegando a través de ella;  mover objetos de la escena a una posición diferente;  programar una serie de eventos pinchando sobre un objeto específico, p.e. comienzo o parada de una secuencia de vídeo;  seleccionar el lenguaje deseado cuando esté habilitada la posibilidad de múltiples idiomas;  se pueden programas además clases de conducta más complejas, p.e. un teléfono virtual suena, el usuario contesta y se establece un enlace de comunicación

16 Principales Funcionalidades DMIF (Delivery Multimedia Integration Framework) Sistemas Audio Visual

17 Interface de aplicación transparente para el punto distante. Control del establecimiento de los canales FlexMux. Uso de redes heterogéneas para la comunicación.DMIF

18 BIFS (Binary Format for Scenes). ODs (Object Descriptors). Interactividad. Herramienta FlexMux. Interfaces para terminales y redes. (MPEG-J). Capa de transporte independiente. Representación de texto. Control de los buffers de recepción. Identificación temporal, sincronización y mecanismos de recuperación. Encubrimiento de los datos de los Derechos de la Propiedad Intelectual.Sistemas

19 Escalabilidad de la velocidad de transmisión. Escalabilidad del ancho de banda Escalabilidad de la complejidad del codificador y del decodificador. Escalabilidad de grano fino. Codificación de Audio Paramétrico. Audio (1)

20 Incremento de la robutez al error. Codificación de audio que combina alta calidad y bajo retraso. Espacialización ambiental. Canal de retorno. Compresión CELP Silence, para las bajas velocidades en la codificación del habla. Bajo overhead. Audio (2)

21 Visual (1) Soporte de formatos y velocidades diversas. Eficiencia de la compresión. Funcionalidades basadas en el contenido. Escalabilidad de texturas, imágenes y video. Codificación del contorno y del Alpha Channel.

22 Visual (2) Seguridad en entornos propensos al error. Animación de caras. Animación de mallas 2D con Estructura implícita. Video natural. Animación de cuerpos. Codificación de mallas poligonales 3D.

23 Terminal MPEG-4

24 Derechos de Autor Stream flow controller Demux Scene Descriptor Graph AVO Decode Object Descriptors MPEG-4 bitstream IPMPS Composite and Render

25 MPEG-J

26 El MPEG-4 Visual

27 Estructura y sintaxis VideoSession (VS) VideoObject (VO) VideoObjectLayer (VOL) GroupOfVOP’s (GOV) VideoObjectPlane (VOP) VS 1 VO 1 VS 1 VS 2 VS 2... VS N VOL 1 GOV 1 VO 2 VO 2... VO N VS 1 VOL 2 VOL 2... VOL N VS 1 GOV 2 GOV 2... GOV N VOP 1 VOP K VOP 1... VOP K VOP 1 VOP K+1 VOP K+1... VOP N VOP 1 VOP 1... VOP N Capa 1Capa 2

28 Secuencia de VO’s Escena final

29 Codificación y Decodificación Una imagen es la suma de los objetos, el texto y el fondo que la conforman (VO’s). La codificación de los objetos se hace por separado. Los objetos son manipulables. IMAGEN = + Texto +

30 Codificación y Decodificación Codificación de VO 0 Codificación de VO 1 Codificación de VO n Decodificación de VO 0 Decodificación de VO 1 Decodificación de VO n M U X M U X D Composición de VO’s Salida de vídeo Interacción del usuario Formación de VO’s Información de Vídeo Cadena de datos

31 Codificación y Decodificación Codificación de contornos Codificación de textura Codificación de movimiento Secuencia de vídeo Formación del VOP VOP 1 VOP n VOP 3VOP 2

32 Codificación y Decodificación D E M U L T I P L E X O R Memoria VOP Compensación del movimiento Decodificación de la textura Decodificación del movimiento Decodificación del contorno Compositor Cadena de bits Salida de Vídeo Información del contorno VOP Reconstruido EJEMPLO DE DECODIFICACIÓN DE UN VOP

33 Codificador MPEG-4

34 Codificación de contornos Codificación de contornos binaria. Se trabaja con una matriz binaria que representa el contorno del VOP (máscara binaria), si contiene el pixel contiene al VOP valdrá 255, y 0 en caso contrario. Codificación de contornos en escala de grises. Cada elemento de la matriz puede tomar un valor dentro de un rango. Normalmente el rango suele ser de 0 a 255.

35 Codificación de contornos Cada VOP se divide en bloques más pequeños, llamados macro bloques. VOP Ventana Rectangular que engloba el VOP Binary Alpha Block, BAB (16x16 pixeles) Tamaño múltiplo de 16

36 Codificación de contornos Cada BAB se codifica separadamente, y pueden ser codificados dentro de uno de los siguientes modos: El bloque se considera Transparente. El bloque se considera Opaco. Usando IntraCAE. Usando InterCAE. La MVD (*) es cero pero el bloque no se actualiza. La MVD no es cero, pero el bloque no se codifica. La MVD no es cero, pero el bloque se codifica. (*) Motion Vector Difference

37 Estimación del movimiento y herramientas de compensación Tiempo I-VOP B-VOP P-VOP

38 Codificación de textura luminancia 8 88 8 crominancia

39 Proceso de codificación de textura de un VOP DCT Cuantificación Coeficiente de predicción Textura VOP Coeficiente de escaneo Codificación de longitud variable Cadena de bits

40 Codificación de textura

41 + trama I vector de movimiento Predicción hacia delante compensación del error de la predicción resultado Codificación de textura +

42 Error resilience Resincronización Particionado de datos Código de extensión de la cabecera VLC’s reversibles

43 Codificación sprite Consiste esencialmente en una imagen estática que podría ser transmitida una vez solamente. Usualmente se emplea con objetos sintéticos. El contorno y la textura se codifican como un I-VOP.

44 Escalabilidad Preprocesador de escalabilidad MPEG-4 Enhancement Layer Encoder MPEG-4 Base Layer Encoder Midprocessor Postprocesador de escalabilidad Midprocessor MPEG-4 Enhancement Layer Decoder MPEG-4 Base Layer Decoder M u l t i p l e x e r D e m u l t i p l e x e r

45 Escalabilidad Permite decodificar solo una parte de una cadena de bits y reconstruir imágenes o secuencias de imágenes con: la complejidad del decodificador reducida y por tanto de calidad reducida resolución espacial reducida resolución temporal reducida con igual resolución temporal y espacial pero con la calidad reducida

46 Manipulación de objetos Los objetos de una escena son manipulados por separado

47 Manipulación de objetos Permite jugar con los sprites +

48 Reutilización de contenido Decodificador Compositor BD Demultiplexor Codificador VO n VO 1... Multiplexor BD

49 FIN