Ejemplos de Tecnologías de Soporte Ig-Su Jeun Kim Grupo de Entretenimiento Centro de Innovación de Amena

Agenda Introducción. Estándares y códecs de vídeo en entornos móviles. Soporte de vídeo en terminales. Plataformas de streaming. Otras cuestiones.

INTRODUCCIÓN Introducción Las enormes ventajas que proporciona un sistema de compresión, la calidad actual de los códecs y el aumento de la capacidad de red en entornos móviles están propiciando la posibilidad de ofrecer servicios de streaming de vídeo. Por otro lado, se está observando un “empuje” con respecto a las tecnologías y sistemas existentes en Internet: Windows Media, Real Networks, QuickTime, etc. También hay que observar: modelos de negocio, sistemas de protección de contenidos (DRM), soporte de vídeo en terminales, etc.

Agenda Introducción. Estándares y códecs de vídeo en entornos móviles. Soporte de vídeo en terminales. Plataformas de streaming. Otras cuestiones.

¿Por qué es necesario la compresión? ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES ¿Por qué es necesario la compresión? La compresión digital es fundamental para los procesos de transmisión y almacenamiento de contenidos multimedia.

¿Por qué es necesario la compresión? ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES ¿Por qué es necesario la compresión? Un algoritmo de compresión (MPEG-4) puede llegar a ofrecer ratios entre 70:1 a 200:1. También es posible enviar vídeo QCIF a través de WCDMA e incluso GPRS, o almacenar hasta 90 minutos de vídeo QCIF en un módulo de memoria compact flash de 64 Mbyte.

ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándar H.263 Estándar de compresión de vídeo definido por la ITU (International Telecommunication Union), diseñado para las comunicaciones de bajo bitrate como la teleconferencia o la vídeofonía. Es una versión mejorada del H.261 (misma calidad de imagen a mitad de bitrate para comunicaciones < 64 Kbps). H.261 es el protocolo utilizado para transmisiones de vídeo en ATM o RDSI (p x 64 Kbps). H.263+ y H.263++ son refinamientos y versiones avanzadas de H.263 para mejorar la transmisión de vídeo.

ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándares MPEG MPEG-1 (11/1992): Almacenamiento de vídeo en CD-ROM. Bit rate máximo de 1.5 Mbps. MPEG-2 (11/1994):Televisión digital. Bit rate típico de 4 Mbps. MPEG-3: Diseñado inicialmente para HDTV, pero al absorberlo MPEG-2, no está actualmente en uso. MPEG-4: V1 en 9/1998 y V2 en 11/1999. MPEG-7 (8/2001): Descripción de contenidos multimedia para archivos digitales audiovisuales. MPEG-21 (11/2001): Framework digital audiovisual: Integración de tecnologías multimedia (identificación, copyright, protección, etc.)

ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándar MPEG-4 Está diseñado por el MPEG (Motion Picture Experts Group), el Grupo de Trabajo de la ISO (International Organisation for Standardisation) que ha establecido la familia de estándares para la codificación de información audiovisual a formato digital comprimido. Se caracteriza por definir el contenido a enviar como un framework de objetos y descripción de escenas: mientras que MPEG-1 y MPEG-2 definen sólo capas de audio y vídeo, MPEG-4 permite más tipos como (animaciones 2D y 3D, texto) considerándolos como objetos media (con atributos temporales y espaciales) dentro de una escena multimedia.

MPEG-4: Funcionalidad en terminal ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES MPEG-4: Funcionalidad en terminal Pre-Procesado Codificación Transport Layer Camera Input Bitstream in LCD Output Post-Procesado Decodificación Bitstream out Microphone Input Códec de voz Speaker Output Decodificación de audio

MPEG-4: Proceso de codificación ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES MPEG-4: Proceso de codificación Camera Anti- aliasing Colour Conversion & Scaling Motion Vectors Motion Estim. Out Frame Buffer DCT Q Zigzagging Huff Bitstream packing + - Motion Vectors Frame Buffer Motion Compen. IDCT Q-1 + Decoder Model

MPEG-4: Estimación de movimiento ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES MPEG-4: Estimación de movimiento

MPEG-4: Proceso de decodificación ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES MPEG-4: Proceso de decodificación Bitstream In Frame Buffer RGB Image Out Bitstream Unpack Colour Conversion & Scaling Huff -1 Motion Compen. AC/DC Prediction Q-1 IDCT Post Processing + YUV

Códecs de voz No forman parte del estándar MPEG-4. ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Códecs de voz No forman parte del estándar MPEG-4. Sin embargo, están siendo demandadas por el mercado ADPCM - ITU G.726: Método de compresión de audio comúnmente usado en entornos con ancho de banda limitado. G.723.1: Forma parte de la familia de estándares H.324. Posee dos bit rates asociados (5.3 y 6.3 Kbps). GSM-AMR: Utiliza ACELP (Algebraic Code Excited Linear Prediction). Soporta bit rates desde 4.75 Kbps hasta 12.2 Kbps.

Estándar 3GPP: PSS Release 5 ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándar 3GPP: PSS Release 5 En el campo del vídeo streaming, el estándar 3GPP establece que H.263 sea mandatorio, aunque recomienda que también se soporte MPEG-4. Códecs de Vídeo: MANDATORIO: Recomendación ITU-T H.263 Profile 0 Level 10. OPCIONAL: Recomendación ITU-T H.263 Profile 3 Level 10. MPEG-4 Visual Simple Profile Level 0. Códecs de Audio: MANDATORIO: AMR (Adaptative Multi-rate) para codificación de voz. MPEG-4 AAC. MIDI para audio sintético.

ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándares “de facto” Además de H.263 y MPEG-4, existen otros formatos propietarios de vídeo válidos también para servicios de streaming. Están considerados estándares “de facto”, son muy populares en el mundo PC y ya se dispone de multitud de contenidos multimedia en Internet.

Estándares “de facto”: Windows Media ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándares “de facto”: Windows Media Su última versión es Windows Media 9 (Corona). Es gratuito. Posee aceleración por HW (DxVA, DirectX Video Acceleration), codificación VBR (Variable Bit Rate) y alta definición para vídeo profesional. Soporta DRM (Digital Rights Management) propietario de Microsoft. Soportado por terminales Smartphone 2002 y PocketPC.

Estándares “de facto”: RealNetworks/Helix DNA ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándares “de facto”: RealNetworks/Helix DNA En Julio 2002, RealNetworks anunció Helix, una iniciativa de software de código abierto para desarrollar aplicaciones basadas en su solución de streaming de vídeo. Al contrario que Windows Media, su licencia tiene coste. Poseen amplia experiencia en el streaming de vídeo en el mundo Internet. Su solución completa (servidor y player) está disponible para varias plataformas: Windows, Mac OS X, Unix, PocketPC, Palm, etc. Ha alcanzado un acuerdo con Nokia, y fruto de la alianza es la incorporación de serie de su player RealOne en los terminales 9210i y 3650.

Estándares “de facto”: QuickTime ESTÁNDARES Y CÓDECS DE VÍDEO EN ENTORNOS MÓVILES Estándares “de facto”: QuickTime Su última versión es Quicktime 6, que soporta MPEG-4. Tradicionalmente está considerado como la tercera opción, aunque cada vez gana más adeptos. Quicktime/Apple tiene mucha aceptación entre las empresas proveedoras de contenidos y la industria audiovisual en general. En Diciembre 2002, NTT DoCoMo seleccionó Quicktime como la plataforma elegida para generar contenidos multimedia para sus nuevos servicios de vídeo (i-motion).

Agenda Introducción. Estándares y códecs de vídeo en entornos móviles. Soporte de vídeo en terminales. Plataformas de streaming. Otras cuestiones.

Métodos de implementación SOPORTE DE VÍDEO EN TERMINALES Métodos de implementación Hardware: Existencia de un HW específico para todos los cálculos computacionales, dejando sólo las funciones de control en SW. Mínimo consumo de energía, tráfico de bus y uso de procesador. Software: La solución más común en el mundo PC. La capacidad de computación, el precio de los procesadores y el mayor consumo de energía son las principales limitaciones. Mixta (HW/SW): Con HW específico para el cálculo de la estimación de movimiento. Problemas en el tráfico interno de datos al descodificar las imágenes comprimidas, pudiendo causar un overload del bus.

SOPORTE DE VÍDEO EN TERMINALES Algunas cuestiones El soporte de vídeo es probablemente una de las características más restrictivas a nivel de memoria/uso de CPU. Una solución HW del códec mejoraría la carga del sistema, el consumo de energía y aumentaría la escalabilidad (tamaño, frame rate). Tareas SW en vídeofonia para el procesado de un frame (SISTEMA IDEAL) Tareas SW en vídeofonía para el procesado de un frame (SISTEMA REAL)

SOPORTE DE VÍDEO EN TERMINALES 2003: situación actual Hasta ahora, los servicios de vídeo sobre entornos móviles estaban fuertemente limitados al soporte de vídeo en terminales. 2003 parece ser el año del vídeo, y aparecen los primeros terminales con soporte de vídeo: Nokia 3650, Sony-Ericsson P800, SPV de Orange, etc. Sin embargo, el principal inconveniente es su precio, al estar considerados de gama alta (basados en Symbian). Una solución HW (chip dedicado) podría abaratar en el futuro el coste del soporte de vídeo en terminales de gama baja.

Ejemplo Symbian con soporte de vídeo: Nokia 3650 SOPORTE DE VÍDEO EN TERMINALES Ejemplo Symbian con soporte de vídeo: Nokia 3650 Resolución 176x208 píxels. 4096 colores. Procesador RISC 32 bit ARM9. Cámara integrada con resolución VGA (640x480 píxels). Captura de vídeo H.263 (160x120 píxels, 64 Kbps, 9 fps) en formato 3GP, audio mono AMR-NB 12.2 Kbps. Player de RealOne: formatos MPEG-4, H.263, RealMedia. Playback local y streaming de vídeo. 3.4 MB de memoria y posibilidad de memory card.

Ejemplo Symbian con soporte de vídeo: S-E P800 SOPORTE DE VÍDEO EN TERMINALES Ejemplo Symbian con soporte de vídeo: S-E P800 Pantalla táctil con resolución 208x320 píxels. 4096 colores. Symbian 7.0. Procesador ARM9 156MHz. Cámara integrada con resolución VGA (640x480 píxels). No posee Camcorder. Player integrado de PacketVideo: formatos MPEG-4, H.263. Playback local y streaming de vídeo. 12 MB de memoria, incluido memory stick slot.

Ejemplo Smartphone con soporte de vídeo: SPV SOPORTE DE VÍDEO EN TERMINALES Ejemplo Smartphone con soporte de vídeo: SPV SPV = Sounds, Picture & Video. Es el primer terminal que incorpora Microsoft Smartphone 2002, lanzado por Orange. Posee Windows Media Player, navegador Web, MSN messenger. Soporte MP3. Resolución 176x220 píxels, TFT 65.000 colores. Procesador 132 MHz TI OMAP 710. 16 MByte RAM, 32 MByte Flash ROM. Posibilidad de memory card.

Agenda Introducción. Estándares y códecs de vídeo en entornos móviles. Soporte de vídeo en terminales. Plataformas de streaming. Otras cuestiones.

PLATAFORMAS DE STREAMING ¿Qué es el streaming? Es una tecnología que permite a los usuarios la posibilidad de ver contenidos multimedia en tiempo real, sin necesidad de tener que descargárselos previamente.

PLATAFORMAS DE STREAMING User scenarios STREAMING: El vídeo se envía “on the fly” al player del usuario. Se requiere un pequeño buffer de memoria intermedia para garantizar el flujo de datos. DOWNLOAD: Descarga completa del contenido antes de visualizarlo. Calidad de servicio garantizado. Necesidad de memoria en el terminal y problemas de DRM. PROGRESSIVE DOWNLOAD: Permite visualizar el contenido mientras se está realizando la descarga. RESUMED DOWNLOAD: Permite continuar la descarga de un vídeo que se ha interrumpido previamente.

PLATAFORMAS DE STREAMING Tipos de streaming MULTICAST: Más utilizado en transmisiones de live events. Un clip de vídeo se envía a múltiples clientes, conocidos como grupos multicast. Los usuarios no poseen el control de flujo (Ej: ver la televisión). UNICAST: Se establece una conexión por usuario. Existe control de flujo por parte del usuario (rewind, pause, etc.). Penalizado por el exceso de tráfico y el ancho de banda necesario.

Protocolos de streaming PLATAFORMAS DE STREAMING Protocolos de streaming RTSP (Real-Time Streaming Protocol): Controla las sesiones de presentación (Ej. PLAY, PAUSE, etc.). SDP (Session Description Protocol): Proporciona al usuario información sobre un contenido multimedia. RTP (Real-Time Transport Protocol): Envía el vídeo a los usuarios, independientemente del tipo de cliente o formato de codificación. RTCP (Real-Time Transport Control Protocol): Comunica y monitoriza la información de cada sesión individual entre cliente y servidor.

Cadena de procesos en un servicio de streaming PLATAFORMAS DE STREAMING Cadena de procesos en un servicio de streaming Content Sourcing Authoring & editing Content Encoding Content Administrator Subscriber Management Content Distribution TV, empresas del sector media: CNN, Disney, etc. Media Partner (adapta contenidos). MPEG-4, RealMedia, WMF, Quicktime, etc. Media Loading, almacenamiento y publicación de contenidos y metadata. Personalización, billing, etc. Via MMS, a través de un portal WML, web, etc.

Plataforma de streaming: Arquitectura PLATAFORMAS DE STREAMING Plataforma de streaming: Arquitectura Creación Contenidos FTP, HTTP Sistema de ficheros RTSP/UDP Servidor de streaming RTP/UDP SDP RTCP/UDP RTP RTCP Live Source

File-Based streaming Servidor de Sistema streaming de ficheros PLATAFORMAS DE STREAMING File-Based streaming CLIENTE 1 RTSP RTP RTCP Sistema de ficheros Servidor de streaming SDP RTSP RTP RTCP CLIENTE 2

Reflection-Based streaming PLATAFORMAS DE STREAMING Reflection-Based streaming Servidor de streaming Live Source RTP Client RTP RTP Server RTCP RTP, RTSP RTCP RTP, RTSP RTCP

Streaming vs. Download DOWNLOAD & PLAY: PLATAFORMAS DE STREAMING Streaming vs. Download DOWNLOAD & PLAY: La calidad del servicio no depende de la calidad de conexión. Riesgo de super-distribución (necesidad de DRM). STREAMING: Calidad del servicio depende del ancho de banda disponible (GPRS). Posibilidad de ver el vídeo inmediatamente. No se almacena en el terminal, por lo que el riesgo de super-distribución disminuye.

Algunas otras compañías de streaming PLATAFORMAS DE STREAMING Algunas otras compañías de streaming Aparte de Windows Media, Apple y RealNetworks, existen otras compañías que proveen su propia solución de streaming (incluyendo players y encoders). En general su solución está más optimizada para el mundo móvil. Son soluciones end-to-end, y ofrecen en algunos casos servicios de valor añadido (vídeo mensajería). Ejemplos de estas empresas son: PACKETVIDEO. EMBLAZE.

Agenda Introducción. Estándares y códecs de vídeo en entornos móviles. Soporte de vídeo en terminales. Plataformas de streaming. Otras cuestiones.

OTRAS CUESTIONES Streaming sobre GSM Al ser una conexión orientada a circuitos, no existen problemas en la calidad de servicio. Tampoco existen problemas de retardo. El problema es el reducido ancho de banda que ofrece GSM (9.6 Kbps).

OTRAS CUESTIONES Streaming sobre GPRS En principio, GPRS tiene que ser capaz de soportar servicios de streaming, al ofrecer un ancho de banda teórico suficiente para un servicio de streaming “clásico”. El problema surge en el uso y asignación de timeslots “estáticos” y “dinámicos”. Retardos de transmisión y anchos de banda variables. Así, un servicio de streaming sobre GPRS no podría ofrecer una garantía de calidad de servicio.

Streaming sobre GPRS: Arquitectura OTRAS CUESTIONES Streaming sobre GPRS: Arquitectura GPRS backbone BTS BSC SGSN RTP HLR VLR GGSN Servidor Streaming Fast Ethernet Servidor web y de aplicaciones Codificador

Transcoding de contenidos multimedia OTRAS CUESTIONES Transcoding de contenidos multimedia Es un factor importante en el futuro, al incorporarse cada vez mayor número de contenidos multimedia en el entorno móvil. Afecta especialmente a los terminales.

DRM (Digital Rights Management) OTRAS CUESTIONES DRM (Digital Rights Management) Es un factor clave y estratégico en los futuros servicios multimedia. Posibilita nuevos modelos de negocio con los proveedores de contenidos (Content Providers). Protege los contenidos descargados por el usuario mediante los servicios “download & play”. RealNetworks y Windows Media poseen su propia versión de DRM.

DRM: Un posible método 6 3 1 7 5 2 4 Contenido digital Servidor OTRAS CUESTIONES DRM: Un posible método Contenido digital Servidor de licencias 6 Descarga de licencia 3 1 Packaging 7 Términos de licencia 5 Contenido protegido Petición de licencia Player + Gestor de DRM Servidor de streaming 2 Servidor web 4 Envío de contenidos protegidos Petición y recepción del contenido multimedia

MPEG-LA: ¿Licencia del MPEG-4? OTRAS CUESTIONES MPEG-LA: ¿Licencia del MPEG-4? MPEG-LA es una iniciativa para definir un modelo de licencia con respecto al MPEG-4. Está formada por todas las compañías que ostentan patentes relacionadas con tecnologías de vídeo MPEG-4. Su propuesta de licencia se concreta en dos: Precio por cada encoder/decoder utilizado (0.25$). Precio por contenido codificado (0.02$/hora).

MPEG-LA: Compañías propietarias OTRAS CUESTIONES MPEG-LA: Compañías propietarias Canon, Inc. Curitel Communications, Inc. France Télécom. Fujitsu. GE. General Instrument. Hitachi. KDDI. Matsushita. Microsoft. Mitsubishi. Oki. Philips. Samsung. Sanyo. Sharp. Sony. Telenor. Toshiba. Victor Company of Japan (JVC).

Gracias por vuestra atención