Taller d’expressió multimèdia Història i evolució de la tecnologia multimèdia J. Ignasi Ribas

Les tecnologies de la interactivitat multimèdia

Índex Analògic i digital Memòries Òptiques LaserVision La família CD Idea de la compressió de vídeo MPEG DVD

Senyal analògic de vídeo en blanc i negre Índex Analògic i digital Senyal analògic de vídeo en blanc i negre

Senyals analògics de vídeo en color Índex RGB: Senyals de color (vermell, verd, blau) YUV: Components de vídeo Luminància: Y = 0’3 R + 0’59 G + 0’11 B Crominàncies: U = B - Y V = R - Y Analògic i digital Senyals analògics de vídeo en color

El micròfon: codificació analògica del so Índex Analògic i digital El micròfon: codificació analògica del so

Índex Analògic i digital Numeració en base 2

Digitalització: passos. Índex Analògic i digital Digitalització: passos.

Índex Analògic i digital Mostreig: passos.

Un senyal mostrejat a diverses freqüències. Índex Analògic i digital Un senyal mostrejat a diverses freqüències.

Digitalització del so: diverses opcions Índex Analògic i digital Digitalització del so: diverses opcions

Diversos formats de mostreig del vídeo Índex 4:2:2 Y mostrejada a 13,5 Mhz. V = R-Y i U = B-Y mostrejades a 6,75 Mhz. 4:4:4 V = R-Y i U = B-Y mostrejades a 13,5 Mhz. 4:1:1 V = R-Y i U = B-Y mostrejades a 3,375 Mhz. 4:2:0 V = R-Y i U = B-Y mostrejades a 6,75 Mhz. una línia de cada dues. Analògic i digital Diversos formats de mostreig del vídeo

Diversos codis de canal. Índex Analògic i digital Diversos codis de canal.

El soroll en senyals analògics i digitals. Índex Analògic i digital El soroll en senyals analògics i digitals.

Índex Analògic i digital Píxel

Imatge en blanc i negre i memòria corresponent. Índex 640 x 480 = 307.200 pixels = 307.200 bits / 8 = 38.400 bytes = 37,5 Kbytes. Analògic i digital Imatge en blanc i negre i memòria corresponent.

Tres plans de bits, 8 nivells de grissos. Índex Analògic i digital Tres plans de bits, 8 nivells de grissos.

“Frame buffer” i visualització per milions de colors. Índex Analògic i digital “Frame buffer” i visualització per milions de colors.

Índex Memòries Òptiques Un làser potent impressiona una reïna fotosensible sobre el disc "master" de vidre. Amb un procés de revelat es produeixen els foradets.

Índex Memòries Òptiques Del "master" es fan "pares", "mares" i "fills" o estampadors en un procés semblant al del cinema.

Per estampació s'obtenen les còpies desitjades. Índex Memòries Òptiques Per estampació s'obtenen les còpies desitjades.

Índex Memòries Òptiques La llum del làser passa a través del plàstic protector transparent, és reflectida per l'alumini, i així es pot detectar on hi ha i on no hi ha foradets.

Índex Aquests són l'aspecte de la superfície d'un disc (vista pel microscopi electrònic) i les seves minúscules dimensions. Memòries Òptiques

LaserVision Índex Primer format de memòria òptica. Comercialitzat en 1979-80. Barreja en un sol senyal, vídeo i dos canals de so, tots analògics. Dos formats diferents, CLV (Constant Linear Velocity) i CAV (Constant Angular Velocity) LaserVision

Format CAV (1) Una imatge (dues trames) per volta. Índex Una imatge (dues trames) per volta. Codi de frame i codi de capítol en el retorn de trama. CAV: Velocitat angular constant: PAL: 25 voltes/segon = 25 imatges/segon. NTSC: 30 voltes/segon = 30 imatges/segon. 54000 voltes = imatges per cara PAL: fins a 36 minuts de vídeo. NTSC: fins a 30 minuts de vídeo. LaserVision

Format CAV (2) Accés aleatori. Pausa perfecte. Índex Accés aleatori. Pausa perfecte. Qualitat equiparable a vídeo industrial. Possibilitat d’una estructuració interna de la informació a base de números de frame i de capítol. Possible control amb comandament a distància: nivell I d’interactivitat. LaserVision

Format CAV (3) Nivell III d’interactivitat Índex Format CAV (3) Nivell III d’interactivitat Control per un programa d’un ordinador extern. Visualització a 2 pantalles o a 1 pantalla Estructura informàtica. Contingut audiovisual LaserVision

Format CLV CLV: Velocitat linial constant: Índex CLV: Velocitat linial constant: Velocitat angular diferent segons la imatge. Les imatges ocupen sempre la mateixa longitud: Més imatges a la perifèria que a l’interior. Difícil accés aleatori. 3 temps per trobar una imatge : Trobar la pista. Canviar la velocitat de gir. Trobar el principi de la imatge dins la pista. Codi de temps, no de frame. Duració superior, fins a una hora per cara. El CD-ROM és un disc CLV. LaserVision

Índex Digitalització: del vídeo interactiu als sistemes interactius multimèdia Conseqüències de la digitalització: Tractament uniforme dels diversos mitjans. Accés aleatori als diversos elements multimèdia: vídeo, àudio, imatges, text. Integració informàtica senzilla i homogènia. Simplificació del hardware. Pausa perfecte (resolució “ad hoc”) i il·limitada. La informació en memòria es “bolca” en pantalla. Estructuració i contingut estan al mateix mitjà, el mitjà digital. LaserVision

Tres tecnologies òptiques Índex Tres tecnologies òptiques Memories òptiques només de lectura o editorials: Producció a fàbrica. Nombroses còpies. Platejats. Exemple: LaserVision, CD-Audio, CD-ROM (1984). Enregistrables o WORM (Write Once Read Many): Producció un a un Impossibilitat de reescriure Exemple: CD-R (1990). Daurat. Re-enregistrables: Es poden esborrar i tornar a escriure Exemple: CD-RW (1997) La família CD

Tres nivells d’especificació d’un CD-ROM Índex Tres nivells d’especificació d’un CD-ROM Especificacions físiques: estructura macroscòpica i microscópica del disc Format físic: la organització física de les dades, la forma de convertir-les en “pits” i “lands”. Format i espai de dades, direccionament de la informació, códis de correcció d’errades, códis de canal bàsics, etc. Format lògic: estructura lògica de les dades digitals a emmagatzemar La família CD

Especificacions físiques Índex Especificacions físiques Diàmetre: 120 mm. Gruix: 1,2 o 1,3 mm. Diàmetre del forat central: 15 mm. Pes: 20 grams. Profunditat dels forats: 0,12 micres. Amplada dels forats: 0,6 micres. Separació entre pistes: 1,6 micres. Densitat: 16.000 pistes per polzada. Longitud de “pits” i “flats”: 0,9 a 3,3 micres. Longitud de l’espiral: més de 5 quilómetres. Nombre de forats: uns 2.000.000.000 Informació al llarg d’una espiral, doncs es tracta d’un disc CLV. La família CD

Els colors del CD RB: Àudio digital YB: Dades informàtiques Índex Els colors del CD RB: Àudio digital YB: Dades informàtiques GB: Capacitats multimèdia en CD-I YB: Multimèdia en CD-ROM/XA OB: Possibilitat d’escriptura WB: vídeo MPEG-1 BB: Àudio i multimèdia OB(III): Possibilitat d’escriure i esborrar La família CD

Índex Del CD-Audio al CD-ROM Philips i Sony aprofiten tecnologies del CD-Audio per a un disc d’emmagatzematge informàtic Les mateixes especificacions físiques Format físic amb més fiabilitat Millors mecanismes de correcció d’errades Direccionament absolut dels blocs de dades Part dels sectors es dediquen a capçaleres i dades de sincronització Sectors Mode 1: per a dades d’ordinador Sectors Mode 2: per a audio o imatge comprimits La família CD

CD-Audio: format físic Índex CD-Audio: format físic Informació en pistes i sectors Pista: seqüència contínua de dades Duració mímina: 4 segons (=300 sectors) Fins a 99 pistes per CD, accessibles directament Sector: format per 2352 bytes d’usuari + 882 bytes per a correcció d’errades i control Direccionats per minuts, segons i sectors Lectura: 75 sectors per segon = 176.400 bytes/s = 1,41 Mbits/s Àudio de qualitat: explorat a 44,1 KHz a 16 bits i estéreo = 44100 x 16 x 2 = 1,41 Mbits/s Correcció d’errades: CIRC: Codi Reed-Solomon d’Interfoliació Creuada La família CD

Índex CD-ROM: format físic Direccionament exacte dels sectors i de blocs lògics en els sectors Sectors Mode 1: 2048 bytes d’usuari Detecció d’errors addicional ECC superposat Sectors Mode 2: 2336 bytes d’usuari Fiabilitat CD-Audio: 1 error en 109 bytes Fiabilitat CD-ROM: 1 error en 1025 bytes La família CD

Del CD-ROM al CD-ROM/XA Índex Del CD-ROM al CD-ROM/XA Una mateixa pista pot contenir dades diferents (codi, text, vídeo, àudio) en sectors consecutius Ideal per a aplicacions que depenen del temps, per exemple audiovisuals. Es pot entrellaçar àudio i vídeo Sectors de dos tipus: Forma 1: dades d’ordinador Forma 2: dades amb menys correcció Basat en el CD-I de Philips Discos bridge: poden llegir tots dos La família CD

Els CD-R (enregistrables) Índex Els CD-R (enregistrables) Tecnologia completament diferent però de lectura compatible amb la de només lectura. Per tant accepta els mateixos formats. Diverses sessions fins a omplir el disc. Sobre la base de policarbonat i el metall reflectant es col·loca un tint o pintura orgànica (cianina o phtalocianina). El làser gravador fa que aquesta capa canvii les seves propietats d’absorció de la llum. Discos preformatats: contenen solcs en el substracte de policarbonat per a facilitar el seguiment i controlar la velocitat. La família CD

Diverses tecnologies del CD-R Índex Diverses tecnologies del CD-R Diverses maneres de modificar la superfície: Pérdua de color del tint Bombolletes creadas per l’expansió que provoca el làser Lleugera deformació de la capa de policarbonat La família CD

Índex Més colors CD-Video: per a contenir 72 minuts de vídeo en format MPEG-1 CD-Extra: Conté dues sessions: Sessió 1: pistes d’àudio Sessió 2: pista amb informació multimèdia Els reproductors d’àudio només veuen la sessió 1 Els reproductors de CD-ROM llegeixen les dues Complement multimèdia de CD de música Rainbow-CD: CD-Extra que funciona en lectors de CD Audio, CD-I, PC i Mac. La família CD

Els CD reescrivibles (CD-E, CD-RW) Índex Els CD reescrivibles (CD-E, CD-RW) Basats en tecnologia de canvi de fase Capa d’una aleació d’argent, indi, antimoni i teluri, inicialment en estat amorf que dispersa la llum del làser lector. El calor del làser gravador converteix petites zones en cristallines que reflecteixen la llum. Amb una altra temperatura es poden tornar les zones cristallinas a amorfes (esborrar). Entre 1000 i 1000000 de cicles d’enregistrament, segons la qualitat de l’aleació Reflectivitat baixa (15-20%), per tant no compatibles amb lectors de CD-ROM no modificats (65-70%) La família CD

Índex Redundàncies Els algoritmes de compressió d’imatge es basen en gran mesura en la cerca de redundàncies. Es produeix redundància quan una mateixa informació es transmesa més d’un cop. Hi ha redundància entre píxels quan diversos píxels adjacents són iguals. Hi ha redundància entre línies quan diverses línies adjacents són iguals. Hi ha redundància entre frames quan dos frames consecutius contenen zones iguals. Compressió de vídeo

Pérdues Compressió sense pérdua Índex Pérdues Compressió sense pérdua Es codifica la mateixa informació de forma diferent i més econòmica. Hi ha un límit insuperable per a cada imatge. Es fa servir en aplicacions de tipus científic, médic, etc. en les quals és imprescindible el màxim rigor en la transmissió d’informació. Compressió amb pérdua El principi bàsic en aquest cas és que no cal mostrar més informació de la que l’usuari pot apreciar. Triar entre una u altra tècnica és ara una decisió subjectiva. Compressió de vídeo

Técniques i algoritmes Índex Técniques i algoritmes Una técnica és un métode, una aproximació peculiar al problema de la compressió. Un algoritme pot incorporar diverses técniques, fins i tot de diversos tipus i per a les diverses components de la imatge. Les técniques poden fer-se adaptatives, que canviin en funció del contingut. Hi ha tècniques de compressió d’imatges fixes. Per a la compressió d’imatges en moviment es fa ús de técniques d’imatges fixes seguides de técniques específiques per a la detecció de redundàncies entre frames. Compressió de vídeo

Algunes técniques d’imatge fixa Índex Algunes técniques d’imatge fixa Técniques simples: Retall d’informació Indexat de colors (paleta de colors) Rul-Lenght (RL) Técniques interpolatives: Submostreig de color Técniques predictives: DPCM ADPCM Técniques de transformada: Transformada discreta del cosinus (DCT) Técniques de codificació estadística: Codificació de Huffman. Exemple: JPEG Compressió de vídeo

Exemple: submostreig de color Índex Exemple: submostreig de color Compressió de vídeo

Compressió d’imatge en moviment (“delta frame”) Índex Compressió d’imatge en moviment (“delta frame”) Aprofitar la informació que no canvia “a penes” entre dos fotogrames consecutius. Técniques de “comparació de blocs”. Compressió de vídeo

Tres tipus d’imatges (MPEG) Índex Tres tipus d’imatges (MPEG) I (intra) o “Keyframes”: completes, només amb codificació espacial. Màxim 6:1. P (predictives): calculades a partir de la I o la P anterior per técniques “delta frame”. Ocupen un 30% de les I. B (bidireccionals): promig simple de les I i P que la envolten. Amb I, P, B es pot comprimir fins a 200:1. Compressió de vídeo

Codecs Algoritmes de compressió/descompressió Solen ser asimétrics: Índex Codecs Algoritmes de compressió/descompressió Solen ser asimétrics: La compressió es fa en la producció, amb hardware i software especialitzat i temps diferit. La descompressió es fa en el sistema de l’usuari i en temps real, mentres es veu el vídeo. Descompressió per hardware Necessitat de targetes addicionals Major qualitat (resolució, fotogrames/segon) Descompressió per software Només recursos de l’ordinador Menor qualitat (mida, fotogrames/segon) Compressió de vídeo

Arquitectures i codecs Índex Arquitectures i codecs Els codecs redueixen la mida dels arxius per a que puguin ser emmagatzemats i reproduits en ordinadors corrents. Les arquitectures tenen 3 elements: Serveis de software o extensions de sistema per a permetre a d’altres programes reproduir vídeo o àudio. Formats d’arxiu, la estructura sota la qual s’emmagatzema el vídeo. Suport per a codecs diversos i especialitzats. Arquitectures: QuickTime, Video for Windows, ActiveMovie, MPEG, ... Codecs: Cinepak, Indeo, MJPEG, Animation, MPEG, ... Compressió de vídeo

Compatibilitats Incompatibilitats Índex Compatibilitats Incompatibilitats Els arxius d’arquitectures diferents són incompatibles, encara que emprin el mateix codec. QuickTime és de Apple, però pot tancar arxius biplataforma. Video for Windows és només per a PC. ActiveMovie de Windows95 pot reproducir ambós i també MPEG. Compressió de vídeo

MPEG-1 Tenir vídeo de qualitat VHS en un CD-ROM. Índex MPEG-1 Tenir vídeo de qualitat VHS en un CD-ROM. Comprimir imatges animades i so estéreo a una relació de transferència constant de 1’5 Mbits/s (1,15 d’imatge). CD-Video: un CD-ROM de 680 Mbytes pot contenir fins a 74 minuts de vídeo. Resolució 360 columnes x 288 línies a 25 Hz. Fins a 2 canals de so a 3 nivells de compressió. MPEG MPEG = Motion Pictures Expert Group

MPEG-2 Conjunt de normes amb mínims comuns de recepció. Índex MPEG-2 Conjunt de normes amb mínims comuns de recepció. Independent d’aplicació, suport o transmissió. Estàndard mundial de difussió en qualsevol suport: DVB (Digital Video Broadcast): cable, satèl·lit o xarxa terrestre. DVD: programes lineals o interactius en format editorial. Compatible cap avall (MPEG-1) Compatible cap amunt (codificació jerarquitzada) MPEG

Perfils i resolucions Perfil: recursos de compressió diversos Índex Perfils i resolucions Perfil: recursos de compressió diversos 5 possibles perfils: Simple, Principal, Escalable en SNR, Escalable espacialment, Alt Resolucions: Baixa: 360 línies Principal: 720 línies Alta 1440: 1440 línies (HDTV 4:3) Alta: 1920 línies (HDTV 16:9) 11 combinacions de perfils i resolucions 4 canals de so + 1 de baixos + 1 d’efectes MPEG

DVD (Digital Versatile Disc) Índex DVD (Digital Versatile Disc) Distribuir vídeo de qualitat en un CD. Dues hores de vídeo MPEG-2 en un sol disc. Gener 1995: dos formats en competència MMCD (MultiMedia CD) de Philips i Sony SD (Super Density Disc) de Matsushita i Time Warner Desembre 1995: A instàncies del TWG -Technical Working Group- (IBM, Apple, Compaq, Microsoft, etc): Un sol format. Compatibilitat entre informàtica i gran públic. DVD

Característiques físiques i comparació amb el CD (1) Índex Característiques físiques i comparació amb el CD (1) DVD

Característiques físiques i comparació amb el CD (2) Índex Característiques físiques i comparació amb el CD (2) DVD

Índex Dues capes Pot gravar informació en dues capes (nivells de profunditat) Es poden llegir en ordre invers Primera capa semireflectant (25 a 40%) Possibles errors d’enfocament a la segona capa Forats més grans Velocitat més lenta Capacitat d’una capa: 4,7 Gbytes Capacitat de dues capes: 8,5 Gbytes DVD

Una o dues capes Una o dues cares Índex Una o dues capes Una o dues cares DVD

5 “Books” per a el DVD Llibre A. Discos només de lectura: DVD-ROM Índex 5 “Books” per a el DVD Llibre A. Discos només de lectura: DVD-ROM Llibre B. Aplicacions de vídeo: DVD Video Llibre C. Aplicacions d’áudio: DVD Audio Llibre D. Discos enregistrables un cop: DVD-R Llibre E. Discos regravables: DVD-RAM DVD

Capacitat típica d’un DVD-Video Índex Capacitat típica d’un DVD-Video 133 minuts de vídeo Doblat en 3 idiomes Subtitulat en 4 idiomes Canal de so “surround” d’alta qualitat Dolby 5.1 O altres combinacions DVD

DVD-Video: noves funcions (1) Índex DVD-Video: noves funcions (1) Un màxim de 8 llengües parlades Un màxim de 32 llengües subtitulades Combinables per l’usuari DVD

DVD-Video: noves funcions (2) Índex DVD-Video: noves funcions (2) Fins a 9 imatges diferents a l’hora Escollir la càmera a voluntat DVD

DVD-Video: noves funcions (3) Índex DVD-Video: noves funcions (3) Funció “multihistòria” Històries secundàries Multiversions Escenes “importants” DVD

DVD-Video: noves funcions (4) Índex DVD-Video: noves funcions (4) Funció “multihistòria”. Ramificacions. DVD

DVD-Video: noves funcions (5) Índex DVD-Video: noves funcions (5) Censura “paterna”. DVD

DVD-Video: noves funcions (6) Índex DVD-Video: noves funcions (6) Funció multiaspecte a qualsevol televisor. DVD