Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Miguel Martínez-Rach Otoniel López Pablo Piñol Manuel Perez Malumbres José Oliver Carlos T. Calafate Métricas de calidad objetivas para imagen y vídeo Universidad Miguel Hernández Elche (Spain) Universidad Politécnica de Valencia Valencia (Spain)

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández El mismo PSNR pero distinta percepción El mismo PSNR pero distinta percepción 2

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Rate Distortion usando PSNR como métrica de calidad.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 4 Quality Assessment Metrics QAM difieren unas de otras en su propio diseño –Existen diferentes aproximaciones o frameworks que tratan de emular al Sistema Visual Humano o bien tratan de adaptarse a distorsiones concretas. QAM Se clasifican en función de cómo realizan la medición de calidad como: –Full Reference (FR), –No Reference (NR), –Reduced Reference (RR) Aplicamos métricas de calidad de imágen a secuencias aplicándolas frame a frame. NRJPEGQS NRJPEG2000 PSNR-DMOSp MSSIM VIF RRIQA – f.e. RRIQA – eval.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 5 Cómo comparar distintas métricas El valor objetivo de calidad proporcionado por cada métrica no puede ser comparado directamente pues está en escalas diferentes. El proceso de comparación se basa en el realizado por el VQEG y otros tests de comparación de métricas relevantes. Básicamente, se utiliza una ecuación no lineal parametrizada para traducir el valor objetivo dado por la métrica a una escala común para todas ellas, la escala DMOSp. Los parámetros de dicha ecuación se obtienen mediante ajuste de curvas contra valores subjetivos reales. DMOS VIF objective scores

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 6 Cómo comparar distintas métricas Así para cada métrica tenemos una ecuación de conversión a la escala DMOSp. La ecuación tiene distintos parámetros en función de la métrica. Conversion Equation NRJPEGQS NRJPEG2000 PSNR-DMOSp MSSIM VIF RRIQA – f.e. RRIQA – eval  …

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Parámetros, Rendimiento, Secuencias 7 … … Incremento de la compresión / Decremento del bit-rate

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Codecs H264 AVC –Video Codec basado en la DCT. Motion-JPEG2000 –Image Codec basado en la transformada Wavelet. Motion-LTW –Image Codec basado en la transformada Wavelet. Ejecución sólo en modo intra 8

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Comportamiento 9 VQMSSIM VIF RRIQA DMOSp-PSNR NRJPEGQS

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Comportamiento 10 Entonces, ¿Cual es mejor?

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Comportamiento 11 En la comparativa R/D ¿Cuáles son las exigencias a una métrica objetiva? ¿Qué métrica cumple mejor las exigencias en este ámbito de estudio de la calidad ?

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Expectativas Expectativa A : –Existen umbrales (bitrate) para los cuales la percepción de la calidad satura. Umbral alto y bajo. –Los valores de las métricas por encima y debajo de los umbrales debería permanecer prácticamente constante. Expectativa B –Dentro de los umbrales la calidad debe decrecer monotónicamente conforme decrece el bitrate. Expectativa C –Para un determinado bitrate, la ordenación objetiva de diferentes codecs debería coincidir con la ordenación perceptual. 12

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Simple Subjective Tests 13

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Saturación Todas las métricas muestran el efecto de saturación La calidad desciende a medida que lo hace el bit-rate. 14 Quality - +

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Fallos a Expectativa B Kbps Kbps

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Fallos a Expectativa B HRC /Métrica (Kbs)NRJPEGQSNRJPEG2000RRIQA Foreman QCIF - M-JPEG Container QCIF - M-JPEG * Container QCIF - M-LTW * * Foreman CIF - M-JPEG * * Container CIF - M-JPEG * Container CIF - M-LTW * * Mobile ITU - M-JPEG * 16 Dentro de los umbrales la calidad debe decrecer monotónicamente conforme decrece el bitrate.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Comparativa incorrecta de una métrica 17

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Comparativa de codecs 18

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández Comparación – Subjetivos y Resultados 19 1º1º2º2º3º3º ABC Se ve mejor Se ve peor

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 20 Model Description and MANET Scenarios Se ha usado un modelo HMM específicamente parametrizado para reproducir los patrones de perdidas de paquetes en distintos escenarios MANET’s: –Escenarios de Congestión Son 6 escenarios (M1-M6) con nodos estáticos. Cada escenario incrementea el número de fuentes de video. –Escenarios de Movilidad Son 3 escenarios (S1-S3) con una úncia fuente de video, pero cada escenario incrementa la mobilidad de sus nodos (1-3 m/s). La MANET está modelada como sigue: –50 nodos moviéndose en una rea de 870m 2 –Movilidad basad en el modelo random way-point. –Routing protocol is DSR –Nodos equipados con IEEE g/e transmitiendo a at 54 Mbit/s hasta 250 m. –Tráfico de fondo – transmitiendo por FTP/TCP. –Tráfico son bitstreams codificados con H.264 a 1Mbit/s.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 21 Tipos de ráfagas de perdida de paquetes Consecutives Packets Lost (CPL) Analizando la salida del modelo HMM para cada escenario, clasificamos las ráfagas de paquetes perdidos como: –Isolated bursts Menos de 7 CPL (1-frame) –Consecutive Small Bursts Varias Isolated consecutivas separadas por hasta máximo 14 paquetes enviados. –Wide bursts De más de 7 CPL hasta incluso mayores de 1000 CPL

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 22 Componiendo la secuencia recibida La secuencia original : Foreman repetida N veces hasta un total de 5000 frames Con el H.264/AVC  RTP bitstremas a diferentes bit-rates. El codificador se configura : –Codificar un frame I cada 30 frames P –Sin frames de tipo B –7 slices por frame  Forzando a que cada slice en un paquete separado. –Error resilience and concealment options have been enabled –1/3 de los macrobloclks se codifican intra. Con esta configuración el decodificador ha podido reconstruir secuencias con más de 1000 paquetes consecutivos perdidos. La secuencia recibida: Si la ráfaga de paquetes perdidos completa un frame: –En la secuencia de salida del decodificador se inserta un frame en el lugar del perdido, siendo el frame replicado el último recibido. De esta forma la secuencia recibida tendrá la misma longitud que la original.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 23 Análisis del comportamiento de las Métricas Comparación del PSNR a diferentes niveles de compresión ante una ráfaga larga de paquetes perdidos (Wide burst).

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 24 Metric Comparison for a Wide Burst Comportamiento de las QAM ante la misma ráfaga anterior.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 25 Metric Comparison for a Wide Burst First frame after the burst. P frame. Frozen frame original sequencedistorted sequence

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 26 Metric Comparison for Isolated Short Bursts Solo SSIM, VIF y PSNR-DMOSp reaccionan ante la leve perdida de calidad.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 27 Metric Comparison for Consecutive Short Bursts Las últimas dos ráfagas solo son detectadas como ráfagas independientes por VIF y SSIM La NRJPEGQS detecta algunas de las ráfagas, cuando el efecto blocking es mayor.

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 28 Metric Comparison for Consecutive Short Bursts Original Sequence for frames 362 & 363 Frame 362Frame 363

Unidad docente de Redes de Computadores Grupo de Arquitectura y Tecnología de COMputadores (GATCOM) Universidad Miguel Hernández 29 Conclusiones Escenario de Compresión 1.Todas las métricas cumplen la Expectativa A 2.Solo RRIQA y NRJPEG2000 fallan en la Expectativa B. 1.RRIQA solo falla con un HRC QCIF 2.NRJPEG2000 falla con más HRCs y de distinto tamaño. 3.En la Expectativa C los mejores resultados son para 1.MMSIM para FR 2.RRIQA cuando no hay Referencia. Escenario de Perdida de Paquetes 1.Métricas NR no detectan la caída de calidad producida por la perdida de varios frames consecutivos. 2.La métrica RR tiene un comportamiento no determinista ante la perdida de paquetes, teniendo dificultad en la identificación de este hecho cuando el video tiene tasas de compresión medias-altas. 3.Las métricas MSSIM, PSNR-DMOSp y VIF muestran un comportamiento equivalente excepto en determinados casos Accuracy Computational Cost MSSIM Proponemos MSSIM como compromiso entre alta fidelidad a la valoración subjetiva (VIF) y coste computacional (PSNR-DMOSp).