Departamento de Ingeniería de Sistemas Telemáticos

Presentación del tema: "Departamento de Ingeniería de Sistemas Telemáticos"— Transcripción de la presentación:

1 Departamento de Ingeniería de Sistemas Telemáticos
Universidad Politécnica de Madrid CONTRIBUCIÓN A LOS MODELOS Y METODOLOGÍAS PARA LA ESTIMACIÓN DE LA CALIDAD PERCIBIDA POR LOS USUARIOS (QoE) A PARTIR DE PARÁMETROS DE CALIDAD DE RED/SERVICIO (QoS) EN SERVICIOS CONVERGENTES MULTIMEDIA (TRIPLE-PLAY) COMENTARIO: Bienvenidos a la presentación de mi Tesis Doctoral sobre Estimación de la Calidad Percibida en Servicios Multimedia Convergentes a partir de Parámetros de QoS NOTAS GENERALES: NO LEER las transparencias NO ENROLLARSE (hablar lo mínimo) MIRAR AL TRIBUNAL CENTRARSE EN LO ESENCIAL de cada transparencia RESALTAR LAS CONTRIBUCIONES AUTOR: PEDRO DE LA CRUZ RAMOS (UPM) DIRECTORES: FRANCISCO GONZÁLEZ VIDAL (UPM) RAQUEL PÉREZ LEAL (UC3M)

2 CONTENIDO Introducción y Objetivos Modelo General de Calidad
Servicio de Difusión de TV sobre IP (IPTV) Modelo de Calidad de Vídeo Servicio de Llamadas de Voz sobre IP (VoIP) Servicio de Acceso a Internet Calidad del Servicio Global (3P) Conclusiones y Líneas Futuras COMENTARIO: Tras una corta introducción, comentaremos el Modelo General para la evaluación de la calidad; luego veremos los Modelos de Estimación de la Calidad para cada uno de los Servicios Principales, con especial énfasis en el Modelo de Calidad de Vídeo para IPTV; luego el método para la evaluación de la Calidad del Servicio Global; y finalmente resumiremos los Resultados y principales Aportaciones de la Tesis, y examinaremos algunas posibles Líneas de Trabajo futuras. NOTAS GENERALES: Comentar rápidamente cada punto Resaltar el Modelo de Calidad de Vídeo

3 INTRODUCCIÓN Contexto: Objetivo: Problema: Propuesta: Utilidad:
Servicios Triple-Play (3P): Datos+Voz+Vídeo Convergentes: Desplegados sobre la misma Red de Transporte IP Gestionada por un único operador como Sistema Autónomo Objetivo: Estimación de la Calidad de Experiencia (QoE) En tiempo casi-real A partir de parámetros de Calidad de Servicio (QoS) y rendimiento de la red Problema: No existen modelos de estimación adecuados para Servicios 3P completos Propuesta: Modelo de estimación para Servicios 3P convergentes completos Utilidad: Para operadores, usuarios, reguladores y evaluadores COMENTARIO: Contexto: Servicios Triple-Play convergentes, desplegados sobre una misma Red de Transporte gestionada por un único operador (Servicios 3P de Operador) Objetivo: Estimación de la QoE en servicio, en tiempo casi-real, a partir de parámetros de QoS Problema: Inexistencia de modelos para Servicios 3P completos Propuesta: Modelo de estimación para Servicios 3P convergentes completos Utilidad: Para operadores, usuarios, reguladores y evaluadores NOTAS GENERALES: NO LEER LA TRANSPARENCIA ¡CONTRIBUCIÓN!

4 CONCEPTO DE CALIDAD Calidad (en general): Calidad de Servicio (QoS):
ITU-T E.802: La totalidad de las características de una entidad que determinan su capacidad para satisfacer necesidades explícitas o implícitas. Calidad de Servicio (QoS): ITU-T E.802: Efecto colectivo del rendimiento del servicio, que determina el grado de satisfacción de los usuarios. Calidad de Experiencia (QoE): ITU-T G.100/P.10: Aceptabilidad general de una aplicación o servicio, percibida subjetivamente por los usuarios finales. ITU-T E.800: Dos componentes: Cuantitativo: Calidad de funcionamiento de la red Cualitativo: Expectativas de los usuarios COMENTARIO: Existen distintos conceptos de Calidad Nos centramos en la QoE = Aceptabilidad General de un Servicio percibida subjetivamente por los usuarios Dos componentes: Cuantitativo y cualitativo Nos centramos en los aspectos cuantitativos NOTAS GENERALES: * NO LEER la transparencia

5 MODELO GENERAL DE CALIDAD

6 ESTRUCTURA MATRICIAL [Liberal 2005] Servicios Percepciones Agentes
Capacidades Puntos de Cruce Indicadores de Rendimiento Elementales (IRE) Locales (IRL) Globales (IRG) Servicio 1 Servicio N Perception 1 Perception 2 Perception 3 Perception 1 Perception 2 Perception 3 CAPACIDAD1 X X Agente N CAPACIDADi X CAPACIDADn X X COMENTARIO: Modelo matricial, debido a F.Liberal Elementos: Servicios y Percepciones Agentes y Capacidades Relaciones = Puntos de Cruce Indicadores de Rendimiento: Elementales, Locales y Globales NOTAS GENERALES: NO LEER CAPACIDAD1 X X Agente 1 CAPACIDADi X CAPACIDADn X X X [Liberal 2005]

7 ELEMENTOS DEL MODELO Usuarios: Residenciales, SOHO, Empresariales
Servicios: Global, Finales, Básicos, de Soporte 3P VoIP Internet Web File Transfer … IPTV Tipo Oferta Percepcion Global Paquete Único Compuesto Final No Independiente Independiente Básico Soporte No Percibido ADSL DNS DHCP COMENTARIO: Usuarios: Nos centramos en los Residenciales (principal objetivo de 3P) SOHO (Oficinas Pequeñas y Domésticas) y Empresas (PYMEs,Corporaciones): Menos interesados en 3P Servicios: Descomposición (comentar brevemente, sin entrar en detalles) Percepciones: Medidas en térmimos de FGVs Capacidades: Medidas en términos de PFIs NOTAS GENERALES: * NO LEER, NO ENRROLLARSE Percepciones → Factores Globales de Valoración (FGV) Agentes → Parámetros de Funcionamiento Interno (PFI)

8 PROCESO DE EVALUACIÓN Procesos de Ponderación/Agregación:
Local (PPL): IRE → IRL Matriz de Ponderación Local (MPL) Global (PAG): IRL → IRG Métricas Proceso de Evaluación Global: AHP Matrices de Importancia Índices de Consistencia Pesos de Ponderación COMENTARIO: Comentar rápidamente el proceso de evaluación (figura) Proceso de Ponderación Local: Basado en Matrices de Ponderación (Locales) Proceso de Agregación Local: Basado en Métricas Proceso de Evaluación Global: Uso extensivo del Proceso de Jerarquías Analíticas (AHP) Los detalles los veremos más adelante NOTAS GENERALES: NO LEER, NO ENRROLLARSE

9 APLICACIÓN A TRIPLE-PLAY (I)
¡CONTRIBUCIÓN! APLICACIÓN A TRIPLE-PLAY (I) SERVICIO PERCEPCIÓN FGV Acceso a Internet Navegación Correo Electrónico Transferencia de Archivos Compartición de Archivos Rapidez de Respuesta Tiempo de Arranque Rapidez de Transferencia Tasa de Transferencia Sostenida Telefonía sobre IP (ToIP) Llamadas de Voz Calidad de Voz Factor-R Tiempo de Espera para Marcación Rapidez de Establecimiento Tiempo de Establecimiento de Llamada Televisión sobre IP (IPTV) Difusión de Televisión Calidad de Vídeo VQM Calidad de Audio Factor-Q Sincronización Audio/Vídeo Retardo Audio/Video Rapidez de Cambio de Canal Tiempo de Cambio de Canal Todos Todos los Servicios Disponibilidad Fracción de Conexiones Fallidas Fiabilidad Fracción de Conexiones Interrumpidas COMENTARIO: Centrarse en las CONTRIBUCIONES: Internet: Percepciones y FGV comunes ToIP: Nuevas percepciones y FGVs Todos: Tratamiento especial de Disponibilidad y Fiabilidad IPTV: Calidad Audiovisual (Video+Audio+Sincronización) Tiempo de Cambio de Canal (nueva) NOTAS GENERALES: NO LEER, NO ENRROLLARSE Los detalles se explican más adelante

10 APLICACIÓN A TRIPLE-PLAY (II)
Agentes COMENTARIO: Contribución: Modelo de Red Ampliado, basado en original + recomendaciones recientes de ITU-T para IPTV Explicación de algún Punto de Cruce (seguir animación): Calidad de Video: Relacionado c/ Conect.Descendente de la Red de Transporte No relacionado c/ Conect.Ascendente NOTAS GENERALES: * NO LEER, NO EXTENDERSE

11 APLICACIÓN A TRIPLE-PLAY (III)
SERVICIO PERCEPCIONES INDICADORES Navegación Correo Electrónico Transferencia de Archivos Compartición de Archivos Rapidez de Respuesta Rapidez de Transferencia Ancho de Banda Efectivo Retardo en ambos sentidos Tiempos de proceso y respuesta Características de las páginas, mensajes o archivos Llamadas de Voz Calidad de Voz Rapidez de Establecimiento de Llamada Variación del Retardo (Jitter) Tipo de códec Parámetros de Codificación Fracción de Paquetes Perdidos Tasa de Codificación de Voz Fracción de paquetes erróneos Difusión de Televisión Calidad de Vídeo Información Espacial y Temporal Tasa de Codificación de Vídeo Tipo de secuencia Calidad de Audio Tasa de Codificación de Audio Sincronización Audio/Video Diferencia de retardos Audio/Vídeo Rapidez de Cambio de Canal Tiempos de reacción y proceso Todos los Servicios Disponibilidad Fiabilidad Fracción de Paquetes Erróneos Probabilidad de Error COMENTARIO: Algunos ejemplos de Indicadores de Rendimiento: En IPTV: Calidad de Vídeo: Tasa de Codificación, Pérdidas de Paquetes y especialmente: Información Espacial/Temporal, Tipo de Secuencia Sincronización Audio/Vídeo: Diferencia de Retardos Tiempo de Cambio de Canal: Retardo en ambos sentidos En todos Fiabilidad/Disponibilidad: Múltiples indicadores CONTRIBUCIÓN: Identificación de indicadores p/nuevos servicios/percepciones NOTAS GENERALES: NO LEER, NO ENRROLLARSE

12 SERVICIO DE DIFUSIÓN DE TELEVISIÓN SOBRE IP (IPTV)
12

13 CALIDAD DE EXPERIENCIA EN IPTV
Depende de múltiples factores: Calidad Audiovisual: Calidad de Vídeo Calidad de Audio Sincronización Audio-Vídeo (Lip Sync) Tiempo de Cambio de Canal (zapping) Disponibilidad y Fiabilidad del servicio Condiciones de visionado (tamaño de pantalla, distancia, …) Condiciones ambientales (iluminación, ruido, …) Accesibilidad y facilidad de uso (ergonomía) Servicio de Atención al Cliente Nos centramos en 1,2 y (posteriormente) 3. ¡CONTRIBUCIÓN! QIPTV QAV QTav QTcc QVIDEO QAUDIO COMENTARIO: Nos centramos en aspectos técnicos dependientes de QoS: Calidad Audiovisual, Tiempo de Cambio de Canal, Disponibilidad y Fiabilidad. Proceso: Seguir animación (OJO, va ‘de abajo arriba): Qv + Qa -> Qav Qav + QTav + QTcc -> Qiptv 13

14 CALIDAD DE VÍDEO Múltiples medidas: MPQM, PDM, VQM Medidas RC, RR, SR
Medida elegida: VQM (ITS/NTIA): RC / RR Estándar (ITU-T J.144) Muy buena correlación con MOS (VQEG FR-TV2) SW Público Depende de: Tipo de Códec (MPEG-2/4, H.264) Tasa de Codificación de Vídeo (VCR) Fracción de Paquetes Perdidos (PLR) Formato (SD/HD, Tipo de Vídeo (entrelazado, progresivo, ‘pull-down’, …) Tipo de Secuencia (Natural, Artificial, Atípica) Contenido de Información (Espacial y Temporal) COMENTARIO: Múltiples medidas, de múltiples tipos Elegimos VQM porque: Estandarizada Buena correlación con MOS SW Público Depende de múltiples factores, en particular (contribución): Tipo de Secuencia Contenido de Información NOTAS GENERALES: NO LEER, NO ENRROLLARSE SIMLIFICAR, ir a lo fundamental

15 MODELOS DE ESTIMACIÓN ¿Por qué no nos sirven? Modelo Propio
Aplicación Medida Estimada Variación con Dependencia del Contenido VCR PLR [VER1998a/c] [VER1998b] [VER1999a] Banco de Pruebas Video sobre ATM MPQM potencial lineal no [FRO2001a] PDM [JOS2009a] n/a VQM parcial [RAA2008a] IPTV Factor-R exponencial logística [YAM2006a] [YAM2008a] Videotelefonía MOS [ITU2007c] ¿Por qué no nos sirven? Tipo de aplicación No estiman VQM No tienen en cuenta el contenido Forma de variación COMENTARIO: Múltiples modelos, muy diversos, distintos resultados Por qué no nos sirven NOTAS GENERALES: NO DETENERSE EN LA TABLA Modelo Propio

16 MODELO DE CALIDAD DE VÍDEO
Efectos de la Codificación y las Pérdidas Modelo: VQMC = VQMREF(VCR/VCRREF)-Kc VQMP = (1-VQMC)(PLR/PLR1)Kp VQMT = VQMC + VQMP ¡CONTRIBUCIÓN! VQMT si VQMT ≤ 1 1,5VQMT/(VQMT+0,5) si VQMT > 1 VQM = PLR1, KP dependen de VCR: F(VCR) = A + B·VCR·(1+C·e-(VCR/D)K) Para cada PLR, existe un VCR óptimo que minimiza VQM (maximiza QoE) COMENTARIO: Variación de VQM con VCR (descendente) y PLR (ascendente) Gráficas logarítmicas -> aprox. Lineales -> variación potencial Función de limitación (crushing) Coeficientes de VQMp dependen de VCR Forma de variación = Curva de Rayleigh/Weibull + asíntota lineal A,B,C,D,K ya no dependen de VCR Para cada PLR –> VCR óptimo Todos los coeficientes dependen de las características de las secuencias (contenido de información) NOTAS GENERALES. * Destacar que las gráficas se han obtenido de nuestras medidas

17 CONTENIDO DE INFORMACIÓN
Los coeficientes del modelo dependen del contenido de información ITU-T P.910 Información Espacial: SI = MAXT { STDS{Sobel(Fn)} } Información Temporal: TI = MAXT { STDS{∆(Fn,Fn-1)} } Inconveniente: Demasiado sensibles a valores extraordinarios Redefinición: SI/TI Promedio: ASI = AVGT { STDS{Sobel(Fn)} } ATI = AVGT { STDS{|∆(Fn,Fn-1)|} } ¿ Cómo calcular los coeficientes del modelo a partir de ASI/ATI ? COMENTARIOS: Definiciones estándar: Basadas en el máximo valor de la secuencia Demasiado sensibles a valores extraordinarios (tramas perdidas/corruptas, cambios de escena) Redefinicion: Valores promedio (contribución) ¿Cómo calcular los coeficientes?

18 TABLAS DE COMPLEJIDAD Interpolación en Tablas de Complejidad precalculadas Entre 3 valores próximos COMENTARIOS: Interpolación en tablas precalculadas, entre 3 valores próximos El método detallado de interpolación se explica en la memoria Métodos de: Calculo de las tablas (fuera de servicio) Cálculo de los coeficientes En servicio, tiempo casi-real (1 resultado cada 10 segundos) Sin referencia a la secuencia original Tablas diferentes para cada Tipo de Secuencia Fuera de servicio En servicio Tablas diferentes para cada Tipo de Secuencia

19 INFLUENCIA DE ASI/ATI Secuencias con valores similares de ASI/ATI pueden tener coeficientes de valores muy distintos Factores que influyen: Formato de vídeo (525/625 líneas) Frecuencia de imágenes (50/60Hz) Tipo de vídeo (entrelazado, progresivo, 'pull-down') Tipo de secuencia: natural o artificial Tamaño y estructura del GOP, etc. Clasificación de las secuencias: Forma de variación: Compleja (picos, crestas y valles) Justifica el cálculo por interpolación COMENTARIO: Secuencias con valores similares de ASI/ATI pueden tener coeficientes muy distintos Dependiendo de múltiples factores Clasificación de las secuencias (5 grupos) Forma de variación: Compleja, justifica la interpolación NOTAS GENERALES: No enrrollarse Centrarse en la clasificación en grupos (contribución) No liarse con la forma de variación

20 BANCO DE MEDIDAS [Alvarez Villacé 2011] Arquitectura Funcional
Prevención/Corrección de Pérdidas de Tramas Medición de ASI/ATI: STIX Parámetros de Codificación y QoS Casos: Medidas: en total COMENTARIOS: Arquitectura funcional: rápido, sin entretenerse ¿Señalar contribuciones? (corrección de pérdidas de tramas, STIX) No resaltar los ‘problemas’ (pérdidas de tramas) Casos: rápido 3 códecs, diversos valores de VCR,PLR Otros parámetros: fijos p/cada tipo de secuencia Cada caso se repite 6 veces Medidas: puntos en total

21 ANÁLISIS ESTADÍSTICO Parámetros: Resultados:
Coeficiente de Correlación de Pearson (R) Error Medio (E) Raiz del Error Cuadrático Medio (RMSE) Resultados: R E RMSE General > 0,9 < 7% < 10% Caso Peor > 0,8 ≈ 9% ≈ 13% Modelo > 0,95 < 5% ≈ 7% COMENTARIOS: Parámetros: comentar rápidamente Resultados: Resaltar buena correlación / bajo error del modelo en general NOTAS GENERALES: NO LEER, NO ENRROLLARSE

22 CALIDAD DE AUDIO Métodos de medida: Modelos de estimación:
NMR, PAQM, PERCEVAL, POM, DIX, OASE, ... PEAQ [ITU-R BS ] Métodos RC Modelos de estimación: Redes Neuronales [Mohamed et al 2004] Modelo T-V [Garcia et al 2009,2011]: Basado en Modelo-E Q = Q0 – Ic – It Ic = a1∙ea2∙ACR + a3 It = (b0-Ic)*(FLR/(b1+FLR)) MOS = Modelo-E(Q) ai,bi dependen del códec y las caracterísiticas de las secuencias COMENTARIOS: Métodos: diversos (no extenderse) Señalar PEAQ como más reciente y extendido Modelos: Ir directamente al elegido (T-V) Basado en el Modelo-E (Q ≈ Factor-R) Coeficientes: Dependencia del contenido

23 Función de Integración de la Calidad Multimedia
CALIDAD AUDIOVISUAL Modelo de Calidad para Servicios Multimedia [ITU-T J.148] Calidad de Audio Calidad de Vídeo Interacción A-V Sincronización A-V Algunos estudios: Fuente de Audio Vídeo Calidad Auditiva Calidad Visual Retardo Diferencial Función de Integración de la Calidad Multimedia Aq(Vq) Aq Vq Vq(Aq) Calidad Multimedia Tarea Referencia Interacción Influencia AV VA AAV VAV [HOL1997a] N/A Fuerte [CHA1998a] Despreciable Débil [ITU1998i] [ITU1998b] [ITU1999c] [BEE1999a][ITU1997c] [JOL2001a] [KNO2005a] [WIN2005b][WIN2005c][WIN2006a] [ITU2007c] Apreciable [CAN2010a][CAN2010b] [GAR2009a][GAR2011a] NOTAS GENERALES: No ‘contar’ la figura No extenderse en la tabla Si esta transpa molesta, saltarla (¿quitarla?) COMENTARIO: Requisitos del modelo (qué debe incluir) Resultados: Diversos, contradictorios Dependen mucho del tipo de aplicación

24 CALIDAD AUDIOVISUAL PARA FLUJOS SINCRONIZADOS
Modelo General: QAV = K0 + KAQA + KVQV + KAVQAQV Aproximaciones: Modelo Lineal: QAV = K0 + KAQA + KVQV Modelo Multiplicativo: QAV = K0 + KAVQAQV Algunos modelos: Tipo, coeficientes: dependen del tipo de aplicación Referencia Tipo de Coeficientes Aplicación Modelo K0 KA KV KAV [WIN2005b] TV Móvil Multiplicativo 1,98 -- 0,103 [WIN2006a] Lineal -1,51 0,456 0,770 [ITU1998b] [ITU1999c] Multimedia 1,017 0,183 [BEE1999a] [ITU1997c] Televisión General 1,12 0,007 0,24 0,88 1,45 0,11 [ITU1998b] [ITU1999c] 1,3 1,1 [ITU1998i] 1,51 0,12 [CHA1998a] Video conferencia -0,10 0,21 1,76 0,10 [ITU1993j] 1,30 [ITU1994a] 1,07 [GAR2009a] [GAR2011a] IPTV SD HD 30,99 28,49 0,13 0,006 NOTA: Si quitamos la anterior, quitar lo de ‘flujos sincronizados’ COMENTARIO: Modelo general (no lineal) Aproximaciones (lineal,multiplicativa) No entrar en detalles de los distintos modelos Resultados: dependen del tipo de aplicación Modelo elegido: Pasar a transpa siguiente

25 MODELO ELEGIDO Modelo T-V [Garcia et al 2009,2011]
Más reciente Específico para IPTV Influencia del contenido HD: QAV = K0 + KV∙QV + KAV∙QA∙QV (general) SD: QAV = K0 + KAV∙QA∙QV (multiplicativo) MOS = Modelo-E(QAV) QA se utiliza directamente QV = Modelo-E-1(MOSV) Coeficientes: Dependen del tipo de contenido COMENTARIO: Modelo elegido: Razones Modelos distintos para HD/SD MOS: Basado en Modelo-E Qv de obtiene mediante la ‘inversa’ del Modelo-E

26 SINCRONIZACIÓN AUDIO-VÍDEO
Dos alternativas: Variación logarítmica entre umbrales [ITU-R BT ] 1 T ≤ -90ms log(-T) -90ms < T < -45ms MOS = ms ≤ T ≤ +125ms log T +125ms < T < +185ms 1 T ≥ +185ms Factor de Degradación [ITU-T G.1070] (adaptado) QTav = max (m10+MS,1) min (m12+m11∙TAV,0) si TAV > 0 MS = 0 si TAV = 0 min (m14-m13∙TAV,0) si TAV < 0 COMENTARIO: Dos alternativas: Variación logarítmica entre umbrales de detectabilidad y aceptabilidad (asimétricos) Adaptación del Factor de Degradación de ITU-T G.1070 La selección de una de ellas se deja como trabajo para el futuro

27 TIEMPO DE CAMBIO DE CANAL
Factores que influyen: Señalización IGMP (Unión/Abandono Grupo) TJ/TL Adquisición de Claves (Acceso Condicional,DRM) TK Decodificación de Vídeo TV Adquisición de Información de Programa (PSI,PAT,PMT) TD Adquisición de Primera Trama Clave TF Amortiguación (VBR→CBR,Anti-Jitter) TB Reordenación de Tramas TR Retardo en los enlaces de acceso y en la red TN Recuperación y Corrección de Errores (FEC/RET) TE Procesamiento (STB,Monitor) TP COMENTARIO: Depende de muchos factores, pero los más importantes son: El tiempo de adquisición de la primera Trama Clave El tiempo de amortiguación (de VBR y jitter)

28 MODELO DE ESTIMACIÓN PARA TCC
[Kooij et al 2006] [Brunsström 2008] { 5 si TCC < 0,1seg MOS = { 2,65-1,02*ln(TCC) si 0,1seg ≤ TCC ≤ 5seg { 1 si TCC > 5seg TCC = TL + TJ + TN + TK + TD + TF + TR + TE + TP + TB + TV TCC ≈ TK + TD + TF + TE + TB TCC ≈ TF + TB COMENTARIO: Variación logarítmica entre umbrales TCC es prácticamente la suma de los dos factores más importantes (adquisición de Trama Clave y Amortiguación) Para MOS=3,5 -> TCC≈0,5 seg Tiempos usuales ≈ 2 seg?

29 CALIDAD GLOBAL DEL SERVICIO DE IPTV
QIPTV Dos alternativas: Modelo Lineal: QIPTV = KIPTV + KAV∙QAV + KTAV∙QTAV + KTCC∙QTCC Modelo No Lineal: + KAVTAV∙QAV∙QTAV + KAVTCC∙QAV∙QTCC + KTAVTCC∙QTAV∙QTCC Coeficientes: AHP QAV QTav QTcc QL QI 1 9 1/9 COMENTARIO: Dos alternativas: Modelo lineal No Lineal (con términos de interacción) Coeficientes: AHP La selección de uno de ellos queda como trabajo para el futuro KIPTV KAV KTAV KTCC 0,0833 0,6750 0,1620 0,0630 QAV QTAV QTCC 1 5 9 1/5 3 1/9 1/3 KIPTV KAV KTAV KTCC 0,75 0,18 0,07 KAVTAV KAVTCC KTAVTCC 0,0111 0,0045 0,0010

30 SERVICIO DE LLAMADAS DE VOZ SOBRE IP (VoIP)

31 CALIDAD DE EXPERIENCIA EN VoIP
Depende de múltiples factores: Calidad de Voz Tiempos de Respuesta: Tiempo de Espera para Marcación Tiempo de Establecimiento de Llamada Disponibilidad y Fiabilidad del servicio Condiciones ambientales (ruido, …) Accesibilidad y facilidad de uso (ergonomía) Servicio de Atención al Cliente Nos centramos en 1,2 y (posteriormente) 3. QVoIP QV QTM QTS ¡CONTRIBUCIÓN! COMENTARIO: Nos centramos en los aspectos técnicos relacionados con QoS: Calidad de voz Tiempos de respuesta (contribución) Disponibilidad y fiabilidad (contribución) El modelo original sólo incluía la Calidad de Voz 31

32 CALIDAD DE VOZ Medida: MOS-LQO [ITU-T P.800] Métodos de Medida:
PSQM [ITU-T P.861] PESQ [ITU-T P.862] Depende de: Tipo de Códec Tasa de Codificación de Voz (ACR) Fracción de Paquetes Perdidos (PLR) Retardo, Jitter, … Eco, Ruido, Diafonía, … COMENTARIO: Medida: Calidad de Escucha Subjetiva en la escala MOS, tal como la mide PESQ Depende de múltiples factores NOTAS GENERALES: PASAR RÁPIDO, NO ENRROLLARSE

33 MODELOS DE ESTIMACIÓN Modelo-E [ITU-T G.107] Modelo-E para VoIP
R = R0 – Is – Id – Ie + A 1 R < 0 MOS = 1+0,035∙R+R∙(R-60)∙(100-R)∙7∙ ≤ R ≤ 100 4,5 R > 100 Modelo-E para VoIP [Werner 2003] [Sun et al 2004] [Fernández et al 2006] R = R0 – Id – Ie COMENTARIO: Modelo-E: Ampliamente utilizado en telefonía tradicional Factor-R = Estimación de la relación Señal/Ruido Basado en Factores de Degradación Adaptación para VoIP: Limitado al efecto del retardo y las pérdidas El efecto del ‘jitter’ se incluye en las pérdidas Los coeficientes dependen del códec (y por tanto de la Tasa de Codificación) NOTAS GENERALES: PASAR RÁPIDO 0,024∙d d < 177,3 0,134∙d – 19,503 d ≥ 177,3 Id = Ie = a∙ln(1+b∙ρ)+c El efecto del ‘jitter’ se incluye en las pérdidas a,b,c dependen del códec

34 TIEMPO DE ESPERA PARA MARCACIÓN
Desde que se descuelga Hasta que se recibe el tono de Invitación a Marcar Modelo Propuesto: Basado en el usado para TCC en IPTV [Kooij et al 2006] [Brunsström 2008] Valores Límite: ITU-T E.721 5 TE < 0,18 seg MOS = 2,15 - 1,66∙ln(TE) 0,18 seg ≤ TE ≤ 2 seg 1 TE > 2 seg COMENTARIO: Modelo logarítmico entre umbrales Basado en el usado para TCC

35 TIEMPO DE ESTABLECIMIENTO
Desde que se termina de marcar Hasta que se recibe tono de llamada, ocupado o respuesta Modelo Propuesto: Basado en el usado para TCC en IPTV [Kooij et al 2006] [Brunsström 2008] Valores Límite: ITU-T E.721 5 TS < TMIN MOS = K1 – K2∙ln(TE) TMIN ≤ TS ≤ TMAX 1 TS > TMAX K1,K2,TMIN ,TMAX dependen del tipo de llamada COMENTARIO: Modelo logarítmico entre umbrales Basado en el usado para TCC Los coeficientes dependen del tipo de llamada (local,nacional,internacional)

36 MODELO DE ESTIMACIÓN PARA TEST
Basado en resultados de [IETF 1999] [Eyers et al 2000] sobre tiempos de establecimiento de llamada en VoIP TEST = Σi(Ni∙TRPi+TPi) + Σj(TCj) + TRT i nº de agentes/servidores j nº de conmutadores Ni nº de interacciones con el agente i TRPi Retardo de Propagación hasta el agente i TPi Tiempo de Proceso en el agente i TCj Retardo de Encolamiento en el conmutador j TRT Tiempo de Espera debido a las Retrasmisiones COMENTARIO: Modelo genérico Basado en resultados sobre tiempos de establecimiento en VoIP Basado en el número de interacciones con cada agente, retardos de propagación y tiempos de proceso

37 CALIDAD GLOBAL DEL SERVICIO DE VoIP
QVoIP Dos alternativas: Modelo Lineal: QVoIP = KVoIP + KV∙QV + KTM∙QTS + KTS∙QTS Modelo No Lineal: QVoIP = KVoIP + KV∙QV + KTM∙QTM + KTS∙QTS + KVTM∙QV∙QTM + KVTS∙QV∙QTS + KTMTS∙QTM∙QTS Coeficientes: AHP QV QTM QTS QL QI 1 9 1/9 COMENTARIO: Dos modelos alternativos: Lineal No lineal (con términos de interacción) Coeficientes: AHP Selección: Trabajo futuro KVoIP KV KTM KTS 0,0833 0,6750 0,1620 0,0630 QV QTM QTS 1 5 9 1/5 3 1/9 1/3 KVoIP KV KTM KTS 0,75 0,18 0,07 KVTM KVTS KTMTS 0,0111 0,0045 0,0010

38 SERVICIO DE ACCESO A INTERNET

39 CALIDAD DE EXPERIENCIA EN INTERNET
Depende de múltiples factores: Calidad de los servicios componentes: Navegación (Web Browsing) Correo Electrónico ( ) Transferencia de Archivos (FTP) Compartición de Archivos (P2P) Otros: Juegos interactivos, Redes Sociales, etc. Disponibilidad y Fiabilidad del/los servicio(s) Condiciones subjetivas: tarea, propósito, etc. Accesibilidad y facilidad de uso de los servicios (ergonomía) Servicio de Atención al Cliente Nos centramos en 1 y (posteriormente) 2 QINTERNET QWEB Q QFTP QP2P ¡CONTRIBUCIÓN! COMENTARIO: Nos centramos en los aspectos técnicos dependientes de QoS: Calidad de los servicios componentes Disponibilidad y Fiabilidad Contribución: Múltiples servicios (no solo navegación) Adición de la Compartición de Archivos (P2P)

40 SERVICIO DE ACCESO A INTERNET
QINTERNET Servicio Final Servicios Básicos Percepciones/FGVs comunes Tiempo de Arranque Velocidad de Transferencia Sostenida Factores de Eficiencia [Charzinski 2001] Modelo de Estimación [Van der Mei 2004] MOS = max ( 1 , 5+log2 Φ ) Ancho de Banda Sostenible (99%) [ADTRAN 2009] Ancho de Banda Sostenido RL = 1/RTT∙√3/(2∙b∙PLR) QWEB Q QFTP QP2P Φ TD RL COMENTARIO: En paralelo con la animación: 1 Servicio Final con varios Servicios Básicos Percepciones/FGVs comunes (contribución) Factores de eficiencia (contribución) Modelo de estimación (modificado) Referencia: Ancho de Banda Sostenible (obtenido el 99% del tiempo) Ancho de Banda Sostenido: Calculable a partir de parámetros de QoS NOTAS GENERALES: NO ENRROLLARSE

41 SERVICIO DE NAVEGACIÓN (WWW)
Φ4 = min ( 1 , (dt+BL/rt)/TT ) TT = TD + TL TD = TDNS + 2∙RTT TL = TMAIN + Σi(Si)/RL ≈ (N+1) ∙S/ RL dt Tiempo de Respuesta Objetivo BL Tamaño de página rt Ancho de Banda Sostenible NOTAS GENERALES: NO LEER, PASAR RÁPIDO COMENTARIO: Factor de eficiencia Φ4 El Tiempo de Descarga (TL) depende del número y tamaño (medio) de los objetos embebidos del ancho de banda sostenido

42 SERVICIO DE CORREO ELECTRÓNICO (Email)
Φ4 = min ( 1 , (dt+NMAIL∙SMAIL/rt)/TT ) TT = TRESP + TTRF TSNMP = TDNS+TSYN+TGREET+TCMD+TDATA+TMAIL+TMOK TPOP3/IMAP = TDNS+TSYN+TGREET+TCMD+TRETR+TMAIL TT = TCMD + TMAIL + TSERV TT ≈ NCMD*∙TCMD* + NMAIL*∙SMAIL*/RL + TSERV* COMENTARIO: Factor de Eficiencia: Adaptación de Φ4 El Tiempo Total (Tt) depende del número de comandos intercambiados el tiempo de proceso de los mismos el número de mensajes y su tamaño el ancho de banda sostenido el tiempo de respuesta del servidor

43 SERVICIO DE TRANSFERENCIA DE ARCHIVOS (FTP)
Φ1 = KG∙G + KTTP∙TTP G ≈ G0 - k∙PLR TTP ≈ TTP0∙min(1,e-k∙(PLR-PLR0)) G,TTP: [Beuran et al 2003,2004] COMENTARIO: Factor de Eficiencia: Adaptación de Φ1 Combinación lineal de Eficiencia de uso del Ancho de Banda (Goodput) Eficiencia del Tiempo de Transferencia Contribución: Fórmulas de estimación de G y TTP Cálculo de los coeficientes (a partir de resultados (medidas) de Beuran et al) Dependen del retardo (RTT) y del tamaño de los archivos Tamaño RTT k PLR0 10 KB 0,8 ms 62 60 ms 21 100 KB 70 0,06 1 MB 55 0,02 10 MB 56 Tamaño de Archivo RTT 10 KB 100 KB 1 MB 10 MB 0,8 ms 0,0219 0,1650 0,8221 0,8919 60 ms 0,0029 0,0141 0,0559 0,0791 Tamaño G0 k 10 KB 1 1,3 ≥ 100 KB 0,95

44 SERVICIO DE COMPARTICIÓN DE ARCHIVOS (P2P)
Dos regímenes: Transitorio Permanente Pocos servidores Nº clientes creciente Capacidad crece exponencialmente Nº clientes y servidores estable Capacidad estable Φ4 = min ( 1 , (dt+L/rt)/(TD+TL) rt = min(rs,RC) = min(n∙RS,RC) Reg.Transitorio: TL = 1/(m∙β)∙ln(m∙q/d) [Yang et al 2004] Reg.Permanente: TL = L/RC RC = L∙l/n [Carlsson,Dan 2009] RC = μS∙(n+y/x) [Yang et al 2004] COMENTARIO: Dos regímenes: Transitorio: Capacidad crece rápidamente (con el número de pares) Permanente: Capacidad estable Factor de eficiencia: adaptación de Φ4 Ancho de Banda sostenible = menor de Suma de Anchos de Banda de los Servidores (n.Rs) Ancho de Banda (descendente) del cliente (Rc) El Tiempo de Descarga depende de En Reg.Transitorio: El número de segmentos en que se divide cada archivo (m) El número de peticiones (q) En Reg.Permanente: La tasa de llegada de clientes (l) Las tasas efectivas de descarga de clientes y servidores La relación entre el número de clientes (x) y servidores (y) y sus tasas de descarga (n)

45 CALIDAD GLOBAL DEL SERVICIO DE ACCESO A INTERNET
Dos alternativas: Combinación Lineal de Valoraciones de Calidad QAI1 = KAI + KWEB·QWEB + KMAIL·QMAIL + KFTP·QFTP + KP2P·QP2P Combinación Lineal de Factores de Eficiencia ΦAI1 = κAI + κ WEB· Φ WEB + κ MAIL· Φ MAIL + κ FTP· Φ FTP + κ P2P· Φ P2P Coeficientes: AHP COMENTARIO: Dos alternativas: Combinación Lineal de Valoraciones de Calidad Combinación Lineal de Factores de Eficiencia Utilizado luego para calcular la valoración de calidad con el mismo modelo Coeficientes: AHP Selección: Trabajo para el futuro NOTAS GENERALES: No liarse con similitudes y diferencias WWW FTP P2P 1 4 6 1/4 3 1/6 1/3 WWW FTP P2P 0,6121 0,2164 0,0858

46 CALIDAD DEL SERVICIO GLOBAL (3P)
46

47 CALIDAD GLOBAL EN SERVICIOS 3P
¡CONTRIBUCIÓN! QS Proceso de Valoración Global: Servicios Elementales/Finales → 'Calidad Básica' Efecto de la Fiabilidad y Disponibilidad Ponderación de los Servicios Básicos Ponderación de los Servicios Finales Proceso de Ponderación Local Proceso de Agregación Global QBS QD QF FGV1 FGVn Q3P COMENTARIO: En paralelo con la animación: Método tradicional: FGVs -> Calidad del Servicio (directamente en 1 paso) Nuestro enfoque: FGVs -> Calidad Básica (del servicio elemental o final) Valoración del efecto de la Fiabilidad y Disponibilidad Qb*Qd*Qf -> Qservicio (elemental o final) Ponderación en dos pasos: Servicios Básicos -> Servicios Finales Servicios Finales -> Servicio Global Veremos también los procesos de Pondelación Local y Agregación Global ? QINTERNET QIPTV QToIP QWWW ∙∙∙ QP2P

48 DISPONIBILIDAD Y FIABILIDAD
FGV = Fracción de 'conexiones' fallidas/interrumpidas Modelo de Valoración: 1 p < pmax Qi = (log p - log pmin)/(log pmax - log pmin) pmax ≤ p ≤ pmin p > pmin MOSi = 1 + 4·Qi Modelo de Ponderación: Lineal: MOSS = KB·MOSB + KD·MOSD + KF·MOSF Multiplicativo: QS = QB · QD · QF Qi = (MOSi-1)/4 Servicio Conexión Navegación Página WEB Correo Electrónico Mensaje Transferencia de Archivos Archivo Compartición de Archivos Telefonía IP Llamada IPTV Película COMENTARIO: FGV = Fracción de 'conexiones' fallidas/interrumpidas Concepto de ‘conexión’: depende del servicio Modelo de valoración: Logarítmico entre umbrales de perceptibilidad y aceptabilidad Modelos de ponderación: Lineal: da poco ‘peso’ a la calidad básica para fiabilidad/disponibilidad altas y demasiado alto para fiabilidad/disponibilidad bajas Multiplicativo: ≈ Qb para Qd,Qf altas Qs bajo para Qb, Qd ó Qf bajas

49 PONDERACIÓN DE LOS SERVICIOS FINALES
Importancia relativa (Usuarios Residenciales) → A partir de estadísticas de uso [INE 2011] Servicio Internet ToIP IPTV % Hogares 63,9 80,6 99,6 Peso 0,2618 0,3302 0,4080 Peso = %Hogares / ΣS(%HogaresS) COMENTARIO: Basada en estadísticas del INE sobre % de hogares que utilizan los distintos servicios Válido para usuarios residenciales NOTAS: Para ToIP,IPTV se usan los porcentajes totales de hogares con teléfono fijo o TV (de cualquier tipo) No resaltar que no se dispone de datos por tecnologías

50 PROCESO DE PONDERACIÓN LOCAL
Matriz de Ponderación Local: Depende de los Flujos de Información considerados Flujo único: no precisa ponderación Múltiples flujos: 'Peso' de cada Capacidad depende de: Participación en cada flujo Importancia de cada flujo Proceso de cálculo: Capacidades Relevantes Porcentajes de flujos Usuarios Residenciales Flujos 1 2 3 4 Ser vi ci os Navegación 0,2 0,1 0,3 0,4 Telefonía IP 0,6 IPTV Pesos COMENTARIO: Basado en una Matriz de Ponderación Local Los pesos dependen de los flujos de información La contribución de cada capacidad depende de su participación en cada flujo y la importancia de los flulos A partir de las capacidades relevantes y los porcentajes de contribución de cada flujo a cada servicio para cada tipo de usuario se calculan los pesos de contribución de cada capacidad ¿Incluir un ejemplo? (se incluye uno en la Memoria) ¿Sólo usuarios residenciales y algunos agentes? Navegación ISP Res. SOHO Emp. Conect. Interna 0,6 0,8 0,9 Conect. Externa 0,2 0,4 Almacenamiento 0,3 0,5 SERVIDOR CACHÉ AGENTE CAPACIDAD EXTERNO INTERNO ISP LOCAL Conect.Interna X Conect.Externa Almacenamiento

51 PROCESO DE AGREGACIÓN GLOBAL
Basado en MÉTRICAS: Indicador Métrica Operación Retardo Aditiva Suma Varianza del Retardo Variación del Retardo (Jitter) RSC √Σx2 Ancho de Banda Cóncava Mínimo Fracción de Paquetes Transmitidos Multiplicativa Producto Fracción de Paquetes Perdidos ≈ Aditiva Suma (aprox) COMENTARIO: Basado en métricas Comentar brevemente algunas métricas: Retardo: Aditiva Jitter: RSC Ancho de Banda: Cóncava (minimo) Perdidas: aproximadamente aditiva (p/perdidas pequeñas) ¿Incluir ejemplo? ¿Añade realmente algo?

52 CONCLUSIONES Y LÍNEAS FUTURAS
52

53 CONCLUSIONES Contribución a la Estimación
de la Calidad Percibida por los Usuarios (QoE) en Servicios Triple-Play Convergentes en tiempo casi-real a partir de parámetros de Calidad de Servicio (QoS) y Rendimiento de la Red Modelo Matricial [Liberal 2005] + Actualización de los servicios (3P completo) + Nuevos elementos (percepciones, FGV, indicadores, etc.) + Modelos de Estimación nuevos, extendidos, o adicionales + Extensión, actualización y mejora de los modelos de Calidad Global

54 APORTACIONES (I) Modelo de Estimación de la Calidad de Vídeo en IPTV
+ Medidas de Información Espacial y Temporal Promedio (ASI/ATI) + Cálculo y uso de Tablas de Complejidad + Clasificación de las secuencias Tratamiento específico de la Fiabilidad y Disponibilidad Modelo de Valoración (logarítmico) Modelo de Ponderación (no lineal) Servicio de Difusión de TV: + Calidad Audiovisual + Desincronización Audio-Vídeo Dos modelos: Logarítmico/Factor de Degradación + Tiempo de Cambio de Canal + Modelos de Calidad Global: Lineal/No Lineal/Factores de Degradación + Conversión VQM->MOS (lineal)

55 APORTACIONES (II) Servicio de Llamadas de Voz:
Tiempos de Respuesta (Marcación y Establecimiento) Modelos de estimación de la influencia (~TCC) Modelo genérico para el Tiempo de Establecimiento Modelos de Calidad Global: Lineal/No Lineal Servicio de Acceso a Internet: Servicio de Compartición de Archivos (P2P) Factores de Eficiencia Percepciones/FGV comunes Modelo de estimación de los Factores de Eficiencia para FTP Modelos de Calidad Global: Combinación lineal de Valoraciones de Calidad Combinación lineal de Factores de Eficiencia Banco de Medidas: Prevención y Corrección de Pérdidas de Tramas Herramienta de medición de ASI/ATI (STIX)

56 PUBLICACIONES Ponencias en Congresos: Proyectos Fin de Carrera:
Perceived Video Quality Estimation from Spatial and Temporal Information Contents and Network Performance Parameters in IPTV. ICDT 2010. Estimating Perceived Video Quality from Objective Parameters in Video over IP Services. ICDT 2012. Estimation of Perceived Quality in Convergent Services. ICDT 2012. Proyectos Fin de Carrera: Diseño e Implementación de un Banco de Medidas para la Estimación de la Calidad Percibida de Vídeo en IPTV. UPM. Julio 2011. Artículos: A Model for Perceived Video Quality Estimation from Coding and QoS Parameters in IPTV. Pendiente de envío. Soporte: Proyecto ARCO (Beca MCI TEC ) Cátedra Alcatel-Lucent (UPM/ETSIT)

57 LÍNEAS FUTURAS Validación del Modelo (Base de Datos de Prueba)
Modelo de Calidad de Vídeo: Influencia de otros parámetros (además de VCR y PLR) Medidas de Información de Color Influencia del GOP Métricas no aditivas para VQM Ampliación de la BD de secuencias de prueba para validación del Modelo Calidad Audiovisual: Medidas de Contenido de Información de Audio Influencia en los coeficientes de los modelos Clasificación de secuencias audiovisuales Modelos de estimación (a partir de QoS) para: Retardo audio-vídeo Tiempo de Cambio de Canal Tiempo de Espera para Marcación Tiempo de Establecimiento de Llamada Tiempo de Respuesta y Velocidad de Descarga en P2P Fracción de Conexiones Fallidas e Interrumpidas Modelos definitivos de Calidad Global para los Servicios Finales Ponderación de los Servicios Finales para usuarios no residenciales Nuevos servicios, percepciones, FGVs, indicadores, etc.

58 RESUMEN

59 FIN 59