Version : 11 December 2008 Taller de la UIT sobre “Supervisión y referenciación de la calidad de servicio (QoS) y la calidad percibida (QoE) de los servicios.

Presentación del tema: "Version : 11 December 2008 Taller de la UIT sobre “Supervisión y referenciación de la calidad de servicio (QoS) y la calidad percibida (QoE) de los servicios."— Transcripción de la presentación:

1 Version : 11 December 2008 Taller de la UIT sobre “Supervisión y referenciación de la calidad de servicio (QoS) y la calidad percibida (QoE) de los servicios multimedios en las redes móviles” (Buenos Aires, Argentina, 24-25 de julio de 2014) Marco de la QoS móvil: Contadores, KPI, KQI Joachim Pomy Consultant@joachimpomy.de OPTICOM, Alemania

2 Buenos Aires - Argentina - 24 - 25 de julio de 2014 2  Marco de la QoS Móvil: Contadores, KPI, KQI  Nuevo trabajo del UIT-T sobre QoS móvil  Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario  Escenarios de prueba y Puntos de activación  Evaluación de la calidad de voz – Conducción de las pruebas  Estadísticas – Presentación de los resultados  Contadores, KPI, KQI ITRs: Setting the stage for a connected world [Contenido]

3 Buenos Aires - Argentina - 24 - 25 de julio de 2014 3 Trabajo del UIT-T sobre la QoS móvil (1)  KPIs móviles  centrados en el equipo/la infraestructura  agregación de contadores de redes propietarias  no estandarizados  Nuevo trabajo del UIT-T sobre QoS móvil  Borrador de la nueva Recomendación E.MQoS  Aspectos de la QoS para los servicios populares en las redes móviles  Borrador de un nuevo Documento Complementario de la serie de Recomendaciones E.800  Lineamientos sobre los aspectos regulatorios de la QoS  Otras Recomendaciones del UIT-T sobre QoS abarcan:  Aspectos de los requisitos de los terminales  Aspectos de la calidad extremo a extremo  Aspectos de las percepciones de los usuarios

4 Buenos Aires - Argentina - 24 - 25 de julio de 2014 4  Marco de la QoS Móvil: Contadores, KPI, KQI  Nuevo trabajo del UIT-T sobre QoS móvil  Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario  Escenarios de prueba y Puntos de activación  Evaluación de la calidad de voz – Conducción de las pruebas  Estadísticas – Presentación de los resultados  Contadores, KPI, KQI ITRs: Setting the stage for a connected world [Contenido]

5 Buenos Aires - Argentina - 24 - 25 de julio de 2014 5 Segmentos de la QoS móvil  El modelo de QoS para el servicio móvil tiene cuatro segmentos.  El primer segmento es la Disponibilidad de la Red  Define la QoS más bien desde el punto de vista del proveedor de servicios que desde el usuario del servicio  El segundo segmento es el Acceso a la Red  Desde el punto de vista del usuario es el requerimiento básico para todos los demás aspectos y parámetros de la QoS  El tercer segmento contiene otros aspectos de la QoS  Acceso al Servicio, Integridad del Servicio y Capacidad de Retención del Servicio  En el cuarto segmento se ubican diferentes servicios  Su resultado son los parámetros de QoS según los perciben los usuarios

6 Buenos Aires - Argentina - 24 - 25 de julio de 2014 6 Aspectos de la QoS del Servicio Móvil

7 Buenos Aires - Argentina - 24 - 25 de julio de 2014 7 La QoS móvil en segmentos (1)  Si seguimos un enfoque segmentado  centrándonos en los eventos que puede percibir el usuario  centrándonos en los principales servicios del mercado  Telefonía  SMS  MMS  Video Telefonía  Video Streaming  Navegación por Internet

8 Buenos Aires - Argentina - 24 - 25 de julio de 2014 8 La QoS móvil en segmentos (2)  Segmento 1 Segmento 1  Indisponibilidad de la red radioeléctrica [%]  Segmento 2 Segmento 2  Relación de fallas en el Registro y la Selección de la Red [%][%]

9 Buenos Aires - Argentina - 24 - 25 de julio de 2014 9 La QoS móvil en segmentos(3)  Segmento Telefonía 3 Segmento Telefonía 3  Inaccesibilidad al servicio de telefonía[%] Inaccesibilidad al servicio de telefonía[%]  Segmento Telefonía 4 Segmento Telefonía 4  Tiempo[s] de establecimiento de telefonía Tiempo[s] de establecimiento de telefonía  Relación de corte de llamadas de telefonía[%] Relación de corte de llamadas de telefonía[%]

10 Buenos Aires - Argentina - 24 - 25 de julio de 2014 10 La QoS móvil en segmentos (4)  Segmento SMS 3 Segmento SMS 3  Inaccesibilidad al Servicio de SMS [%] Inaccesibilidad al Servicio de SMS [%]  Segmento SMS 4 Segmento SMS 4  Tiempo[s] de entrega extremo a extremo de SMS[s]SMS  Relación de fallas de SMS completados [%] Relación de fallas de SMS completados [%]

11 Buenos Aires - Argentina - 24 - 25 de julio de 2014 11 La QoS móvil en segmentos (5)  Segmento MMS 3 Segmento MMS 3  Relación de fallas en el envío de MMS [%] Relación de fallas en el envío de MMS [%]  Segmento MMS 4 Segmento MMS 4  Tiempo[s] de entrega extremo a extremo Tiempo[s] de entrega extremo a extremo  Relación de fallas extremo a extremo de MMS [%] Relación de fallas extremo a extremo de MMS [%]

12 Buenos Aires - Argentina - 24 - 25 de julio de 2014 12 La QoS móvil en segmentos (6)  Segmento Video Telefonía 3 Segmento Video Telefonía 3  Inaccesibilidad del Servicio VT [%] Inaccesibilidad del Servicio VT [%]  Segmento Video Telefonía 4 Segmento Video Telefonía 4  Tiempo[s]de establecimiento de Audio/Video VT[s]de establecimiento de Audio/VideoVT  Relación de corte de llamadas VT [%] Relación de corte de llamadas VT [%]

13 Buenos Aires - Argentina - 24 – 25 de julio de 2014 13 La QoS móvil en segmentos(7)  Segmento Streaming de Video 3 Segmento Streaming de Video 3  Inaccesibilidad del Servicio de Streaming [%] Inaccesibilidad del Servicio de Streaming [%]  Segmento 4: Segmento 4:  Tiempo[s]de Acceso al Servicio de Streaming Tiempo[s]de Acceso al Servicio de Streaming  Relación de corte de la Reproducción de Streaming [%] Relación de corte de la Reproducción de Streaming [%]

14 Buenos Aires - Argentina - 24 - 25 de julio de 2014 14 La QoS móvil en segmentos (8)  Segmento de navegación por Internet (HTTP) 3 Segmento de navegación por Internet (HTTP) 3  Inaccesibilidad del servicio HTTP [%] Inaccesibilidad del servicio HTTP [%]  Segmento de navegación por Internet (HTTP) 4 Segmento de navegación por Internet(HTTP) 4  Tiempo[s] de establecimiento HTTP[s]de establecimiento HTTP  Relación fallas de Sesión HTTP [%] Relación fallas de Sesión HTTP [%]  Relación corte de transferencia de datos HTTP [%] Relación corte de transferencia de datos HTTP [%]

15 Buenos Aires - Argentina - 24 - 25 de julio de 2014 15 La QoS móvil en segmentos (9)  Este enfoque nos haría terminar con > 20 parámetros QoS  Todos se relacionan con eventos de percepción de los usuarios  Pero esto es sólo parámetros de extremo a extremo  Hay muchos más parámetros definidos para los eventos relacionados con los segmentos de red, traspaso, etc.

16 Buenos Aires - Argentina - 24 - 25 de julio de 2014 16  Marco de la QoS Móvil: Contadores, KPI, KQI  Nuevo trabajo del UIT-T sobre QoS móvil  Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario  Escenarios de prueba y Puntos de activación  Evaluación de la calidad de voz – Conducción de las pruebas  Estadísticas – Presentación de los resultados  Contadores, KPI, KQI ITRs: Setting the stage for a connected world [Contenido]

17 Buenos Aires - Argentina - 24 - 25 de julio de 2014 17 Escenarios de prueba  Escenarios de prueba necesarios para distinguir los siguientes casos principales de usuarios  Servicios usuario-usuario (generalmente telefonía)  Servicios de guardado y reenvío (por ej., SMS)  Servicios de información (por ej., acceder a Internet o bajar FTP)  Servicios Push (transferencia iniciada por el remitente)

18 Buenos Aires - Argentina - 24 - 25 de julio de 2014 18 Consideraciones sobre los puntos de activación  Podemos suponer que  cualquier equipo de prueba viable contendrá algún tipo de terminal de comunicación (UE) que puede ser un tipo especial (por ejemplo, un teléfono de seguimiento)  o un UE estándar  También, se puede suponer que cada uno de tales dispositivos proporcionará información de diferentes segmentos de la comunicación  desde el Segmento de la Aplicación (cercana a la interfaz del usuario)  hacia los segmentos más bajos, por ej., eventos del sistema operativo, segmento TCP/IP, o Segmento 3 información de señalización, que es utilizada como punto de activación para procesar los PARÁMETROS de la QOS  En general los comandos AT pueden utilizarse en la mayoría de los casos  La acción es en general disparada por  una acción del usuario emulada  causar alguna acción en la interfaz de aire

19 Buenos Aires - Argentina - 24 - 25 de julio de 2014 19 Consideraciones sobre los puntos de activación  El proceso de propagación de eventos es determinante  permite una especie de mapeo entre segmentos  está asociado con la demora y el procesamiento de las comunicaciones en cada etapa.  Elección del segmento para el punto de activación de la recuperación de información  determina el punto de vista expresado en un PARÁMETRO de QoS  Elegir eventos de los niveles inferiores (Segmento 3) brinda un punto de vista más centrado en la red  los eventos de los niveles superiores brindan puntos de vista más relacionados con los usuarios  para los mismos PARÁMETROS de QoS, el segmento de origen para los eventos utilizados como puntos de activación debería ser el mismo  En referenciación, para todas las redes abarcadas por la prueba  usar el mismo tipo de UE y de PARÁMETROS de QoS  usar puntos de activación desde el mismo segmento.  Al cambiar el segmento de origen para un determinado punto de activación  se deberían esperar cambios en los PARÁMETROS de QoS  se requieren medidas de calibración  para evaluar la influencia sobre los PARÁMETROS de QoS tanto cuantitativa como cualitativamente.

20 Buenos Aires - Argentina - 24 - 25 de julio de 2014 20  Marco de la QoS Móvil: Contadores, KPI, KQI  Nuevo trabajo del UIT-T sobre QoS móvil  Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario  Escenarios de prueba y Puntos de activación  Evaluación de la calidad de voz – Conducción de las pruebas  Estadísticas – Presentación de los resultados  Contadores, KPI, KQI ITRs: Setting the stage for a connected world [Contenido]

21 Buenos Aires - Argentina - 24 - 25 de julio de 2014 21 Mediciones de telefonía en la red (1)  Definición de transacción y tipos de transacción  La transacción básica para las pruebas de telefonía es equivalente a una sola llamada a la extensión de una contraparte. Se supone que la contraparte a la que se llama es en general una extensión de tipo red-fija para evitar incertidumbres relacionadas con una segunda conexión móvil.  El tipo puede ser Originada en la red móvil (MO) o Terminada en la red móvil (MT).  Se supone que una vez establecida la conexión, para efectuar otras mediciones no tiene importancia que lado activó la llamada. Por lo tanto, el parámetro del flujo de datos de audio no estará lógicamente relacionado con el tipo de llamada.

22 Buenos Aires - Argentina - 24 - 25 de julio de 2014 22 Mediciones de telefonía en la red (2)  Calidad de los contenidos  Los datos de la evaluación de la calidad del contenido se generan en el extremo receptor  Para el enlace descendente el almacenamiento de los datos del contenido es directo  Para el contenido del enlace ascendente, los resultados deben integrarse en algún punto del tiempo  Para evaluar la calidad del contenido de una muestra completa de transmisión de voz, son posibles al menos los siguientes métodos:

23 Buenos Aires - Argentina - 24 - 25 de julio de 2014 23 Mediciones de telefonía en la red (3)  Calidad de los contenidos (cont.)  Evaluación en tiempo real  modo streaming  el algoritmo de evaluación de la calidad de voz determina el tiempo real de MOS-LQO  Evaluación Offline  el contenido es previamente grabado  para ser procesado más tarde  El procesamiento de los datos debe garantizar que sólo se procesan los datos de calidad de los contenidos válidos  dentro de la ventana de tiempo "conexión activa”

24 Buenos Aires - Argentina - 24 - 25 de julio de 2014 24 Mediciones de telefonía en la red (4)  Verificación de conexiones bidireccionales utilizables  Sólo las llamadas con una conexión de datos bidireccional extremo a extremo válidas serán consideradas en la evaluación de la calidad del contenido (llamadas válidas).  Las llamadas no válidas serán tratadas como llamadas perdidas  con un indicador para este caso en particular

25 Buenos Aires - Argentina - 24 - 25 de julio de 2014 25 Tema candente: POLQA™ - Rec. P.863 (1)

26 Buenos Aires - Argentina - 24 - 25 de julio de 2014 26 POLQA™ - Rec. P.863 (2)  Nuevo estándar POLQA ganador de una rigurosa competencia técnica  Llevada a cabo por el UIT-T para definir la actualización tecnológica del PESQ/P.862  PESQ era el estándar de punta en la mayoría de los servicios de telecomunicaciones a nivel mundial  POLQA - “Perceptual Objective Listening Quality Assessment” (Evaluación de la calidad de la escucha percibida objetiva)- ofrece un nuevo nivel de capacidad de referenciación  para determinar la calidad de voz de los servicios de la red móvil

27 Buenos Aires - Argentina - 24 - 25 de julio de 2014 27 POLQA™ - Rec. P.863 (5)  Limitaciones de los estándares existentes que son ahora abordados por el POLQA  CDMA  3G TD-SCDMA chino  POLQA también ofrecerá un fuerte apoyo inmediato para probar las nuevas redes de banda ancha 4G/LTE que proveen servicios de voz de alta calidad (HD)  Las pruebas llevadas a cabo durante la evaluación del POLQA incluyeron tecnologías futuras, tales como  Comunicaciones unificadas  Redes de próxima generación  4G/LTE  Voz HD, por ej., “wide-band” (banda amplia) y "super-wide-band” (banda super amplia)  Ver POLQA: The Next Generation in Voice Quality Testing http://www.polqa.info http://www.polqa.info

28 Buenos Aires - Argentina - 24 - 25 de julio de 2014 28 Evolución de las Recomendaciones del UIT-T para las Pruebas de Calidad de Voz (P.86x – Referencia completa MOS-LQO)

29 Buenos Aires - Argentina - 24 - 25 de julio de 2014 29 POLQA Introduction - (c) OPTICOM GmbH 201029 Validación del comportamiento La UIT ha validado el POLQA en: Idiomas incluidos en la validación del POLQA : Alemán Alemán suizo Italiano, Japonés, Sueco Inglés americano e Inglés británico Chino (Mandarín), Checo, Holandés, Francés, 47000 pares de archivos 64 experimentos subjetivos

30 Buenos Aires - Argentina - 24 - 25 de julio de 2014 30  Marco de la QoS Móvil: Contadores, KPI, KQI  Nuevo trabajo del UIT-T sobre QoS móvil  Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario  Escenarios de prueba y Puntos de activación  Evaluación de la calidad de voz – Conducción de las pruebas  Estadísticas – Presentación de los resultados  Contadores, KPI, KQI ITRs: Setting the stage for a connected world [Contenido]

31 Buenos Aires - Argentina - 24 - 25 de julio de 2014 31 Intervalos de confianza para diferentes tamaños de muestras (1)  Efectos de los diferentes tamaños de muestras en una campaña de medición  basados en las fórmulas de Pearson-Clopper para calcular los intervalos de confianza  válidos de forma genérica e incluso para muestras de pequeño tamaño  para muestras de cantidades mayores, se puede aplicar el cálculo de los intervalos de confianza en base a la aproximación de una distribución normal  se muestran tres gráficos diferentes: Los tamaños de las muestras dentro del rango de:  entre 100 y 1 100 muestras;  entre 1 100 y 2 100 muestras; y  entre 1 000 y 11 000 muestras.

32 Buenos Aires - Argentina - 24 - 25 de julio de 2014 32 Intervalos de confianza para diferentes tamaños de muestras (2)

33 Buenos Aires - Argentina - 24 - 25 de julio de 2014 33 Intervalos de confianza para diferentes tamaños de muestras (3)

34 Buenos Aires - Argentina - 24 - 25 de julio de 2014 34 Intervalos de confianza para diferentes tamaños de muestras (4)

35 Buenos Aires - Argentina - 24 - 25 de julio de 2014 35 Informe de los resultados (1)  Qué tipo de información se debe dar al lector cuando se genera un informe de la prueba?  Cuando se utilizan valores cuantiles, se debería tener en mente que el cómputo de cuantiles separa un bajo porcentaje de datos atípicos de los datos restantes. Esto significa:  Si los valores más bajos representan un resultado mejor desde la perspectiva del cliente, un pequeño porcentaje que contenga los valores más altos podría ser separado calculando un cuantil al 95 % o un cuantil al 90 %. Este es el caso por ejemplo para los valores de duración.

36 Buenos Aires - Argentina - 24 - 25 de julio de 2014 36 Informe de los resultados (2)  Si los valores más altos representan un mejor resultado desde la perspectiva del cliente, un porcentaje pequeño que contenga los valores más bajos podría ser separado calculando un cuantil al 5% o un cuantil al 10%. Este es el caso por ejemplo para valores de producción.  Con relación a la calidad del contenido, el cálculo del cuantil apropiado se orienta en la escala de los resultados de las pruebas determinadas. En la práctica, algunos algoritmos definen un valor de 0 en una escala de 0 a 5 como la mejor calidad, mientras que otros definen el valor 5 como la mejor calidad posible.

37 Buenos Aires - Argentina - 24 - 25 de julio de 2014 37  Marco de la QoS Móvil: Contadores, KPI, KQI  Nuevo trabajo del UIT-T sobre QoS móvil  Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario  Escenarios de prueba y Puntos de activación  Evaluación de la calidad de voz – Conducción de las pruebas  Estadísticas – Presentación de los resultados  Contadores, KPI, KQI ITRs: Setting the stage for a connected world [Contenido]

38 Buenos Aires - Argentina - 24 - 25 de julio de 2014 38 KPIs (Indicadores Claves de Desempeño) basados en los Contadores de las Redes  Específicos de un distribuidor = KPIs internos de la red  diferentes estrategias  cómo contar los eventos de la red  qué eventos están incluidos en qué contador(es)  Requieren conocimiento de un sistema específico  especialistas con conocimiento detallado del sistema  probar los contadores  la documentación puede ser incorrecta  el enfoque con respecto al contador cambia con la actualización del sistema  Los operadores móviles luchan con esto  la mayoría de los operadores está en un entorno de múltiples distribuidores  los contadores de diferentes distribuidores no se pueden comparar en forma directa  requiere una estrategia y una atención continua

39 Buenos Aires - Argentina - 24 - 25 de julio de 2014 39 KPIs desde la perspectiva de los usuarios = KQIs  Indicadores Claves de Calidad(KQIs) = indicadores externos  se pueden evaluar en el campo  Para monitoreo, regulación, etc..  se puede seleccionar una subserie  aplicable a todos los distribuidores y operadores  no limitada al servicio móvil, sino buena también para la banda ancha

40 Buenos Aires - Argentina - 24 - 25 de julio de 2014 40 KPIs versus KQIs  A veces se los confunde  KPIs = indicadores internos  son parte del desempeño de la red  se basan en los contadores de las redes  son esenciales para la operación, el mantenimiento, el modelo comercial  se pueden informar, auditar, etc.  sin embargo, no tienen ningún sentido cuando están fuera de contexto  KQIs = indicadores externos  sirven de base para evaluar la QoS según la percibe el usuario  independientes de los distribuidores  Independientes de los operadores  ideales para comparar diferentes operadores sobre una base estadística  no pueden ser informados desde el propio sistema  requieren algún tipo de prueba en el campo, conduciendo, caminando, etc..

41 Buenos Aires - Argentina - 24 - 25 de julio de 2014 41 ¿ Alguna pregunta ? Contacto: Consultant@joachimpomy.de