Marco de la QoS móvil: Contadores, KPI, KQI

Presentación del tema: "Marco de la QoS móvil: Contadores, KPI, KQI"— Transcripción de la presentación:

1 Marco de la QoS móvil: Contadores, KPI, KQI
Taller de la UIT sobre “Supervisión y referenciación de la calidad de servicio (QoS) y la calidad percibida (QoE) de los servicios multimedios en las redes móviles” (Buenos Aires, Argentina, de julio de 2014) Marco de la QoS móvil: Contadores, KPI, KQI Joachim Pomy OPTICOM, Alemania Version : 11 December 2008

2 [Contenido] Marco de la QoS Móvil: Contadores, KPI, KQI
ITRs: Setting the stage for a connected world Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI Buenos Aires - Argentina de julio de 2014 2

3 Trabajo del UIT-T sobre la QoS móvil (1)
KPIs móviles centrados en el equipo/la infraestructura agregación de contadores de redes propietarias no estandarizados Nuevo trabajo del UIT-T sobre QoS móvil Borrador de la nueva Recomendación E.MQoS Aspectos de la QoS para los servicios populares en las redes móviles Borrador de un nuevo Documento Complementario de la serie de Recomendaciones E.800 Lineamientos sobre los aspectos regulatorios de la QoS Otras Recomendaciones del UIT-T sobre QoS abarcan: Aspectos de los requisitos de los terminales Aspectos de la calidad extremo a extremo Aspectos de las percepciones de los usuarios Buenos Aires - Argentina de julio de 2014

4 [Contenido] Marco de la QoS Móvil: Contadores, KPI, KQI
ITRs: Setting the stage for a connected world Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI Buenos Aires - Argentina de julio de 2014 4

5 Segmentos de la QoS móvil
El modelo de QoS para el servicio móvil tiene cuatro segmentos. El primer segmento es la Disponibilidad de la Red Define la QoS más bien desde el punto de vista del proveedor de servicios que desde el usuario del servicio El segundo segmento es el Acceso a la Red Desde el punto de vista del usuario es el requerimiento básico para todos los demás aspectos y parámetros de la QoS El tercer segmento contiene otros aspectos de la QoS Acceso al Servicio, Integridad del Servicio y Capacidad de Retención del Servicio En el cuarto segmento se ubican diferentes servicios Su resultado son los parámetros de QoS según los perciben los usuarios Buenos Aires - Argentina de julio de 2014

6 Aspectos de la QoS del Servicio Móvil
Buenos Aires - Argentina de julio de 2014

7 La QoS móvil en segmentos (1)
Si seguimos un enfoque segmentado centrándonos en los eventos que puede percibir el usuario centrándonos en los principales servicios del mercado Telefonía SMS MMS Video Telefonía Video Streaming Navegación por Internet Buenos Aires - Argentina de julio de 2014

8 La QoS móvil en segmentos (2)
Indisponibilidad de la red radioeléctrica [%] Segmento 2 Relación de fallas en el Registro y la Selección de la Red [%] Buenos Aires - Argentina de julio de 2014

9 La QoS móvil en segmentos(3)
Segmento Telefonía 3 Inaccesibilidad al servicio de telefonía[%] Segmento Telefonía 4 Tiempo[s] de establecimiento de telefonía Relación de corte de llamadas de telefonía[%] Buenos Aires - Argentina de julio de 2014

10 La QoS móvil en segmentos (4)
Segmento SMS 3 Inaccesibilidad al Servicio de SMS [%] Segmento SMS 4 Tiempo[s] de entrega extremo a extremo de SMS Relación de fallas de SMS completados [%] Buenos Aires - Argentina de julio de 2014

11 La QoS móvil en segmentos (5)
Segmento MMS 3 Relación de fallas en el envío de MMS [%] Segmento MMS 4 Tiempo[s] de entrega extremo a extremo Relación de fallas extremo a extremo de MMS [%] Buenos Aires - Argentina de julio de 2014

12 La QoS móvil en segmentos (6)
Segmento Video Telefonía 3 Inaccesibilidad del Servicio VT [%] Segmento Video Telefonía 4 Tiempo[s]de establecimiento de Audio/Video VT Relación de corte de llamadas VT [%] Buenos Aires - Argentina de julio de 2014

13 La QoS móvil en segmentos(7)
Segmento Streaming de Video 3 Inaccesibilidad del Servicio de Streaming [%] Segmento 4: Tiempo[s]de Acceso al Servicio de Streaming Relación de corte de la Reproducción de Streaming [%] Buenos Aires - Argentina - 24 – 25 de julio de 2014

14 La QoS móvil en segmentos (8)
Segmento de navegación por Internet (HTTP) 3 Inaccesibilidad del servicio HTTP [%] Segmento de navegación por Internet (HTTP) 4 Tiempo[s] de establecimiento HTTP Relación fallas de Sesión HTTP [%] Relación corte de transferencia de datos HTTP [%] Buenos Aires - Argentina de julio de 2014

15 La QoS móvil en segmentos (9)
Este enfoque nos haría terminar con > 20 parámetros QoS Todos se relacionan con eventos de percepción de los usuarios Pero esto es sólo parámetros de extremo a extremo Hay muchos más parámetros definidos para los eventos relacionados con los segmentos de red, traspaso, etc. Buenos Aires - Argentina de julio de 2014

16 [Contenido] Marco de la QoS Móvil: Contadores, KPI, KQI
ITRs: Setting the stage for a connected world Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI Buenos Aires - Argentina de julio de 2014 16

17 Escenarios de prueba Escenarios de prueba necesarios para distinguir los siguientes casos principales de usuarios Servicios usuario-usuario (generalmente telefonía) Servicios de guardado y reenvío (por ej., SMS) Servicios de información (por ej., acceder a Internet o bajar FTP) Servicios Push (transferencia iniciada por el remitente) Buenos Aires - Argentina de julio de 2014

18 Consideraciones sobre los puntos de activación
Podemos suponer que cualquier equipo de prueba viable contendrá algún tipo de terminal de comunicación (UE) que puede ser un tipo especial (por ejemplo, un teléfono de seguimiento) o un UE estándar También, se puede suponer que cada uno de tales dispositivos proporcionará información de diferentes segmentos de la comunicación desde el Segmento de la Aplicación (cercana a la interfaz del usuario) hacia los segmentos más bajos, por ej., eventos del sistema operativo, segmento TCP/IP, o Segmento 3 información de señalización, que es utilizada como punto de activación para procesar los PARÁMETROS de la QOS En general los comandos AT pueden utilizarse en la mayoría de los casos La acción es en general disparada por una acción del usuario emulada causar alguna acción en la interfaz de aire Buenos Aires - Argentina de julio de 2014

19 Consideraciones sobre los puntos de activación
El proceso de propagación de eventos es determinante permite una especie de mapeo entre segmentos está asociado con la demora y el procesamiento de las comunicaciones en cada etapa. Elección del segmento para el punto de activación de la recuperación de información determina el punto de vista expresado en un PARÁMETRO de QoS Elegir eventos de los niveles inferiores (Segmento 3) brinda un punto de vista más centrado en la red los eventos de los niveles superiores brindan puntos de vista más relacionados con los usuarios para los mismos PARÁMETROS de QoS, el segmento de origen para los eventos utilizados como puntos de activación debería ser el mismo En referenciación, para todas las redes abarcadas por la prueba usar el mismo tipo de UE y de PARÁMETROS de QoS usar puntos de activación desde el mismo segmento. Al cambiar el segmento de origen para un determinado punto de activación se deberían esperar cambios en los PARÁMETROS de QoS se requieren medidas de calibración para evaluar la influencia sobre los PARÁMETROS de QoS tanto cuantitativa como cualitativamente. Buenos Aires - Argentina de julio de 2014

20 [Contenido] Marco de la QoS Móvil: Contadores, KPI, KQI
ITRs: Setting the stage for a connected world Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI Buenos Aires - Argentina de julio de 2014 20

21 Mediciones de telefonía en la red (1)
Definición de transacción y tipos de transacción La transacción básica para las pruebas de telefonía es equivalente a una sola llamada a la extensión de una contraparte. Se supone que la contraparte a la que se llama es en general una extensión de tipo red-fija para evitar incertidumbres relacionadas con una segunda conexión móvil. El tipo puede ser Originada en la red móvil (MO) o Terminada en la red móvil (MT). Se supone que una vez establecida la conexión, para efectuar otras mediciones no tiene importancia que lado activó la llamada. Por lo tanto, el parámetro del flujo de datos de audio no estará lógicamente relacionado con el tipo de llamada. Buenos Aires - Argentina de julio de 2014

22 Mediciones de telefonía en la red (2)
Calidad de los contenidos Los datos de la evaluación de la calidad del contenido se generan en el extremo receptor Para el enlace descendente el almacenamiento de los datos del contenido es directo Para el contenido del enlace ascendente, los resultados deben integrarse en algún punto del tiempo Para evaluar la calidad del contenido de una muestra completa de transmisión de voz, son posibles al menos los siguientes métodos: Buenos Aires - Argentina de julio de 2014

23 Mediciones de telefonía en la red (3)
Calidad de los contenidos (cont.) Evaluación en tiempo real modo streaming el algoritmo de evaluación de la calidad de voz determina el tiempo real de MOS-LQO Evaluación Offline el contenido es previamente grabado para ser procesado más tarde El procesamiento de los datos debe garantizar que sólo se procesan los datos de calidad de los contenidos válidos dentro de la ventana de tiempo "conexión activa” Buenos Aires - Argentina de julio de 2014

24 Mediciones de telefonía en la red (4)
Verificación de conexiones bidireccionales utilizables Sólo las llamadas con una conexión de datos bidireccional extremo a extremo válidas serán consideradas en la evaluación de la calidad del contenido (llamadas válidas). Las llamadas no válidas serán tratadas como llamadas perdidas con un indicador para este caso en particular Buenos Aires - Argentina de julio de 2014

25 Tema candente: POLQA™ - Rec. P.863 (1)
Buenos Aires - Argentina de julio de 2014

26 Nuevo estándar POLQA ganador de una rigurosa competencia técnica
POLQA™ - Rec. P.863 (2) Nuevo estándar POLQA ganador de una rigurosa competencia técnica Llevada a cabo por el UIT-T para definir la actualización tecnológica del PESQ/P.862 PESQ era el estándar de punta en la mayoría de los servicios de telecomunicaciones a nivel mundial POLQA - “Perceptual Objective Listening Quality Assessment” (Evaluación de la calidad de la escucha percibida objetiva)- ofrece un nuevo nivel de capacidad de referenciación para determinar la calidad de voz de los servicios de la red móvil Buenos Aires - Argentina de julio de 2014

27 POLQA™ - Rec. P.863 (5) Limitaciones de los estándares existentes que son ahora abordados por el POLQA CDMA 3G TD-SCDMA chino POLQA también ofrecerá un fuerte apoyo inmediato para probar las nuevas redes de banda ancha 4G/LTE que proveen servicios de voz de alta calidad (HD) Las pruebas llevadas a cabo durante la evaluación del POLQA incluyeron tecnologías futuras, tales como Comunicaciones unificadas Redes de próxima generación 4G/LTE Voz HD, por ej., “wide-band” (banda amplia) y "super-wide-band” (banda super amplia) Ver POLQA: The Next Generation in Voice Quality Testing Buenos Aires - Argentina de julio de 2014

28 Buenos Aires - Argentina - 24 - 25 de julio de 2014
Evolución de las Recomendaciones del UIT-T para las Pruebas de Calidad de Voz (P.86x – Referencia completa MOS-LQO) Buenos Aires - Argentina de julio de 2014 28

29 POLQA Introduction - (c) OPTICOM GmbH 2010
TNO Meeting, Delft, Validación del comportamiento La UIT ha validado el POLQA en: Idiomas incluidos en la validación del POLQA : 47000 pares de archivos 64 experimentos subjetivos Alemán Alemán suizo Italiano, Japonés, Sueco Inglés americano e Inglés británico Chino (Mandarín), Checo, Holandés, Francés, Buenos Aires - Argentina de julio de 2014 POLQA Introduction - (c) OPTICOM GmbH 2010 29 (c) OPTICOM C O N F I D E N T I A L 29

30 [Contenido] Marco de la QoS Móvil: Contadores, KPI, KQI
ITRs: Setting the stage for a connected world Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI Buenos Aires - Argentina de julio de 2014 30

31 Intervalos de confianza para diferentes tamaños de muestras (1)
Efectos de los diferentes tamaños de muestras en una campaña de medición basados en las fórmulas de Pearson-Clopper para calcular los intervalos de confianza válidos de forma genérica e incluso para muestras de pequeño tamaño para muestras de cantidades mayores, se puede aplicar el cálculo de los intervalos de confianza en base a la aproximación de una distribución normal se muestran tres gráficos diferentes: Los tamaños de las muestras dentro del rango de: entre 100 y muestras; entre y muestras; y entre y muestras. Buenos Aires - Argentina de julio de 2014

32 Intervalos de confianza para diferentes tamaños de muestras (2)
Buenos Aires - Argentina de julio de 2014

33 Intervalos de confianza para diferentes tamaños de muestras (3)
Buenos Aires - Argentina de julio de 2014

34 Intervalos de confianza para diferentes tamaños de muestras (4)
Buenos Aires - Argentina de julio de 2014

35 Informe de los resultados (1)
Qué tipo de información se debe dar al lector cuando se genera un informe de la prueba? Cuando se utilizan valores cuantiles, se debería tener en mente que el cómputo de cuantiles separa un bajo porcentaje de datos atípicos de los datos restantes. Esto significa: Si los valores más bajos representan un resultado mejor desde la perspectiva del cliente, un pequeño porcentaje que contenga los valores más altos podría ser separado calculando un cuantil al 95 % o un cuantil al 90 %. Este es el caso por ejemplo para los valores de duración. Buenos Aires - Argentina de julio de 2014

36 Informe de los resultados (2)
Si los valores más altos representan un mejor resultado desde la perspectiva del cliente, un porcentaje pequeño que contenga los valores más bajos podría ser separado calculando un cuantil al 5% o un cuantil al 10%. Este es el caso por ejemplo para valores de producción. Con relación a la calidad del contenido, el cálculo del cuantil apropiado se orienta en la escala de los resultados de las pruebas determinadas. En la práctica, algunos algoritmos definen un valor de 0 en una escala de 0 a 5 como la mejor calidad, mientras que otros definen el valor 5 como la mejor calidad posible. Buenos Aires - Argentina de julio de 2014

37 [Contenido] Marco de la QoS Móvil: Contadores, KPI, KQI
ITRs: Setting the stage for a connected world Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI Buenos Aires - Argentina de julio de 2014 37

38 KPIs (Indicadores Claves de Desempeño) basados en los Contadores de las Redes
Específicos de un distribuidor = KPIs internos de la red diferentes estrategias cómo contar los eventos de la red qué eventos están incluidos en qué contador(es) Requieren conocimiento de un sistema específico especialistas con conocimiento detallado del sistema probar los contadores la documentación puede ser incorrecta el enfoque con respecto al contador cambia con la actualización del sistema Los operadores móviles luchan con esto la mayoría de los operadores está en un entorno de múltiples distribuidores los contadores de diferentes distribuidores no se pueden comparar en forma directa requiere una estrategia y una atención continua Buenos Aires - Argentina de julio de 2014

39 KPIs desde la perspectiva de los usuarios = KQIs
Indicadores Claves de Calidad(KQIs) = indicadores externos se pueden evaluar en el campo Para monitoreo, regulación, etc.. se puede seleccionar una subserie aplicable a todos los distribuidores y operadores no limitada al servicio móvil, sino buena también para la banda ancha Buenos Aires - Argentina de julio de 2014

40 KPIs versus KQIs A veces se los confunde KPIs = indicadores internos
son parte del desempeño de la red se basan en los contadores de las redes son esenciales para la operación, el mantenimiento, el modelo comercial se pueden informar, auditar, etc. sin embargo, no tienen ningún sentido cuando están fuera de contexto KQIs = indicadores externos sirven de base para evaluar la QoS según la percibe el usuario independientes de los distribuidores Independientes de los operadores ideales para comparar diferentes operadores sobre una base estadística no pueden ser informados desde el propio sistema requieren algún tipo de prueba en el campo, conduciendo, caminando, etc.. Buenos Aires - Argentina de julio de 2014

41 ¿Alguna pregunta? Contacto: Consultant@joachimpomy.de
Buenos Aires - Argentina de julio de 2014