Configuración, Evaluación y Explotación de Sistemas Informáticos Selección de métricas Juan Ramón Pérez Pérez Configuración, Evaluación y Explotación de Sistemas Informáticos Versión 1

© Asignatura CEESI - EUITIO Elección de métricas Hemos definido los objetivos del estudio de evaluación. Se han definido los servicios implicados en el estudio. Debemos definir las peticiones que vamos a definir sobre esos servicios. Puede haber varias posibles respuestas. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Salidas al realizar peticiones sobre los servicio (I) Petición no procesada. Clasificar los tipo de fallo y medir: Duración del evento que impide el procesamiento. Tiempo entre eventos. Petición procesada incorrectamente. Clasificar los errores y medir: Probabilidad de cada tipo de error. Tiempo entre errores. Ejemplo conexión a un proveedor de servicios de Internet a través de la línea telefónica noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Salidas al realizar peticiones sobre los servicio (y II) Petición procesada correctamente. Tipos de medidas: Tiempo de ejecución del servicio. Velocidad (tasa) a la que se ejecuta el servicio. Recursos que consume el servicio en su ejecución. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Métricas ante las distintas respuestas de un servicio   Resultado Métricas de Ejecución correcta del servicio Velocidad Error del servicio Fiabilidad No disponibilidad (fallo) del servicio Disponibilidad noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Tabla de tipos de métricas (respuesta correcta) Medidas sobre un servicio Factores con los que se relaciona Métricas de Tiempo de ejecución   Tiempo Tiempo de respuesta Velocidad a la que se ejecuta Índices (tasas) de ejecución Productividad Recursos que consume Recursos Utilización noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Formas de aplicar las métricas Medida estadística: el valor medio es importante en cualquier métrica. hay que tener en cuenta la variabilidad. Métricas individuales y globales: Individuales, reflejan la utilidad para cada usuario. Globales, reflejan la utilidad para todo el sistema. Ej importancia de la variabilidad: tiempo respuesta sistema multiusuario, tanto un tiempo medio de respuesta alto, como una alta variabilidad pueden ser negativos noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Selección de métricas Baja variabilidad Evita tener que realizar un gran número de medidas para obtener un nivel adecuado de confianza estadística. No redundancia Si dos métricas dan la misma información es menos confuso estudiar sólo una. Completitud Todos los posibles resultados deben estar reflejados en el conjunto de métricas de rendimiento. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Caso de estudio Comparación entre dos algoritmos de control de congestión de tráfico para una red de ordenadores. Una red de ordenadores esta compuesta por un número de sistemas finales interconectados por un número de sistemas intermedios. Un sistema final puede enviar paquetes a otros sistema final en la red. Los sistemas intermedios se reenvían paquetes para que lleguen al sistema final. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Definición sistema Las congestiones ocurren cuando el número de paquetes que espera en un sistema intermedio excede la capacidad de los buffers y algún paquete se pierde. El sistema objeto de estudio consiste, en este caso, en la red. El único servicio que consideramos es el de reenvío de paquetes. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Respuestas ante el servicio Cuando un usuario de la red envía un conjunto de paquetes a otro sistema final (destino), puede haber cuatro posibles respuestas: Los paquete son enviados en orden al destino correcto. Los paquetes son enviados desordenados al destino. Los paquetes son enviados más de una vez (duplicados) al destino. Los paquetes son perdidos en el camino (paquete perdidos). noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Métricas Paquetes enviados en orden: Tiempo de respuesta: el retardo en la red para los paquetes individuales. Capacidad de procesamiento: el número de paquetes por unidad de tiempo. Tiempo de procesador por paquete en el sistema origen. Tiempo de procesador por paquete en el sistema destino. Tiempo de procesador por paquete en los sistemas intermedios. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Métricas (II) La variabilidad del tiempo de respuesta es importante ya que puede provocar retransmisiones innecesarias: Varianza del tiempo de respuesta. Paquetes fuera de orden no son deseables ya que utilizan recursos y siempre producen una sobrecarga: Probabilidad de paquetes fuera de orden. Los paquetes duplicados consumen recursos innecesariamente: Probabilidad de paquetes duplicados. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Métricas (y III) Los paquetes perdidos no son deseables: Probabilidad de paquetes perdidos. Excesivos paquetes perdidos provocan retransmisiones excesivas y podrían provocar que alguna conexión se perdiera prematuramente: Probabilidad de conexiones perdidas prematuramente. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

© Asignatura CEESI - EUITIO Selección de métricas Después de haber realizado varios experimentos se descubrió que capacidad de procesamiento y la espera eran métricas redundantes. Se eliminaron estas métricas para añadir otra combinada que denominamos potencia, definido como el ratio entre la capacidad de procesamiento y el tiempo de respuesta. La varianza del tiempo de respuesta también se eliminó al ser redundante con la probabilidad de duplicación y de desconexión. Por tanto, realizarámos el estudio con 8 métricas. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Métricas de velocidad de respuesta Definición: Tiempo entre una petición de usuario y la respuesta del sistema. Ejemplos: Tiempo de respuesta. Tiempo de cambio de tarea, procesador multitarea. Tiempo de reacción. Tiempo de proceso, tiempo en un proceso que no tiene interacción con el usuario. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Tiempo de respuesta, petición y respuesta instantáneas Petición del usuario Respuesta del sistema Tiempo Tiempo de respuesta noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Tiempo de respuesta, petición y respuesta realistas Usuario comienza siguiente petición Usuario comienza petición Usuario finaliza petición Sistema comienza ejecución Sistema comienza respuesta Sistema completa respuesta Tiempo de reacción Tiempo para pensar Tiempo de respuesta (1) Tiempo de respuesta (2) noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Métricas de productividad Definición Volumen de información procesado por el sistema por unidad de tiempo. Ratio (peticiones por unidad de tiempo) al cual las peticiones pueden ser servidas por el sistema. Ejemplos Trabajos por segundo, sistemas batch. Peticiones por segundo, sistemas interactivos. Millones de instrucciones por segundo (MIPS). Millones de operaciones en punto flotante por segundo (MFLOPS). Paquetes por segundo y bits por segundo, redes. Transacciones por segundo, bases de datos. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Métricas de utilización Definición Fracción de tiempo que un recurso está ocupado sirviendo peticiones. Periodo no ocupado recibe el nombre de tiempo idle. Ejemplos Porcentaje de utilización de un elemento hardware. Utilización de elementos del S.O. Utilización de la base de datos. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO

Clasificación de métricas según resultados Más alto es mejor, HB, higher is better: es mejor cuanto más alta, como la velocidad, o el throughput de un sistema. Menor es mejor, LB, Lower is better: los valores inferiores son los mejores, como el tiempo de respuesta o el número de fallos de página. Nominal es mejor, NB, Nominal is best: no son buenos lo valores altos ni los bajos, como la utilización. Utilización baja significa infrautilización, y utilización alta hace que los tiempos de respuesta sean altos. noviembre 2002 V1.0 © Asignatura CEESI - EUITIO