La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Selección de métricas Versión 1 Juan Ramón Pérez Pérez Configuración, Evaluación y Explotación de Sistemas Informáticos.

Presentaciones similares


Presentación del tema: "Selección de métricas Versión 1 Juan Ramón Pérez Pérez Configuración, Evaluación y Explotación de Sistemas Informáticos."— Transcripción de la presentación:

1 Selección de métricas Versión 1 Juan Ramón Pérez Pérez Configuración, Evaluación y Explotación de Sistemas Informáticos

2 noviembre 2002 V1.0© Asignatura CEESI - EUITIO2 Elección de métricas Hemos definido los objetivos del estudio de evaluación. Se han definido los servicios implicados en el estudio. Debemos definir las peticiones que vamos a definir sobre esos servicios. Puede haber varias posibles respuestas.

3 noviembre 2002 V1.0© Asignatura CEESI - EUITIO3 Salidas al realizar peticiones sobre los servicio (I) Petición no procesada. Clasificar los tipo de fallo y medir: –Duración del evento que impide el procesamiento. –Tiempo entre eventos. Petición procesada incorrectamente. Clasificar los errores y medir: –Probabilidad de cada tipo de error. –Tiempo entre errores.

4 noviembre 2002 V1.0© Asignatura CEESI - EUITIO4 Salidas al realizar peticiones sobre los servicio (y II) Petición procesada correctamente. Tipos de medidas: –Tiempo de ejecución del servicio. –Velocidad (tasa) a la que se ejecuta el servicio. –Recursos que consume el servicio en su ejecución.

5 noviembre 2002 V1.0© Asignatura CEESI - EUITIO5 Métricas ante las distintas respuestas de un servicio ResultadoMétricas de Ejecución correcta del servicio Velocidad Error del servicioFiabilidad No disponibilidad (fallo) del servicio Disponibilidad

6 noviembre 2002 V1.0© Asignatura CEESI - EUITIO6 Tabla de tipos de métricas (respuesta correcta) Medidas sobre un servicio Factores con los que se relaciona Métricas de Tiempo de ejecución TiempoTiempo de respuesta Velocidad a la que se ejecuta Índices (tasas) de ejecución Productividad Recursos que consume RecursosUtilización

7 noviembre 2002 V1.0© Asignatura CEESI - EUITIO7 Formas de aplicar las métricas Medida estadística: –el valor medio es importante en cualquier métrica. –hay que tener en cuenta la variabilidad. Métricas individuales y globales: –Individuales, reflejan la utilidad para cada usuario. –Globales, reflejan la utilidad para todo el sistema.

8 noviembre 2002 V1.0© Asignatura CEESI - EUITIO8 Selección de métricas Baja variabilidad –Evita tener que realizar un gran número de medidas para obtener un nivel adecuado de confianza estadística. No redundancia –Si dos métricas dan la misma información es menos confuso estudiar sólo una. Completitud –Todos los posibles resultados deben estar reflejados en el conjunto de métricas de rendimiento.

9 noviembre 2002 V1.0© Asignatura CEESI - EUITIO9 Caso de estudio Comparación entre dos algoritmos de control de congestión de tráfico para una red de ordenadores. Una red de ordenadores esta compuesta por un número de sistemas finales interconectados por un número de sistemas intermedios. Un sistema final puede enviar paquetes a otros sistema final en la red. Los sistemas intermedios se reenvían paquetes para que lleguen al sistema final.

10 noviembre 2002 V1.0© Asignatura CEESI - EUITIO10 Definición sistema Las congestiones ocurren cuando el número de paquetes que espera en un sistema intermedio excede la capacidad de los buffers y algún paquete se pierde. El sistema objeto de estudio consiste, en este caso, en la red. El único servicio que consideramos es el de reenvío de paquetes.

11 noviembre 2002 V1.0© Asignatura CEESI - EUITIO11 Respuestas ante el servicio Cuando un usuario de la red envía un conjunto de paquetes a otro sistema final (destino), puede haber cuatro posibles respuestas: –Los paquete son enviados en orden al destino correcto. –Los paquetes son enviados desordenados al destino. –Los paquetes son enviados más de una vez (duplicados) al destino. –Los paquetes son perdidos en el camino (paquete perdidos).

12 noviembre 2002 V1.0© Asignatura CEESI - EUITIO12 Métricas Paquetes enviados en orden: 1.Tiempo de respuesta: el retardo en la red para los paquetes individuales. 2.Capacidad de procesamiento: el número de paquetes por unidad de tiempo. 3.Tiempo de procesador por paquete en el sistema origen. 4.Tiempo de procesador por paquete en el sistema destino. 5.Tiempo de procesador por paquete en los sistemas intermedios.

13 noviembre 2002 V1.0© Asignatura CEESI - EUITIO13 Métricas (II) La variabilidad del tiempo de respuesta es importante ya que puede provocar retransmisiones innecesarias: 6.Varianza del tiempo de respuesta. Paquetes fuera de orden no son deseables ya que utilizan recursos y siempre producen una sobrecarga: 7.Probabilidad de paquetes fuera de orden. Los paquetes duplicados consumen recursos innecesariamente: 8.Probabilidad de paquetes duplicados.

14 noviembre 2002 V1.0© Asignatura CEESI - EUITIO14 Métricas (y III) Los paquetes perdidos no son deseables: 9.Probabilidad de paquetes perdidos. Excesivos paquetes perdidos provocan retransmisiones excesivas y podrían provocar que alguna conexión se perdiera prematuramente: 10.Probabilidad de conexiones perdidas prematuramente.

15 noviembre 2002 V1.0© Asignatura CEESI - EUITIO15 Selección de métricas Después de haber realizado varios experimentos se descubrió que capacidad de procesamiento y la espera eran métricas redundantes. Se eliminaron estas métricas para añadir otra combinada que denominamos potencia, definido como el ratio entre la capacidad de procesamiento y el tiempo de respuesta. La varianza del tiempo de respuesta también se eliminó al ser redundante con la probabilidad de duplicación y de desconexión. Por tanto, realizarámos el estudio con 8 métricas.

16 noviembre 2002 V1.0© Asignatura CEESI - EUITIO16 Métricas de velocidad de respuesta Definición: –Tiempo entre una petición de usuario y la respuesta del sistema. Ejemplos: Tiempo de respuesta. Tiempo de cambio de tarea, procesador multitarea. Tiempo de reacción. Tiempo de proceso, tiempo en un proceso que no tiene interacción con el usuario.

17 noviembre 2002 V1.0© Asignatura CEESI - EUITIO17 Tiempo de respuesta, petición y respuesta instantáneas Petición del usuario Respuesta del sistema Tiempo de respuesta Tiempo

18 noviembre 2002 V1.0© Asignatura CEESI - EUITIO18 Tiempo de respuesta, petición y respuesta realistas Usuario comienza petición Usuario finaliza petición Sistema comienza ejecución Sistema comienza respuesta Sistema completa respuesta Usuario comienza siguiente petición Tiempo de reacción Tiempo de respuesta (1) Tiempo de respuesta (2) Tiempo para pensar

19 noviembre 2002 V1.0© Asignatura CEESI - EUITIO19 Métricas de productividad Definición –Volumen de información procesado por el sistema por unidad de tiempo. –Ratio (peticiones por unidad de tiempo) al cual las peticiones pueden ser servidas por el sistema. Ejemplos –Trabajos por segundo, sistemas batch. –Peticiones por segundo, sistemas interactivos. –Millones de instrucciones por segundo (MIPS). –Millones de operaciones en punto flotante por segundo (MFLOPS). –Paquetes por segundo y bits por segundo, redes. –Transacciones por segundo, bases de datos.

20 noviembre 2002 V1.0© Asignatura CEESI - EUITIO20 Métricas de utilización Definición –Fracción de tiempo que un recurso está ocupado sirviendo peticiones. –Periodo no ocupado recibe el nombre de tiempo idle. Ejemplos –Porcentaje de utilización de un elemento hardware. –Utilización de elementos del S.O. –Utilización de la base de datos.

21 noviembre 2002 V1.0© Asignatura CEESI - EUITIO21 Clasificación de métricas según resultados Más alto es mejor, HB, higher is better: –es mejor cuanto más alta, como la velocidad, o el throughput de un sistema. Menor es mejor, LB, Lower is better: –los valores inferiores son los mejores, como el tiempo de respuesta o el número de fallos de página. Nominal es mejor, NB, Nominal is best: –no son buenos lo valores altos ni los bajos, como la utilización. Utilización baja significa infrautilización, y utilización alta hace que los tiempos de respuesta sean altos.


Descargar ppt "Selección de métricas Versión 1 Juan Ramón Pérez Pérez Configuración, Evaluación y Explotación de Sistemas Informáticos."

Presentaciones similares


Anuncios Google