Evaluación de Performance mediante Benchmarks 66.20 Organización de Computadoras

Benchmark Programa que permite evaluar y medir el rendimiento (performance) de un sistema. Se toma como referencia, para comparar un sistema (computadora) respecto a otro sistema. Existen de diferentes “sabores”, para evaluar diferentes aspectos (CPU, E/S, procesamiento gráfico, DBMS, etc.).

Tipos de Benchmarks Aplicaciones reales. Aplicaciones modificadas (para evaluar un aspecto determinado). Kernels. Benchmarks de juguete (entre 10 y 100 líneas). Benchmarks sintéticos (emulan uno real).

Series de Benchmarks (suites) Son colecciones de benchmarks. Uno de los más exitosos corresponde a SPEC (Standard Performance Evaluation Corporation). http://www.spec.org/ Para PCs de escritorio (CPU o gráficos). Para servidores. Para empotradas.

Standard Performance Evaluation Corporation (SPEC) Viene generando benchmarks desde 1989. Año 1989: “SPECmark” (10 programas, 4 escritos en C, y el resto en Fortran). Año 1992: “SPECint92” y “SPECfp92” Año 1995: “SPECint95” y “SPECfp95” Año 2000: “SPEC CPU2000”

Informe de Resultados Los benchmarks se utilizan para tener puntos de referencia al comparar distintos sistemas. Se espera que los resultados sean públicos (para poder comparar). En el caso de los SPEC, pueden consultarse en: http://www.spec.org/cpu2000/results/

Informe de Resultados (cont.) Deben ser reproducibles por otros investigadores. Para ello, se debe incluir información precisa respecto de los programas ejecutados, y de la máquina utilizada.

Informe de Resultados (cont.) En el caso de SPEC CPU2000, existen flags que permiten ejecutar los programas con distintos niveles de optimización. Típicamente se realizan dos tipos de ejecuciones: Base. Optimizada (compilación agresiva).

Informe de Resultados (cont.)

Comparación de performance Un workload está integrado por varios programas (benchmarks).

Comparación de performance (cont.) No sirve medir cada programa por separado. Interesa una medida global, que represente al workload (un valor único). Existen varias aproximaciones. Media aritmética ponderada. Media geométrica. Media armónica.

Media Aritmética Ponderada Aplica cuando se manejan tiempos. Simple de calcular. Normalmente no se conocen los pesos wi. No es consistente con los tiempos totales de ejecución.

Media Geométrica Media geométrica: Tiempo de ejecución de un programa, respecto a una máquina de referencia (“normalizado”).

Media Geométrica: Ventajas La media geométrica es consistente (no importa la máquina que se tome como referencia). Es independiente de la frecuencia de ejecución (wi) de cada programa en el workload.

Media Geométrica: Desventajas Muchas veces es necesario contemplar la frecuencia wi de cada programa dentro del workload. No siempre es consistente respecto a los tiempos totales de ejecución.

Media Armónica Media armónica: Típicamente, MIPS, MFLOPS, etc.

Ejemplo ¿Cuál es la velocidad promedio del avión, a lo largo de todo el viaje?

Ejemplo (cont.) Media aritmética: Media aritmética ponderada: VMEDIA = (1000 + 1200 + 800 ) / 3 = 1000 km/h Media aritmética ponderada: VMEDIA = 0.33x1000 + 0.33x1200 + 0.33x800 = 990 km/h Media geométrica: VMEDIA = ( 1000 x 1200 x 800 )1/3 = 986 km/h Media armónica: VMEDIA = 3 / ( 1/1000 + 1/1200 + 1/800 ) = 973 km/h

Ejemplo Se ejecuta un workload formado por dos benchmarks: P1 y P2. Cada programa ejecuta en cada máquina 100 millones de instrucciones de PF.

Ejemplo (cont.) Se calculan las medias aritmética, armónica y geométrica, en base a los MFLOPS.

Benchmarks SPEC Normaliza los tiempos de ejecución de cada programa, respecto a una máquina de referencia (UltraSparc 10). Calcula la media geométrica de los tiempos normalizados.

Benchmarks SPEC (cont.)

Benchmarks SPEC (cont.)

Evaluación de Performance mediante Benchmarks 66.20 Organización de Computadoras