Modo de uso dos Servidores de Cálculo e Almacenamento Dispoñibles no Cesga Dr. Carlos Fernández Sánchez Responsable Técnico de Sistemas

Presentación del tema: "Modo de uso dos Servidores de Cálculo e Almacenamento Dispoñibles no Cesga Dr. Carlos Fernández Sánchez Responsable Técnico de Sistemas"— Transcripción de la presentación:

1 Modo de uso dos Servidores de Cálculo e Almacenamento Dispoñibles no Cesga Dr. Carlos Fernández Sánchez Responsable Técnico de Sistemas carlosf@cesga.es

2 Sumario Presentación Uso do Servicio de Cálculo Paralelización Uso do Servicio de Almacenamento Melloras

3 Servicios de Computación e Almacenamento Orientados a RESOLVER os problemas de CADA investigador (solucións adaptables e flexibles) Consultoría? Diálogo co investigador Migración e optimización de aplicacións Soporte e resolución de problemas Proxectos de investigación Coste para o investigador Aproximadamente, 0.00€/hora

4 Por Onde Empezar? Web: http://www.cesga.es Rexistro de usuarios Descripcion e guia de uso dos servicios Dúbidas mais frecuentes Correo electrónico: sistemas@cesga.es aplicacions@cesga.es Teléfono: 981 569 810 Depto. Sistemas Depto. Aplicacións e Proxectos

5 Servicios de Cálculo Intensivo

6 Recursos Dispoñibles Sistemas paralelos Clusters Computación Grid Portfolio de sistemas para dar respuesta a diferentes problemas Teraflops, Terabytes, etc…. Diferentes compiladores, sistemas operativos,.. Dificultad? ….Soporte técnico (personal)

7 Cómo se utilizan – Conexión Nocións básicas sobre UNIX Conexión mediante cliente SSH Unix, Linux, etc…: OpenSSH Windows: Putty, Cygwin Posibilidad de utilizar ventanas Unix: ssh –X … Windows: Utilizar un cliente X (X-Win32,…) ou Cygwin Transferencias de ficheiros Unix: scp o sftp Windows: Winscp

8 Cómo se utilizan - Software Utilización de aplicacións xa instaladas Guía de uso das mesmas no noso web e… consultar Migración de novas aplicacións Ver presentación aplicacións Compilación dos propios códigos Códigos que se modifican a vontade do usuario Ver documentación xeral Linguaxes: FORTRAN, C, JAVA, Python, Matlab,.. Consultar (sistema e posibilidade de paralelizar)

9 Cómo se utilizan – Modos de Traballo Modo Interactivo – Recursos limitados e compartidos – Compilacións, edición de ficheiros, probas Modo Batch (basado en colas de execución) – Acceso ós recursos de modo exclusivo e reservado – Estimar recursos necesarios (máximo): – Número de procesadores – Tempo de execución – Memoria – Espacio en disco (scratch ou temporal) – Tempos de espera…

10 Cómo se utilizan - Colas Límites das colas dinámicos (páxina web) Posibilidade de aumentar estes límites

11 Monitorización Sistemas de Colas http://www.cesga.es Estado dos superordenadores

12 Reporte de incidencias Ver FAQs http://www.cesga.es - COMPUTACION Correo electrónico: sistemas@cesga.es (uso dos sistemas, colas, etc…) aplicacions@cesga.es (aplicacións…) Identificarse (Nombre, login, contacto) Reporte do problema: – Sistema – Aplicación – JOBID – Directorios e ficheiros de entrada e saída – Calquera mensaxe e información adicional que nos permita repetir o problema

13 Servidor Óptimo distinto do máis rápido (pico) Cál é ó servidor máis rápido??? – Depende da aplicación e do tamaño do problema!!! Exemplo: Gaussian Test563 (MP2) Determinación do Servidor Óptimo Tempo de resposta Tempo de espera en cola Tempo de execución Tempo de procesado dos resultados =++

14 Determinación do Servidor Óptimo

15 Paralelización

16 Top5 Noviembre 2004

17 Paralelización – Evolución no Cesga – VP2400: 1 procesador vectorial compartido – VPP300: 6 procesadores vectoriales compartidos – HPC4500: procesadores escalares, execución compartida – HPC320: Decenas de procesadores escalares, execución dedicada – Superdome: Centenas de procesadores escalares, execución paralela dedicada – Nº procesadores/usuario aumenta… –....Cada vez cobra máis relevancia a paralelización

18 Paralelización Ollo! Medir ( time ) Aplicacións xa paralelizadas É más eficiente non paralelizar Só utilizar se o tempo de execución é moi importante Priorización de traballos paralelos no Superdome

19 Servicios de Almacenamiento de Información

20 Recursos dispoñibles Sistemas de alta disponibilidade e capacidade (múltiples controladoras e RAID) Sistemas de alta capacidad e fiabilidade media (basados en solucións económicas – CheapTB) Sistemas baseados en cinta robotizada

21 Servicios de Almacenamento de información Servicio de almacenamiento masivo de datos Almacenamento en cinta para archivado de información Diferentes recursos para cada tipo de información Clasificación dos tipos de información – Tipo 1: Almacenamento temporal o scratch (só durante a execución dun cálculo) – Tipo 2: Incrementar o almacenamiento no directorio home e o nº de ficheiros – Tipo 3: Almacenamento masivo de datos (bases de datos, repositorios, etc...) – Tipo 4: Copias de seguridade a disco – Outro tipo (adaptado ás necesidades descritas po-lo investigador) Consultar Formulario de almacenamiento ( http://www.cesga.es/ga/Almacenamento)

22 Modo de Utilización En función do servicio solicitado Automatizado (backups utilizando software libre) Facilitamos o uso das ferramentas e a configuración Baixo demanda (volcado de datos a cinta) Transparente ó investigador (aumento das cuotas de disco nos servidores de cálculo)

23 Melloras Futuras Único punto de acceso para tódo-los sistemas (qsub “global” a tódo-los hosts) Prioridades asignadas polo usuario (cada usuario poderá elexir dos seus traballos cáles requiren tempos de resposta cortos y cáles no. Tickets) Traballos con “tempos infinitos” (Gaussian, por exemplo, utilizando checkpoint e restart automático) gsub para gaussian Informe de Eficiencia – Paralelización – Recursos solicitados frente ós consumidos Suxestións????

24 Gracias!!! Preguntas??? Carlos Fernández Sánchez Responsable Técnico de Sistemas carlosf@cesga.es sistemas@cesga.es

25 Dos Nociones de Rendimiento ° Tiempo que tarda en hacer la tarea (Tiempo de ejecución) – tiempo de ejecución, tiempo de respuesta, latencia ° Tareas por día, hora, semana, segundo,... (Rendimiento) – throughput, bandwidth El tiempo de respuesta y el throughput con frecuencia están en oposición Avión Boeing 747 Concorde Velocidad 610 mph 1350 mph DC a Paris 6.5 horas 3 horas Pasajeros 470 132 Throughput (pmph) 286,700 178,200 Cuál tiene mejor rendimiento?

26 Dos Nociones de Rendimiento Tiempo del Concorde vs. Boeing 747? Concorde es 1350 mph / 610 mph = 2.2 veces más rápido = 6.5 horas / 3 horas Throughput del Concorde vs. Boeing 747 ? Concorde es 178,200 pmph / 286,700 pmph = 0.62 “veces más rápido” Boeing es 286,700 pmph / 178,200 pmph = 1.6 “veces más rápido” Boeing es 1.6 veces (“60%”) más rápido en términos de throughput Concorde es 2.2 veces (“120%”) más rápido en términos de tiempo de vuelo High Performance Computing (HPC)= tiempo de ejecución de un trabajo High Throughput Computing (HTC)= tiempo de ejecución de un bloque de trabajos

27 Throughput vs. Programación paralela Throughput – Multiples flujos de instrucciones no relacionadas (varios programas) que se ejecutan simultáneamente en múltiples procesadores – Multiprogramación de n tareas en p procesadores: cada tarea recibe p/n procesadores Programación paralela – Múltiples flujos de instrucciones relacionadas (un solo programa) que se ejecutan concurrentemente para incrementar la velocidad de un único programa – 1 tarea en p procesadores, cada procesador recibe 1/p de la tarea: se reduce el tiempo de respuesta

28 Asignación de Prioridades en el Sistema de Colas

29 Por qué colas? – Reparto de CPU entre usuarios – Ejecución eficiente de los códigos sin sobrecargar el sistema – Reserva de recursos Basada en 4 parámetros (de momento) – Recursos solicitados (tiempo de ejecución y memoria) – Tiempo de espera en cola del trabajo – Horas consumidas por el usuario en el pasado – Prioridad asignada por el administrador al trabajo

30 Asignación de Prioridades en el Sistema de Colas qstat -pri Prioridad Total=Urgencia+P. Admin+2*Ntckts Urgencia= f(Recursos solicitados+Tiempo espera) Prioridad asignada por el administrador Número de tickets=f(uso pasado)

31 qstat -urg Tiempo de espera=wt Recursos=-(s_rt*10) Urgencia total=Recursos + wt Urgencia Normalizada Asignación de Prioridades en el Sistema de Colas

32 Recursos necesarios para la ejecución del trabajo Puede cambiar en el futuro para contemplar – Procesadores – Memoria – Disco Asignación de prioridades por el propio usuario Asignación de Prioridades en el Sistema de Colas

33 Determinación de los recursos consumidos qacct -j JOBID failed ru_wallclock ru_utime ru_stime qsub_time start_time end_time qacct -o login (-j) Todos los trabajos de login Posibilidad de limitar por rango de fechas

34 Informe Mensual de Recursos Consumidos Enviar mail a sistemas@cesga.es solicitando el alta en el servicio Se enviará un mail a principios de cada mes indicando los recursos consumidos por sistema en el mes anterior Creación de una lista de distribución para usuarios de computación con avisos de: – Nuevos sistemas – Cambios en las colas – Incidencias, paradas programadas – Etc....

35 Determinación do Servidor Óptimo Determinación do servidor onde PODE executarse o código (en función dos requerimentos hardware/software/S.O.) Unha vez determinada, elexir aquela onde o tempo de resposta sea mellor MEDIR ( time )