Modo de uso dos Servidores de Cálculo e Almacenamento Dispoñibles no Cesga Dr. Carlos Fernández Sánchez Responsable Técnico de Sistemas

Sumario Presentación Uso do Servicio de Cálculo Paralelización Uso do Servicio de Almacenamento Melloras

Servicios de Computación e Almacenamento Orientados a RESOLVER os problemas de CADA investigador (solucións adaptables e flexibles) Consultoría? Diálogo co investigador Migración e optimización de aplicacións Soporte e resolución de problemas Proxectos de investigación Coste para o investigador Aproximadamente, 0.00€/hora

Por Onde Empezar? Web: Rexistro de usuarios Descripcion e guia de uso dos servicios Dúbidas mais frecuentes Correo electrónico: Teléfono: Depto. Sistemas Depto. Aplicacións e Proxectos

Servicios de Cálculo Intensivo

Recursos Dispoñibles Sistemas paralelos Clusters Computación Grid Portfolio de sistemas para dar respuesta a diferentes problemas Teraflops, Terabytes, etc…. Diferentes compiladores, sistemas operativos,.. Dificultad? ….Soporte técnico (personal)

Cómo se utilizan – Conexión Nocións básicas sobre UNIX Conexión mediante cliente SSH Unix, Linux, etc…: OpenSSH Windows: Putty, Cygwin Posibilidad de utilizar ventanas Unix: ssh –X … Windows: Utilizar un cliente X (X-Win32,…) ou Cygwin Transferencias de ficheiros Unix: scp o sftp Windows: Winscp

Cómo se utilizan - Software Utilización de aplicacións xa instaladas Guía de uso das mesmas no noso web e… consultar Migración de novas aplicacións Ver presentación aplicacións Compilación dos propios códigos Códigos que se modifican a vontade do usuario Ver documentación xeral Linguaxes: FORTRAN, C, JAVA, Python, Matlab,.. Consultar (sistema e posibilidade de paralelizar)

Cómo se utilizan – Modos de Traballo Modo Interactivo – Recursos limitados e compartidos – Compilacións, edición de ficheiros, probas Modo Batch (basado en colas de execución) – Acceso ós recursos de modo exclusivo e reservado – Estimar recursos necesarios (máximo): – Número de procesadores – Tempo de execución – Memoria – Espacio en disco (scratch ou temporal) – Tempos de espera…

Cómo se utilizan - Colas Límites das colas dinámicos (páxina web) Posibilidade de aumentar estes límites

Monitorización Sistemas de Colas Estado dos superordenadores

Reporte de incidencias Ver FAQs - COMPUTACION Correo electrónico: (uso dos sistemas, colas, etc…) (aplicacións…) Identificarse (Nombre, login, contacto) Reporte do problema: – Sistema – Aplicación – JOBID – Directorios e ficheiros de entrada e saída – Calquera mensaxe e información adicional que nos permita repetir o problema

Servidor Óptimo distinto do máis rápido (pico) Cál é ó servidor máis rápido??? – Depende da aplicación e do tamaño do problema!!! Exemplo: Gaussian Test563 (MP2) Determinación do Servidor Óptimo Tempo de resposta Tempo de espera en cola Tempo de execución Tempo de procesado dos resultados =++

Determinación do Servidor Óptimo

Paralelización

Top5 Noviembre 2004

Paralelización – Evolución no Cesga – VP2400: 1 procesador vectorial compartido – VPP300: 6 procesadores vectoriales compartidos – HPC4500: procesadores escalares, execución compartida – HPC320: Decenas de procesadores escalares, execución dedicada – Superdome: Centenas de procesadores escalares, execución paralela dedicada – Nº procesadores/usuario aumenta… –....Cada vez cobra máis relevancia a paralelización

Paralelización Ollo! Medir ( time ) Aplicacións xa paralelizadas É más eficiente non paralelizar Só utilizar se o tempo de execución é moi importante Priorización de traballos paralelos no Superdome

Servicios de Almacenamiento de Información

Recursos dispoñibles Sistemas de alta disponibilidade e capacidade (múltiples controladoras e RAID) Sistemas de alta capacidad e fiabilidade media (basados en solucións económicas – CheapTB) Sistemas baseados en cinta robotizada

Servicios de Almacenamento de información Servicio de almacenamiento masivo de datos Almacenamento en cinta para archivado de información Diferentes recursos para cada tipo de información Clasificación dos tipos de información – Tipo 1: Almacenamento temporal o scratch (só durante a execución dun cálculo) – Tipo 2: Incrementar o almacenamiento no directorio home e o nº de ficheiros – Tipo 3: Almacenamento masivo de datos (bases de datos, repositorios, etc...) – Tipo 4: Copias de seguridade a disco – Outro tipo (adaptado ás necesidades descritas po-lo investigador) Consultar Formulario de almacenamiento (

Modo de Utilización En función do servicio solicitado Automatizado (backups utilizando software libre) Facilitamos o uso das ferramentas e a configuración Baixo demanda (volcado de datos a cinta) Transparente ó investigador (aumento das cuotas de disco nos servidores de cálculo)

Melloras Futuras Único punto de acceso para tódo-los sistemas (qsub “global” a tódo-los hosts) Prioridades asignadas polo usuario (cada usuario poderá elexir dos seus traballos cáles requiren tempos de resposta cortos y cáles no. Tickets) Traballos con “tempos infinitos” (Gaussian, por exemplo, utilizando checkpoint e restart automático) gsub para gaussian Informe de Eficiencia – Paralelización – Recursos solicitados frente ós consumidos Suxestións????

Gracias!!! Preguntas??? Carlos Fernández Sánchez Responsable Técnico de Sistemas

Dos Nociones de Rendimiento ° Tiempo que tarda en hacer la tarea (Tiempo de ejecución) – tiempo de ejecución, tiempo de respuesta, latencia ° Tareas por día, hora, semana, segundo,... (Rendimiento) – throughput, bandwidth El tiempo de respuesta y el throughput con frecuencia están en oposición Avión Boeing 747 Concorde Velocidad 610 mph 1350 mph DC a Paris 6.5 horas 3 horas Pasajeros Throughput (pmph) 286, ,200 Cuál tiene mejor rendimiento?

Dos Nociones de Rendimiento Tiempo del Concorde vs. Boeing 747? Concorde es 1350 mph / 610 mph = 2.2 veces más rápido = 6.5 horas / 3 horas Throughput del Concorde vs. Boeing 747 ? Concorde es 178,200 pmph / 286,700 pmph = 0.62 “veces más rápido” Boeing es 286,700 pmph / 178,200 pmph = 1.6 “veces más rápido” Boeing es 1.6 veces (“60%”) más rápido en términos de throughput Concorde es 2.2 veces (“120%”) más rápido en términos de tiempo de vuelo High Performance Computing (HPC)= tiempo de ejecución de un trabajo High Throughput Computing (HTC)= tiempo de ejecución de un bloque de trabajos

Throughput vs. Programación paralela Throughput – Multiples flujos de instrucciones no relacionadas (varios programas) que se ejecutan simultáneamente en múltiples procesadores – Multiprogramación de n tareas en p procesadores: cada tarea recibe p/n procesadores Programación paralela – Múltiples flujos de instrucciones relacionadas (un solo programa) que se ejecutan concurrentemente para incrementar la velocidad de un único programa – 1 tarea en p procesadores, cada procesador recibe 1/p de la tarea: se reduce el tiempo de respuesta

Asignación de Prioridades en el Sistema de Colas

Por qué colas? – Reparto de CPU entre usuarios – Ejecución eficiente de los códigos sin sobrecargar el sistema – Reserva de recursos Basada en 4 parámetros (de momento) – Recursos solicitados (tiempo de ejecución y memoria) – Tiempo de espera en cola del trabajo – Horas consumidas por el usuario en el pasado – Prioridad asignada por el administrador al trabajo

Asignación de Prioridades en el Sistema de Colas qstat -pri Prioridad Total=Urgencia+P. Admin+2*Ntckts Urgencia= f(Recursos solicitados+Tiempo espera) Prioridad asignada por el administrador Número de tickets=f(uso pasado)

qstat -urg Tiempo de espera=wt Recursos=-(s_rt*10) Urgencia total=Recursos + wt Urgencia Normalizada Asignación de Prioridades en el Sistema de Colas

Recursos necesarios para la ejecución del trabajo Puede cambiar en el futuro para contemplar – Procesadores – Memoria – Disco Asignación de prioridades por el propio usuario Asignación de Prioridades en el Sistema de Colas

Determinación de los recursos consumidos qacct -j JOBID failed ru_wallclock ru_utime ru_stime qsub_time start_time end_time qacct -o login (-j) Todos los trabajos de login Posibilidad de limitar por rango de fechas

Informe Mensual de Recursos Consumidos Enviar mail a solicitando el alta en el servicio Se enviará un mail a principios de cada mes indicando los recursos consumidos por sistema en el mes anterior Creación de una lista de distribución para usuarios de computación con avisos de: – Nuevos sistemas – Cambios en las colas – Incidencias, paradas programadas – Etc....

Determinación do Servidor Óptimo Determinación do servidor onde PODE executarse o código (en función dos requerimentos hardware/software/S.O.) Unha vez determinada, elexir aquela onde o tempo de resposta sea mellor MEDIR ( time )