© 2010 IBM Corporation IBM Systems and Technology Group IBM Innovation & Infrastructure | Deep Computing IBM en Deep Computing/HPC Sevilla o ctubre 2011.

Presentación del tema: "© 2010 IBM Corporation IBM Systems and Technology Group IBM Innovation & Infrastructure | Deep Computing IBM en Deep Computing/HPC Sevilla o ctubre 2011."— Transcripción de la presentación:

1 © 2010 IBM Corporation IBM Systems and Technology Group IBM Innovation & Infrastructure | Deep Computing IBM en Deep Computing/HPC Sevilla o ctubre 2011 Mariano Garrido CTA IBM STG

2 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Agenda Qué es DC/HPC? Factores claves para abordar un proyecto Soluciones IBM Consideraciones de explotación Alternativas –System P –Linux clusters –Bluegene iDataPlex

3 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Business Applications Transaction Processing and Database Entender las cargas de trabajo que estamos usando es un prerequisito importante Characteristics vary: ApplicationUsage PatternSLAData Structure Web, Collaboration and Infrastructure Workload Optimization Analytics and High Performance One size DOES NOT fit all

4 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Qué es Deep Computing o High Performance Computing Realización de miles de billones de cálculos matemáticos en un corto espacio de tiempo para la resolución de problemas complejos. Especialmente útil en aquellas problemáticas que manejan gran volumen de datos o que realizan múltiples iteraciones con una muestra de datos mas acotada y donde los cálculos manuales harían inabordable ese determinado problema. Medida típica TeraFlop = Millón de millones de operaciones, en doble precisión (64bit), de coma flotante por segundo (los sistemas que aparecen en el ranking de TOP500 se miden ya en miles de TeraFlops. IBM es líder en TOP500 ) – Kilo < Mega < Giga < Tera < Peta < Exa = 10 18

5 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Puntos críticos para abordar un proyecto DC/HPC viable Necesidades de memoria principal del sistema. –Un factor limitante puede ser el tamaño de memória máximo que puede emplear un núcleo de procesamiento => 32/64GB en los sistemas High End de la serie pSystems y 48GB en los sistemas High End eX5 en de IBM (con velocidades de acceso a memoria de 1,6Ghz en los inminentes Sandy Bridge de Intel que mitiga el desfase entre la velocidad de la CPU vs RAM) Capacidad individual de los procesadores de los nodos de cálculo. –Existen aplicaciones que consumen todos los recursos de CPU disponibles, es decir el factor limitante no es el tamaño o la velocidad de la memoria principal => Para estos casos es vital el tipo de procesador (conjunto de instrucciones reducido o complejo) RISC/CISC/x86 y su velocidad de reloj. Actualmente alrededor de 2-3Ghz. –Se ha llegado a una frontera física en el diseño de microprocesadores de velocidad cada vez mayor. Se producen efectos físicos (corriente de perdida en las puertas de los transistores) que impiden aumentar la frecuencia de operación de los chips => –Intel/AMD han optado por incluir varios núcleos en un mismo chip reduciendo la velocidad de estos núcleos. Opción divide y vencerás. IBM dispone de tecnología Multicore en su gama POWER desde 2001 (9 núcleos en PowerXcell8i 2007, 8 core en POWER 7 2010) –Asimismo IBM invierte en investigación de tecnología de fabricación de microprocesadores para mitigar estos efectos (High-K metal) y poder proporcionar CPUs a >4Ghz desde 1H07. –Introducción de las nuevas GPUs (coprocesadores matemáticos) Leakage Source Drain Gate

6 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Un proyecto DC/HPC viable (cont.) Escalabilidad de las aplicaciones y capacidad de crecimiento de las redes de interconexión en sistemas cluster. –El concepto de escalabilidad implica: –A) que la aplicación es capaz de repartir carga entre varios nodos y –B) que a mayor número de nodos mayor rendimiento bien en tiempo de respuesta o en capacidad de resolución de problemas mas complejos.(Evitar efecto saturación) –Pueden existir aplicaciones muy sensibles a parámetros de esta red (latencia, ancho de banda) => –Las redes de interconexión para estos sistemas son equipamiento de extremada especialización. –Estas redes deben permitir un crecimiento, sin detrimento del rendimiento, hasta varios miles de nodos. IBM dispone de tecnología aplicada en su producto Bluegene/P que permite crear un sistema de hasta 131.072 procesadores. Los requerimientos físicos de espacio, alimentación y refrigeración deben ser asumibles –Ej: construcción de un sistema de 360 TFlps –Espacio –BG/L ~100 m2 –Linux Cluster ~1000 m2 (extrapolación) –Consumo –BG/L ~1.5 MW –Linux Cluster ~15 MW (extrapolación) –Implicación en costes: –1 MW/yr = $1M

7 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation La oferta de IBM Dado que el tipo de problemática/aplicación condiciona el tipo de arquitectura adecuada, IBM dispone de una oferta completa: Sistemas SMP de memoria compartida. System p –Grandes sistemas de hasta 32, 64 procesadores con una única imagen de sistema operativo y un vólumen de memoria de hasta 4TB Cluster de sistemas de memoria distribuida. Cluster 1350 iDataPleX y cluster 1600 –Máquinas lógicas de miles de procesadores en base a la interconexión física, mediante redes especializadas, de sistemas modestos de 2, 4, 8,16 y hasta 32 procesadores con memoria por nodo de hasta 256GB. –Procesadores comodity: IBM POWER, Cell, Intel Xeon o AMD Opteron. Sistemas de propósito específico. BlueGene –Agregación de hasta 131.072 procesadores mediante tecnología propietaria y encaminados a la resolución de determinados tipos de problemas. Procesadores modestos: PowerPC450.

8 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Memoria compartida (= BIG SMP) vs Memoria distribuida (=clusters) vs Bluegene (MPP Massive Paralel Processing) para sistemas de High Performance Computing Memoria compartida Modelo de administración y programación más sencillo (una única imagen de sistema) Escalabilidad limitada (el sistema SMP/NUMA construible tiene límites) Típicamente bloques constructivos más caros y menos granulares Tienden a ser sistemas de infraestructura propietaria Dificultad/costoso de expandir Focalizados en rendimineto de pico (problemas con más variables de entrada o tiempos de respuesta menores) Massive Parallel Processing Modelo de administración y programación mas Complejo (Imagen de sistema única virtual) Escalabilidad excelente (limitada sólo por MTBFs, …) Excelente ratio rendimiento/consumo Excelente ratio rendimiento/espacio El punto de entrada de un sistema BG/L es de 1024 CPUs. Arquitectura con el crecimiento máximo posible (65536 CPUs) Enfocado a aplicaciones que puedan escalar sin restricciones con el número de CPUs Memoria Distribuida Modelo de administración y programación mas Complejo (Imagen de sistema única virtual) Escalabilidad excelente (limitada sólo por MTBFs, puertos de switch, espacio físico, consumo …) Típicamente bloques constructivos más baratos y granulares Tienden a ser arquitecturas basadas en estandares abiertos Permiten un crecimiento simple y orgánico Focalizados en rendimiento agregado sostenido

9 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation Control de utilización de recursos ( Accounting/ Billing) Licencias de aplicaciones comerciales Acceso de administración al sistema Administración y reparto de trabajos/ tareas y control de utilización de recursos (acounting) Administración y mantenimiento del sistema (reparación de componentes HW/SW) Instalación física y lógica del sistema (HW/SW) Librerías de comunicaciones (MPI) para coordinación de procesos en un entorno distribuido. Herramientas de compilación (optimización de código para HW subyacente) + Librerías matemáticas paralelas Sistema de respaldo, backup de datos Sistema especializado de almacenamiento: General Parallel File System (GPFS) para proporcionar rendimiento, alta disponibilidad y escalabilidad Sistema de reparto de cargas/gestión de colas de trabajos (Loadleveler, Platform LSF, PBS Pro, Torque, MAUI…) Sistema de gestión y control, despliegue de imágenes de sistema en los nodos (CSM, xCAT, DIM,…) Licencias de sistema operativo: Linux, UNIX o Windows Nodos y dispositivos de almacenamiento Nodos de cálculo (núcleo del sistema) Nodo/s de control, entrada/salida del sistema, reparto de carga, Redes de interconexión (especializada) y gestión (commodity) Ubicación= Sala (m 2 ) consideraciones de seguridad Alimentación del sistema y del equipo de refrigeración (Mwatt) Equipo de refrigeración: Maquinária interna a la sala y dispositivos externos (Frigorias) Infraestructura y consideraciones de explotación Hardware Servicios Software Middleware Aplicaciones Data Center: Site + cooling

10 © 2010 IBM Corporation Smarter Systems for a Smarter Planet Solución pre-integrada Servidores, switches, PDUs, cableado Listo para colocarlo en su sitio, enchufar corriente, conectarlo a la red y empezar a trabajar. o… iDataPlex – Solución pre-integrada ¿Montarlo uno mismo?

11 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation IBM supercomputing leadership Source: www.top500.org Semiannual independent ranking of the top 500 supercomputers in the world IBM supercomputing leadership... Most installed aggregate throughput with over 15,294 out of 58,930 Teraflops (25.9%) (CRAY: 9,081 / 15.4%, HP: 9,975 / 16.9%) Leader for 24 Lists in a row Most systems in TOP500 with 212 (HP: 156, Cray: 29, SGI: 19) Most energy-efficient system (Blue Gene/Q Prototype2: 2097 MF/w) 6 of 10 most energy-efficient systems

12 IBM Deep Computing Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation 12 iDataPlex

13 © 2010 IBM Corporation Smarter Systems for a Smarter Planet i DataPlex (Internet + Data Center + Large Scale) Rack 100U 84U para Nodos x86 y 16U verticales para switches y PDUs mitad de profundos máxima eficiencia de la energía y refrigeración Optimizado con servidores la mitad de profundos que los estándares y con unos componentes diseñados para obtener máxima eficiencia de la energía y refrigeración maximizar uso Diseñado para maximizar uso del espacio y la infraestructura de alimentación y refrigeración del centro processo de datos con unos servidores con componentes estándares de la industria. fácil de mantener Solución fácil de mantener con servidores accesibles de forma individual por la parte frontal. de cada clientepre- configurado Configurable par necesidades de cada cliente cálculo, almacenamiento o I/O y entregable pre- configurado fpara rápido despliegue 444 x 750mm 640mm 1050mm Vista Superior Rack Estándar 19 Rack iDataPlex 600mm (720mm w/RDHx) 1200mm 446 x 400mm RDHX Vista Superior Flujo Aire

14 © 2010 IBM Corporation Smarter Systems for a Smarter Planet System x iDataPlex dx360 M3 iDataPlex flexibilidad con mayor rendimiento, eficiencia y más opciones 1U Bandeja Discos 1U Nodo Cálculo 3U Chasis Almacenamiento Máxima Densidad Almacenamiento 3U, 1 Nodo Cálculo & Bandeja Discos HDD: 12 (3.5) hasta 24TB I/O: PCIe para red + PCIe para RAID Cálculo + Almacenamiento Balance Alamacenamiento y Proceso 2U, 1 Nodo Cálculo & Bandeja Discos HDD: hasta 5 (3.5) Cálculo intensivo Máxima Capacidad Proceso 2U, 2 Nodos Cálculo 750W N+N Fuente Alimentación Redundante 900W Fuente Alimentación 1U Bandeja Dual GPU I/O 550W Fuente Alimentación Cálculo + I/O Máxima Flexibilidad Componentes 2U, 1 Nodo Cálculo I/O: hasta 2 PCIe, HDD hasta 8 (2.5)

15 © 2010 IBM Corporation Smarter Systems for a Smarter Planet iDataPlex (Rear Door Heat Exchanger, RDHX) Aumenta la densidad en el centro proceso de datos eliminando pasillos fríos/calientes Elimina calor generado por el rack Mismas dimensiones que la puerta trasera del rack iDataPlex y 4 ancho Refrigeración mediante líquido en un rack es 75%-95% más eficiente que la refrigeración por aire No hay elementos móviles o eléctricos No hay condensación Agua helada Proporciona hasta 115% extracción de calor y puede incluso refrigerar centro proceso datos!

16 © 2010 IBM Corporation Smarter Systems for a Smarter Planet Aumento densidad y reducción costes de energía 44 TeraFlops >44 TeraFlops Reducción ocupación 4:1 Reducción costes de energía y refrigeración > 65% Casi 4x más rendimiento por rack (1) 336 servidores dx360 M3 (Procesador Xeon 5600) 4 Racks, 16 Switches InfiniBand 42 servidores dx360 M3 (Procesador Xeon 5600) 1 Rack, 2 Switches InfiniBand 84 NVIDIA Tesla GPUs (1)Based on 2.93GHz Intel with NVidia performance data, 2010

17 © 2010 IBM Corporation Smarter Systems for a Smarter Planet Go Beyond your limits - 5x Compute density Scale compute capacity to match accelerated growth Increase 15% more servers, with 58% less Computer Room Air Conditioning IBM Lab Services Provide 50%+ more density to customers running out of data center space and budgets Increase computing demand within same space constraints Go Green – 40% Better Energy Efficiency Improve airflow efficiency with shorter depth servers Lower energy consumption by 40% with shared power & cooling Remove 100% server heat exhaust and even cool the room with a Rear Door Heat eXchanger Reduce the need for air conditioning Cool 70% more efficiently with rack liquid cooling than air cooling Go Faster – Fully Integrated for quick deployment Deploy and operate quickly with customized fully configured rack solutions Save time by managing at the rack level Modular, tool-less design and front access provide simple serviceability Simplified building blocks for flexible customized configurations Go for lower TCO – Lower Capital and Operation Costs Reduces costs of unnecessary redundant hardware for running parallel applications Save up to $1.2M/year on datacenter power, cooling and management costs Increase speed and accuracy without increasing power costs You can relax! IBM helps with the planning and implementation of iDataPlex with STG Lab ServicesSTG Lab Services IBM System x iDataPlex – La Revolución x86 en Eficiencia

18 © 2010 IBM Corporation Smarter Systems for a Smarter Planet 43 iDataPlex en TOP500 del 2010 Noviembre 2010 http://www.top500.org/lists/2010/11

19 © 2010 IBM Corporation Smarter Systems for a Smarter Planet GRACIAS