Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez

MISSION STATEMENT To provide high performance computing and communication resources and services to the scientific community of Galicia and to the National Research Council (CSIC), as well as, to institutions and enterprises with R&D activity. To promote the use of new information and communication technologies applied to research within the scientific community of Galicia. To become a consolidated RTD Centre of Excellence serving as international scientific and technological reference in the field of computational science and numerical simulation. VIGO, SPAIN, 2007

LEGAL ENTITIES Public Company Public Foundation Regional Government of Galicia 70% National Research Council of Spain 30% PARTNERS VIGO, SPAIN, 2007

CURRENT CESGA’S COMMUNITY OF USERS Galician Universities Galician Regional Government Research Centres Spanish National Research Council (CSIC) Centres Other public or private enterprises and institutions  Hospital Laboratories  Private Industries R&D Departments  Technological & Research Centres  Other Universities worldwide  Non-profit R&D organizations

VIGO, SPAIN, 2007 SERVICES HPC, HTC & GRID Computing User Data Storage Advanced Communications Network Video streaming broadcast & on-demand Remote Learning & Collaboration Room Network e-Learning & Collaboration Tools GIS (Geographical Information Systems) e-Business Innovation Consulting R&D&I Project management

TECHNOLOGY CESGA’S TECHNOLOGYCAL EVOLUTION SERVERS INSTALLED 1993 VP ,5 GFLOPS 1998 VPP 300 AP ,1 GFLOPS 12 GFLOPS 1999 HPC 4500 STORAGETEK 9,6 GFLOPS 2003 SUPERDOME 768 GFLOPS 2001 SVG 9,9 GFLOPS 2002 HPC 320 BEOWULF 64 GFLOPS 16 GFLOPS 51 TERABYTES 2004, 2005, 2006 SVG 3,142 GFLOPS 2007 FINIS TERRAE 16,000 GFLOPS VIGO, SPAIN, 2007

SANTIAGO DE COMPOSTELA, SPAIN, 2007 HISTORICAL SUPERCOMPUTERS AT CESGA 2003: SUPERDOME 768 GFLOPS 384 GB memory Nº 1 in Spain Nº 227 in the World 1993: VP ,5 GFLOPS 0,5 GB memory Nº 1 in Spain Nº 145 in the World VIGO, SPAIN, 2007

FINIS TERRAE (2007) VIGO, SPAIN, 2007 New Server HPC (December 2007) More than 16 TFLOPS and 19TB RAM Memory Plus Agreement among

FINIS TERRAE (2007) – COMPUTING NODES SUPERCOMPUTING NODES: 144 cc-NUMA Nodes with Itanium CPUs connected through a high efficiency INFINIBAND network 1 node: 128 cores, GB memory 1 node: 128 CPUs, 384 GB memory 142 nodes: 16 cores, 128 GB memory 2 nodes: 4 cores, 4 GB memory for testing VIGO, SPAIN, 2007

FINIS TERRAE (2007) – DATA STORAGE RESOURCES DATA STORAGE: 22 nodes with 44 cores for storage management. 390 TB disk. 1 PB Robot Tape Library.

Santiago de Compostela, SPAIN, 2007 Refrigeración del CPD-CESGA Andrés Gómez

Refrigeración de CPDs. Un problema internacional. Ref. Dell Power Solutions. Noviembre 2006

¿Por qué refrigerar? Para mantener las condiciones operativas de los equipos -Temperatura mínima-máxima -Humedad relativa Para reducir los fallos del hardware (Ley de Arrhenius). Máxima duración. Fuente: IBM

Zonas Frías/Zonas calientes Flujo de aire frío por el subsuelo técnico Flujo deseado de aire caliente HVAC

Zonas Frías/Zonas calientes (II) Fuente:DELL.

CPD CESGA Finis Terrae Exterior CPD HVAC Finis Terrae ZONAS FRIAS Zonas Cálidas Intercambiadores de calor exteriores

CPD CESGA Finis Terrae (II) HVAC Suelo Técnico Dos alturas Techo bajo Cables

CPD CESGA Finis Terrae (II)

Suelo Técnico Techo bajo

CPD CESGA Finis Terrae (II) Suelo Técnico Dos alturas Techo bajo Cables

CPD CESGA Finis Terrae (II) Suelo Técnico Dos alturas Techo bajo Cables

CPD CESGA Finis Terrae (II) Suelo Técnico Dos alturas Techo bajo Cables

CPD Finis Terrae. Formulación simplificada Realizada por: Elena Martín, Marcos Meis y Fernando Varas

CPD CESGA Finis Terrae (II)

CPD. Preguntas Directrices de diseño para el futuro centro de procesamiento de datos ¿Qué altura mínima y máxima? ¿Dónde es conveniente que estén los cables? ¿Podemos tener una solución óptima? ¿Tenemos que recircular el aire o sería mejor energéticamente extraerlo directamente? ¿Tenemos otro método de refrigeración más eficiente, compacto, etc? ¿Cuál es la máxima densidad energética por metro cuadrado que podemos instalar en el nuevo CPD? Si no extraemos el aire, ¿Cuál es la altura recomendable del techo? ¿Hay otra disposición de las máquinas que no sea pasillos caliente/frios más interesante energéticamente?

CPD. Preguntas Desarrollo de herramientas de simulación numérica para la predicción de la refrigreración lograda en un CPD ¿cuáles son los modelos adecuados (desde la perspectiva del gestor del centro de procesamiento de datos) para representar la refrigeración de los equipos? ¿qué información es precisa de los equipos y del sistema de refrigeración? ¿existen herramientas de software libre que permitan la resolución de los modelos descritos previamente? ¿cuáles son los retos computacionales de la resolución de dichos modelos?

CPD. Preguntas Mejora de la eficiencia energética de la actual configuración del sistema de refrigeración del CPD actual ¿es posible obtener una reconfiguración del sistema de refrigeración que permita refrigerar la sala reduciendo el coste energético? Cuando, en el futuro se añadan nuevos equipos a esta sala, ¿cuál sería la ubicación idónea de esos nuevos equipos desde el punto de vista de la refrigeración?

Santiago de Compostela, SPAIN, 2007 END THANK YOU! QUESTIONS CONTACT: Andrés Gómez Tato