Diseño y dimensionamiento de data centers Raúl Ramos Pollán Universidad Nacional de Colombia

Outline 1 Caracterización de un datacenter 2 Consideraciones de diseño 3 Best practices 4 Caso real y consideraciones de estrategia 5 Práctica de dimensionamiento

storage servers «pizza» servers communications rack sets blades chasis 1 Caracterización storage servers «pizza» servers communications rack sets blades chasis

1 Caracterización

CRACs Enfriadoras Grupo Electrógeno PDUs Mangueras Cuadros eléctricas 1 Caracterización CRACs Enfriadoras Grupo Electrógeno PDUs Mangueras eléctricas Cuadros eléctricos Baterías UPS

Tipologías de datacenters 1 Caracterización Tipologías de datacenters http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf Tipos de máquinas: volume servers as those costing less than $25,000 per unit, mid-range servers as those costing between $25,000 and $500,000 per unit high-end servers as those costing more than $500,000 per unit. Tipos de datacenters: Server closet. 1-2 servidores 15m2 Server room. <15 servidores <50m2 Localized data center. <100 servidores <100m2 Mid-tier data center. 100s servidores <500m2 Enterprise class data center. 100-1000 servidores >500m2

Distribución datacenters en US 1 Caracterización Distribución datacenters en US

Top500, distribución histórica (www.top500.org) 1 Caracterización Top500, distribución histórica (www.top500.org)

Top500, distribución histórica (www.top500.org) 1 Caracterización Top500, distribución histórica (www.top500.org)

Consideraciones de diseño Distribución física Capacidad eléctrica Refrigeración Resiliencia (backup components, fireproofing, etc.) Seguridad física, seguridad informática, control de acceso, etc. Patrones de uso (CPU intensive, storage intensive, etc.) Capacidad de crecimiento Operativa y costes (TCO) Equipos de apoyo

Key issue: electrical consumption + heat load 2 Diseño Key issue: electrical consumption + heat load

Potencia eléctrica: Elementos 2 Diseño. Potencia eléctrica Potencia eléctrica: Elementos

Otro esquema eléctrico 2 Diseño. Potencia eléctrica Otro esquema eléctrico

Métricas de eficiencia 2 Diseño. Potencia eléctrica Métricas de eficiencia

Distribución del consumo 2 Diseño. Potencia eléctrica Distribución del consumo

Densidad de potencia eléctrica 2 Diseño. Potencia eléctrica Densidad de potencia eléctrica

Densidad de potencia eléctrica 2 Diseño. Potencia eléctrica Densidad de potencia eléctrica Avances tecnológicos  Más densidad de potencia eléctrics (kw/m2)  Data centers más compactos Pero:  Se necesitan más equipos de soporte (refrigeración, UPS, etc.)  Ahorro de espacio indoors Necesidad de espacio outdoors Equilibrar inversión  Necesidad de aumentar la capacidad de un datacenter  Obra civil indoors vs. obra civil outdoors  Más capacidad por m2  más exigencia en la instalación  Demasiado suelo equipos de soporte  costes operacionales y de inversion

Parallel redundant (N+1) Isolated redundant (N+1) 2 Diseño. Potencia eléctrica UPS configurations Parallel redundant (N+1) Needs synch UPSs to output 300 kW load together Both units must be the same System bus, point of failure Configuration N UPS breakdown and maintainance on bypass Multiple points of failure Isolated redundant (N+1) Catcher as backup Needs proper operation of switches Needs 2nd from 0% to full load fast Less points of failure

Distributed redundant 2 Diseño. Potencia eléctrica Distributed redundant Redundant utility sources Delivered load is 300 kW UPS still need some phase sync mechanism

2 Diseño. Potencia eléctrica

Refrigeración Elementos de refrigeración 2 Diseño. Refrigeración Refrigeración Elementos de refrigeración Chiller (Enfriadora) indoor-outdoor CRAC / Aire Acondicionado Elementos de conducción/circulación de aire Métricas Velocidad de descarga (ft3/min) Presión bajo suelo

Disposición general de un datacenter 2 Diseño. Refrigeración Disposición general de un datacenter

Consideraciones Separación de flujos de aire frío y caliente 2 Diseño. Refrigeración Consideraciones Separación de flujos de aire frío y caliente  si completa, mejor Distribución adecuada presión bajo suelo Velocidad de descarga  demasiada velocidad de carga  menos presión cerca del CRAC  menos aire frío a través de las losetas perforadas cerca del CRAC  menos capacidad de refrigeración  demasiado poca velocidad de descarga  menos alcance Gestionar pérdidas de flujo de aire

2 Diseño. Refrigeración

2 Diseño. Refrigeración

2 Diseño. Refrigeración

2 Diseño. Refrigeración

2 Diseño. Refrigeración Optimizaciones

2 Diseño. Refrigeración Optimizaciones

2 Diseño. Refrigeración Optimizaciones

2 Diseño. Contingencias Resiliencia Need redundant CRACs or …

Resiliencia redistribuir la carga computacional (si posible…) 2 Diseño. Contingencias Resiliencia redistribuir la carga computacional (si posible…)

Otras contingencias Sistemas de extinción de incendios 2 Diseño. Contingencias Otras contingencias Sistemas de extinción de incendios Redundancia de sistemas (generador, UPS, equipos de comunicaciones) Redundancia de suministros (acometida eléctrica, red) Seguridad física Seguridad contra intrusiones informáticas Sistemas de backup (datos, configuraciones, etc.) Protocolos de mantenimiento y operación

2 Diseño. Crecimiento Crecimiento

2 Diseño. Crecimiento

2 Diseño. Crecimiento

Virtualización 2 Diseño. Virtualización FLEXIBILIDAD ADAPTABILIDAD AGILIDAD DE DESPLIEGUE AJUSTE DE LA CARGA A LA NECESIDAD DE SERVICIO Migración dinámica de cargas de alta densidad La capacidad se ajusta a la demanda a niveles de row, rack, server Predictabilidad de la distribución de carga y requerimientos de enfriamiento REQUIERE: Red interna de alta capacidad Infraestructura de virtualización muy optimizada Procedimientos y herramientas de gestión avanzadas NIVELES: 1 Servicios básicos 2 Servicios públicos 3 Automatic deployment (based on metrics, topology) 4 Strategic deployment (based on policies, )

Caso real diseño y optimización data center CETA-CIEMAT www.ceta-ciemat.es Centro de Cálculo Público Tecnologías GRID + GPU 1700 cores, 90 Tflops GPU cluster, 1PB almacenamiento

4 Caso real

Caso real diseño y optimización data center

4 Caso real

Caso real diseño y optimización data center

Caso real diseño y optimización data center

Caso real diseño y optimización data center OPTIMIZACIONES, AÑO 1 Procedimiento de apagado general del CPD Procedimiento de apagado de emergencia del CPD Procedimiento de encendido periódico del grupo electrógeno Procedimiento para la actualización sistema de monitoreo en tiempo real OPTIMIZACIONES, AÑO 2 Redistribución de cargas bajo el grupo electrógeno (priorización de servicios) Redistribución tendido cuadros eléctricos Reorganización de las losetas perforadas Reacondicionamiento sala de baterías UPS

4 Caso real

Caso real diseño y optimización data center OPTIMIZACIONES Optimización configuración CRACS

5 Best practices Best practices WATCH http://www.google.com/about/datacenters/best-practices.html Prácticas básicas: 1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas) 3. Ajustar termostatos (aire frio, menos frío, según especificaciones) 4. Optimizar distribución de potencia Prácticas avanzadas: 1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …) 2. Virtualización 3. Medidas detalladas (per rack, server, …) Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7 Consumo anual (PUE = 1.8): Consumo anual (PUE = 1.6):

Best practices 5 Best practices Prácticas básicas: 1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas) 3. Ajustar termostatos (aire frio, menos frío, según especificaciones) 4. Optimizar distribución de potencia Prácticas avanzadas: 1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …) 2. Virtualización 3. Medidas detalladas (per rack, server, …) Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7 Consumo anual (PUE = 1.8): 10 kW x 24 hrs/día x 365 días/año = 87000 kWh/año … x 1.8 PUE = 157.680 kWh/año x $200/kWh = $31.536.000 /año Consumo anual (PUE = 1.6): 10 kW x 24 hrs/día x 365 días/año = 87000 kWh/año … x 1.6 PUE = 140.160 kWh/año x $200/kWh = $28.032.000/año  AHORRO = 3.5M (11%)

Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 2 Storage on PowerEdge 6950 + AX150 http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec_Sheet_Quad.pdf 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.5 kW RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/us/dfb/p/poweredge-m600/pd 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.9 kW

Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 2 Storage on PowerEdge 6950 + AX150 http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec_Sheet_Quad.pdf 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.5 kW RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/us/dfb/p/poweredge-m600/pd 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.9 kW

Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 2 Storage on PowerEdge 6950 + AX150 http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec_Sheet_Quad.pdf 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.47 kW RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/us/dfb/p/poweredge-m600/pd 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.89 kW AT $200/kWh, 24x7 PUE kw rack 1 kw rack 2 total IT equipment kwh/año support equipment kwh/año total kwh/año $/año 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0

Práctica modelado datacenters 1 DELL DATACENTER CAPACITY PLANNER http://www.dell.com/html/us/products/rack_advisor_new/index.html RACK 2 Storage on PowerEdge 6950 + AX150 http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf http://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec_Sheet_Quad.pdf 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB Power/Heat: 4.47 kW RACK 1 Computing on PowerEdge M600 blades http://www.dell.com/us/dfb/p/poweredge-m600/pd 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.89 kW AT $200/kWh, 24x7 PUE kw rack 1 kw rack 2 total IT equipment kwh/año support equipment kwh/año total kwh/año $/año 1,1 14,89 4,47 19,36 169.629 16.963 186.592 $ 37.318.301 1,2 33.926 203.554 $ 40.710.874 1,3 50.889 220.517 $ 44.103.446 1,4 67.851 237.480 $ 47.496.019 1,5 84.814 254.443 $ 50.888.592 1,6 101.777 271.406 $ 54.281.165 1,7 118.740 288.369 $ 57.673.738 1,8 135.703 305.332 $ 61.066.310 1,9 152.666 322.294 $ 64.458.883 2,0 339.257 $ 67.851.456

Práctica modelado datacenters 2 APC DATA CENTER MODELLING WEB TOOLS http://tools.apc.com TT6: Calculadora de rendimiento del centro de datos  set datacenter capacity to 194kw and 100% IT load … cost should be aprox 10 times our two racks at 1.7 PUE set IT load back to 70% and add/remove features to datacenter and see effect on PUE and cost TT8: Data Center Design Planning Calculator  look at growth plan tab, see $$ savings in scale-up vs. up-front why PUE starts so high when up-front? (hint: in TT6 lower/raise IT load and see effect on PUE) change «deployment rate» … explain change in PUE charts TT1: Calculadora de energía de un datacenter try to get our setup with only RACK 1 (server quantity=60, 2 sockets = 100%, 0 mainframes, external no storage, safety margin 0%) change parameters and explain TT9: Calculadora de costes de energía de virtualización set «percentage of servers virtualized» to 100% and consolidation rate 1:1. explain turn «row based coolin» on/off. explain

Consideraciones finales 1 ENTIENDE TU INSTALACIÓN 2 MIDE MIDE MIDE MIDE MIDE MIDE MIDE 3 «LO MÁS» NO SIEMPRE ES LO MÁS ADECUADO A UN CASO CONCRETO 4 ENTIENDE LOS PATRONES DE CARGAS COMPUTACIONALES 5 DECIDE ACORDE A TU TAMAÑO / FINANCIACIÓN / EQUIPO 6 PLANEA A MEDIO TIEMPO CON UN ESPÍRITU PRÁCTICO 7 DATACENTERS CIENTÍFICOS: APOYA A TUS USUARIOS LA MEJOR GUÍA: EL SENTIDO COMÚN

Enlaces http://www1.eere.energy.gov/femp/pdfs/eedatacenterbestpractices.pdf http://www.intel.com/technology/eep/datacenter.pdf http://h20000.www2.hp.com/bc/docs/support/SupportManual/c00064724/c00064724.pdf http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf http://www.google.com/about/datacenters/best-practices.html http://www.cisco.com/web/partners/downloads/765/other/Energy_Logic_Reducing_Data_Center_Energy_Consumption.pdf http://static.googleusercontent.com/external_content/untrusted_dlcp/www.google.com/es//corporate/datacenter/dc-best-practices-google.pdf http://www.thegreengrid.org/~/media/WhitePapers/White_Paper_27_Impact_of_Virtualization_Data_On_Center_Physical_Infrastructure_020210.pdf?lang=en