Diseño y dimensionamiento de data centers

Presentación del tema: "Diseño y dimensionamiento de data centers"— Transcripción de la presentación:

1 Diseño y dimensionamiento de data centers
Raúl Ramos Pollán Universidad Nacional de Colombia

2 Outline 1 Caracterización de un datacenter 2 Consideraciones de diseño
3 Best practices 4 Caso real y consideraciones de estrategia 5 Práctica de dimensionamiento

3 storage servers «pizza» servers communications rack sets blades chasis
1 Caracterización storage servers «pizza» servers communications rack sets blades chasis

4 1 Caracterización

5 CRACs Enfriadoras Grupo Electrógeno PDUs Mangueras Cuadros eléctricas
1 Caracterización CRACs Enfriadoras Grupo Electrógeno PDUs Mangueras eléctricas Cuadros eléctricos Baterías UPS

6 Tipologías de datacenters
1 Caracterización Tipologías de datacenters Tipos de máquinas: volume servers as those costing less than $25,000 per unit, mid-range servers as those costing between $25,000 and $500,000 per unit high-end servers as those costing more than $500,000 per unit. Tipos de datacenters: Server closet servidores 15m2 Server room. <15 servidores <50m2 Localized data center. <100 servidores <100m2 Mid-tier data center. 100s servidores <500m2 Enterprise class data center servidores >500m2

7 Distribución datacenters en US
1 Caracterización Distribución datacenters en US

8 Top500, distribución histórica (www.top500.org)
1 Caracterización Top500, distribución histórica (

9 Top500, distribución histórica (www.top500.org)
1 Caracterización Top500, distribución histórica (

10 Consideraciones de diseño
Distribución física Capacidad eléctrica Refrigeración Resiliencia (backup components, fireproofing, etc.) Seguridad física, seguridad informática, control de acceso, etc. Patrones de uso (CPU intensive, storage intensive, etc.) Capacidad de crecimiento Operativa y costes (TCO) Equipos de apoyo

11 Key issue: electrical consumption + heat load
2 Diseño Key issue: electrical consumption + heat load

12 Potencia eléctrica: Elementos
2 Diseño. Potencia eléctrica Potencia eléctrica: Elementos

13 Otro esquema eléctrico
2 Diseño. Potencia eléctrica Otro esquema eléctrico

14 Métricas de eficiencia
2 Diseño. Potencia eléctrica Métricas de eficiencia

15 Distribución del consumo
2 Diseño. Potencia eléctrica Distribución del consumo

16 Densidad de potencia eléctrica
2 Diseño. Potencia eléctrica Densidad de potencia eléctrica

17 Densidad de potencia eléctrica
2 Diseño. Potencia eléctrica Densidad de potencia eléctrica Avances tecnológicos  Más densidad de potencia eléctrics (kw/m2)  Data centers más compactos Pero:  Se necesitan más equipos de soporte (refrigeración, UPS, etc.)  Ahorro de espacio indoors Necesidad de espacio outdoors Equilibrar inversión  Necesidad de aumentar la capacidad de un datacenter  Obra civil indoors vs. obra civil outdoors  Más capacidad por m2  más exigencia en la instalación  Demasiado suelo equipos de soporte  costes operacionales y de inversion

18 Parallel redundant (N+1) Isolated redundant (N+1)
2 Diseño. Potencia eléctrica UPS configurations Parallel redundant (N+1) Needs synch UPSs to output 300 kW load together Both units must be the same System bus, point of failure Configuration N UPS breakdown and maintainance on bypass Multiple points of failure Isolated redundant (N+1) Catcher as backup Needs proper operation of switches Needs 2nd from 0% to full load fast Less points of failure

19 Distributed redundant
2 Diseño. Potencia eléctrica Distributed redundant Redundant utility sources Delivered load is 300 kW UPS still need some phase sync mechanism

20 2 Diseño. Potencia eléctrica

21 Refrigeración Elementos de refrigeración
2 Diseño. Refrigeración Refrigeración Elementos de refrigeración Chiller (Enfriadora) indoor-outdoor CRAC / Aire Acondicionado Elementos de conducción/circulación de aire Métricas Velocidad de descarga (ft3/min) Presión bajo suelo

22 Disposición general de un datacenter
2 Diseño. Refrigeración Disposición general de un datacenter

23 Consideraciones Separación de flujos de aire frío y caliente
2 Diseño. Refrigeración Consideraciones Separación de flujos de aire frío y caliente  si completa, mejor Distribución adecuada presión bajo suelo Velocidad de descarga  demasiada velocidad de carga  menos presión cerca del CRAC  menos aire frío a través de las losetas perforadas cerca del CRAC  menos capacidad de refrigeración  demasiado poca velocidad de descarga  menos alcance Gestionar pérdidas de flujo de aire

24 2 Diseño. Refrigeración

25 2 Diseño. Refrigeración

26 2 Diseño. Refrigeración

27 2 Diseño. Refrigeración

28 2 Diseño. Refrigeración Optimizaciones

29 2 Diseño. Refrigeración Optimizaciones

30 2 Diseño. Refrigeración Optimizaciones

31 2 Diseño. Contingencias Resiliencia Need redundant CRACs or …

32 Resiliencia redistribuir la carga computacional (si posible…)
2 Diseño. Contingencias Resiliencia redistribuir la carga computacional (si posible…)

33 Otras contingencias Sistemas de extinción de incendios
2 Diseño. Contingencias Otras contingencias Sistemas de extinción de incendios Redundancia de sistemas (generador, UPS, equipos de comunicaciones) Redundancia de suministros (acometida eléctrica, red) Seguridad física Seguridad contra intrusiones informáticas Sistemas de backup (datos, configuraciones, etc.) Protocolos de mantenimiento y operación

34 2 Diseño. Crecimiento Crecimiento

35 2 Diseño. Crecimiento

36 2 Diseño. Crecimiento

37 Virtualización 2 Diseño. Virtualización FLEXIBILIDAD ADAPTABILIDAD
AGILIDAD DE DESPLIEGUE AJUSTE DE LA CARGA A LA NECESIDAD DE SERVICIO Migración dinámica de cargas de alta densidad La capacidad se ajusta a la demanda a niveles de row, rack, server Predictabilidad de la distribución de carga y requerimientos de enfriamiento REQUIERE: Red interna de alta capacidad Infraestructura de virtualización muy optimizada Procedimientos y herramientas de gestión avanzadas NIVELES: 1 Servicios básicos 2 Servicios públicos 3 Automatic deployment (based on metrics, topology) 4 Strategic deployment (based on policies, )

38 Caso real diseño y optimización data center
CETA-CIEMAT Centro de Cálculo Público Tecnologías GRID + GPU 1700 cores, 90 Tflops GPU cluster, 1PB almacenamiento

39 4 Caso real

40 Caso real diseño y optimización data center

41 4 Caso real

42 Caso real diseño y optimización data center

43 Caso real diseño y optimización data center

44 Caso real diseño y optimización data center
OPTIMIZACIONES, AÑO 1 Procedimiento de apagado general del CPD Procedimiento de apagado de emergencia del CPD Procedimiento de encendido periódico del grupo electrógeno Procedimiento para la actualización sistema de monitoreo en tiempo real OPTIMIZACIONES, AÑO 2 Redistribución de cargas bajo el grupo electrógeno (priorización de servicios) Redistribución tendido cuadros eléctricos Reorganización de las losetas perforadas Reacondicionamiento sala de baterías UPS

45 4 Caso real

46 Caso real diseño y optimización data center
OPTIMIZACIONES Optimización configuración CRACS

47 5 Best practices Best practices WATCH Prácticas básicas: 1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas) 3. Ajustar termostatos (aire frio, menos frío, según especificaciones) 4. Optimizar distribución de potencia Prácticas avanzadas: 1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …) 2. Virtualización 3. Medidas detalladas (per rack, server, …) Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7 Consumo anual (PUE = 1.8): Consumo anual (PUE = 1.6):

48 Best practices 5 Best practices Prácticas básicas:
1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas) 3. Ajustar termostatos (aire frio, menos frío, según especificaciones) 4. Optimizar distribución de potencia Prácticas avanzadas: 1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …) 2. Virtualización 3. Medidas detalladas (per rack, server, …) Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7 Consumo anual (PUE = 1.8): 10 kW x 24 hrs/día x 365 días/año = kWh/año … x 1.8 PUE = kWh/año x $200/kWh = $ /año Consumo anual (PUE = 1.6): 10 kW x 24 hrs/día x 365 días/año = kWh/año … x 1.6 PUE = kWh/año x $200/kWh = $ /año  AHORRO = 3.5M (11%)

49 Práctica modelado datacenters 1
DELL DATACENTER CAPACITY PLANNER RACK 2 Storage on PowerEdge AX150 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA = 10*9 = 90TB Power/Heat: 4.5 kW RACK 1 Computing on PowerEdge M600 blades 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.9 kW

50 Práctica modelado datacenters 1
DELL DATACENTER CAPACITY PLANNER RACK 2 Storage on PowerEdge AX150 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA = 10*9 = 90TB Power/Heat: 4.5 kW RACK 1 Computing on PowerEdge M600 blades 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: 14.9 kW

51 Práctica modelado datacenters 1
DELL DATACENTER CAPACITY PLANNER RACK 2 Storage on PowerEdge AX150 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA = 10*9 = 90TB Power/Heat: 4.47 kW RACK 1 Computing on PowerEdge M600 blades 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: kW AT $200/kWh, 24x7 PUE kw rack 1 kw rack 2 total IT equipment kwh/año support equipment kwh/año total kwh/año $/año 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0

52 Práctica modelado datacenters 1
DELL DATACENTER CAPACITY PLANNER RACK 2 Storage on PowerEdge AX150 2 redundant PowerEdge 6950 as storage servers with 10 AX150 w/ 12 SATA = 10*9 = 90TB Power/Heat: 4.47 kW RACK 1 Computing on PowerEdge M600 blades 64 blades x 2 Xeon E5440 x 4 cores = 512 cores Max memory per blade: 64GB (16GB / core) Power/Heat: kW AT $200/kWh, 24x7 PUE kw rack 1 kw rack 2 total IT equipment kwh/año support equipment kwh/año total kwh/año $/año 1,1 14,89 4,47 19,36 16.963 $ 1,2 33.926 $ 1,3 50.889 $ 1,4 67.851 $ 1,5 84.814 $ 1,6 $ 1,7 $ 1,8 $ 1,9 $ 2,0 $

53 Práctica modelado datacenters 2
APC DATA CENTER MODELLING WEB TOOLS TT6: Calculadora de rendimiento del centro de datos  set datacenter capacity to 194kw and 100% IT load … cost should be aprox 10 times our two racks at 1.7 PUE set IT load back to 70% and add/remove features to datacenter and see effect on PUE and cost TT8: Data Center Design Planning Calculator  look at growth plan tab, see $$ savings in scale-up vs. up-front why PUE starts so high when up-front? (hint: in TT6 lower/raise IT load and see effect on PUE) change «deployment rate» … explain change in PUE charts TT1: Calculadora de energía de un datacenter try to get our setup with only RACK 1 (server quantity=60, 2 sockets = 100%, 0 mainframes, external no storage, safety margin 0%) change parameters and explain TT9: Calculadora de costes de energía de virtualización set «percentage of servers virtualized» to 100% and consolidation rate 1:1. explain turn «row based coolin» on/off. explain

54 Consideraciones finales
1 ENTIENDE TU INSTALACIÓN 2 MIDE MIDE MIDE MIDE MIDE MIDE MIDE 3 «LO MÁS» NO SIEMPRE ES LO MÁS ADECUADO A UN CASO CONCRETO 4 ENTIENDE LOS PATRONES DE CARGAS COMPUTACIONALES 5 DECIDE ACORDE A TU TAMAÑO / FINANCIACIÓN / EQUIPO 6 PLANEA A MEDIO TIEMPO CON UN ESPÍRITU PRÁCTICO 7 DATACENTERS CIENTÍFICOS: APOYA A TUS USUARIOS LA MEJOR GUÍA: EL SENTIDO COMÚN

55 Enlaces