Housing del CPD principal: Experiencia de traslado y puesta en marcha

Presentación del tema: "Housing del CPD principal: Experiencia de traslado y puesta en marcha"— Transcripción de la presentación:

1 Housing del CPD principal: Experiencia de traslado y puesta en marcha

2 Introducción. Motivación del Housing Traslado
Antecedentes Introducción. Motivación del Housing Traslado FASE 1: Implantación CPD FASE 2: Implantación infraestructura de LAN/WAN/SP FASE 3: Traslado FASE 4: Modelo gestión del servicio Principios de diseño

3 Motivación del Housing
Introducción Motivación del Housing

4 Sistemas de información del catastro:
Antecedentes Sistemas de información del catastro: Distribuidos en 52 Gerencias Se consolidan en SSCC (BDN) Se explotan y difunden al exterior por la OVC Cada uno de estos entornos estaba en un CPD dedicado: 52 gerencias (BBDD Provinciales) Castellana, 272 Madrid (BDN) Alcalá 5 y 7 Madrid (OVC - Internet) Entorno complicado de mantener: Refrigeración y alimentación eléctrica > 60 máquinas UNIX/Oracle que mantener (Copia de seguridad, etc) Necesario replicar datos para asegurar coherencia 4

5 Primeros intentos de consolidación
Consolidación de servidores en Castellana, 272 Para liberar espacio, se consolidan servidores utilizando blades (servidores en tarjeta) Alimentación eléctrica dice ¡BASTA! Problemas de Aire Acondicionado Implantación de acceso Internet y Seguridad Perimetral en Castellana Movimiento de Web Catastro desde Alcalá Centralización de datos Centralización de acceso Citrix Centralización de correo electrónico

6 Primera opción: Nuevo CPD en Castellana, 272
Alternativas… Primera opción: Nuevo CPD en Castellana, 272 Imposible por edificio histórico, etc. Segunda opción: Alojamiento en otro CPD de la AGE Tercera opción: CPD en Housing.

7 Primer CPD principal de la AGE externalizado
Ventajas: Escalable: espacio reservado para posible crecimiento Servicios e infraestructuras 24 x 7. Monitorización de servicios, control de accesos Independiente de los servicios de infraestructura del edificios AGE Facilidad para añadir servicios a la plataforma HW Inconvenientes: Desplazamientos Alquiler mensual jaula Administración remota

8 Evaluación de alternativas
Redacción de pliego. Factores Críticos de Éxito: Cercanía Flexibilidad Disponibilidad Servicios de valor añadido Solicitud de ofertas: COLT Interxion Global Switch Telvent Otras (10)

9 La elección: COLT Telecom, Avenida de Manoteras, 42
Elección de ubicación La elección: COLT Telecom, Avenida de Manoteras, 42 Mejor ubicación física Mejor acceso por trasporte público Mejores servicios: Cableado cobre y fibra Manos remotas Etc.

10 Alta e implantación del espacio físico (“jaula”) Traslado de equipos
¿Qué contratamos? Alta e implantación del espacio físico (“jaula”) Traslado de equipos Servicios de alojamiento en Housing. Suministro eléctrico, seguridad, temperatura, humedad… Servicios de control y monitorización remota 24x7 Servicios de operación remota. Perfiles técnicos añadidos Plazo 15 meses 1 junio agosto 2009 Alta e implantación € € Alojamiento housing 61,500 €/mes € anual

11 Un proyecto y una oportunidad de mejora
Un Proyecto: Gestión de: Alcance Integración Tiempos RRHH Riegos Configuraciones Suministros Calidad Oportunidad de mejora: Consolidación de servidores. Redimensionamiento comunicaciones Incremento de la seguridad. Nuevo modelo de explotación.

12 Se creó una oficina de proyecto para centralizar las operaciones
Plan de traslado Se creó una oficina de proyecto para centralizar las operaciones Se recogieron datos de los CPD existentes Se tomaron decisiones: Traslado en un solo fin de semana Traslado de equipos de preproducción con anterioridad (un día) Un solo camión por CPD Se realizó un plan de proyecto, teniendo en cuenta: Plazos de entrega e instalación de nuevos equipos Plazos de provisión del servicio de operadores Cortes de servicio por parte de Catastro hacia agentes externos Disponibilidad de recursos humanos

13 Plan de traslado Se coordinó la logística y las actuaciones de las diferentes empresas: Telefónica y sus filiales T-Systems Equipo de Redes de HP Equipo de traslados de HP Almacenamiento de datos EMC GMV-SGI (Seguridad Perimetral) COLT Se coordinó la interconexión con distintos organismos SGTIC- MEH Agencia Tributaria Segipsa Punto Neutro Judicial Plan de comunicación interno y externo

14 FASE 1 IMPLANTACIÓN CPD 14

15 Recopilación de datos de equipos y racks Diseño de espacio en CPD COLT
IMPLANTACIÓN CPD Recopilación de datos de equipos y racks Diseño de espacio en CPD COLT Diseño de sistema de cableado y etiquetado Nuevas normas de uso Reconfiguración equipos existentes Implantación y acondicionamiento de la jaula (COLT) Pedidos de materiales COLT y adicionales 15

16 Recogidos datos de 19 Racks:
Recopilación de datos Recogidos datos de 19 Racks: 16 Racks de equipos Symmetrix (2 racks) Clariion (1) Se añaden nuevos racks de infraestructura: Comunicaciones + Seguridad (4) SAN (1) Faltan Racks de nuevos Superdome (3) Total Estimado=27 Racks Recogida de datos en hoja Excel: Dimensiones Distribución de Us Requisitos eléctricos Conectividad de red (puertos y VLANs) 16

17 Diseño del espacio Espacio asignado: 60m2 17

18 Diseño del espacio Tres filas de Racks 31 Racks alojados
0 Racks disponibles Estructura Pasillo Frío/Caliente Pasillo frío: Las máquinas tienen los frentes orientados a él Cuenta con rejillas/baldosas perforadas Pasillo Caliente: Las máquinas expulsan el aire caliente a él

19 Diseño de sistema de cableado y etiquetado
Reutilizable Busca la mínima intervención para un mantenimiento óptimo Código de colores basado en “capuchones” para los cables Si un servidor ya está parcheado a un switch, el cambio de VLAN no implica reparcheado. Siempre que esa VLAN esté en ese switch Sistema de etiquetado. Opciones: Ubicación físicas (Us) Nombres de máquinas (origen y destino) 19

20 Nuevos Armarios, Switches y Firewalls
Un armario para cada switch, y el firewall de su zona. Proporciona redundancia Permite hacer intervenciones en un rack/switch/firewall sin afectar a los demás Parcheo sobredimensionado aporta flexibilidad Altura (48u) y anchura extra (750 mm) permiten ¡Cerrar la puerta! Asignación Zona externa: Armarios A y B Zona interna: Armarios C y D SAN: Armario E 20

21 Nuevos Armarios, Switches y Firewalls
A B C D 21

22 Documento con normas para cableado y racks (pendiente)
Nuevas normas de uso Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución Documento con normas para cableado y racks (pendiente) 22

23 Reconfiguración equipos existentes
A nivel de red Uso de códigos de colores A nivel físico (cambio de rack) Necesario liberar 4 últimas u de cada rack Recableado de corriente Cables cruzados entre armarios Distribución ineficiente de PDUs Todo en hoja de tareas previas pendientes (se actualiza) Conexión de tarjetas de control remoto Creación de VLAN dedicada Recableado de KVM Unión de máquinas hacia KVMs IP 23

24 IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD
FASE 2 IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD 24

25 IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD
Diseño e implantación de nueva LAN Diseño e implantación de nueva infraestructura base de SP Migración de circuitos de Telefónica (WAN) Migración de circuitos de T-Systems (LAN) Migración de DWDM de Telefónica Preparado para “Plug & Play”

26 Diseño e implantación de nueva LAN
Nueva LAN de producción Los antiguos equipos no se trasladan Tecnología CISCO Fisicamente separada en dos Redes Externas (Internet) Redes Internas Busca redundancia y alto rendimiento Preconfigurada para plug & play Nueva LAN de gestión Tecnología HP Procurve Complementa a la red de producción para tareas de gestión, backup, etc.

27 Diseño e implantación de nueva LAN
Nueva LAN en Castellana El CPD está en otro edificio. ¿es necesario retrasmitir todo el tráfico a el? Configuración routing en Castellana Configuración interconexión Castellana  Manoteras

28 Nueva infraestructura de Seguridad Perimetral
Nuevos Firewall Internos, Externos y de Gestión Permiten traslado plug & play, con una infraestructura probada Cambio de CPD implicaba cambio de Ips y reglas de firewall Alta disponibilidad

29 Implantación LAN/WAN/SP

30 Implantación LAN/WAN/SP

31 Traslado de línea DWDM (Telefónica)  Camino crítico
Comunicaciones Traslado de línea DWDM (Telefónica)  Camino crítico Traslado / Alta /Baja de líneas WAN (Telefónica) Accesos Macrolan Punto a Punto Frame Relay ¡¡¡Cuidado con el enrutamiento!!! Acceso IP de la centralita Nuevo circuito MPLS Traslado de líneas de Internet (T-systems) Traslado de 2 de los 4 circuitos previamente Traslado de una clase C al Nuevo CPD Los dos restantes (Orange) se instalaron 15 días después del traslado ¿Dónde se ubican los equipos?

32 Reconfiguración de VLANs
VLANs de usuarios de Castellana se enrutarán en el propio edificio. Es necesario partir VLAN de servidores OVC de los usuarios para no transmitir el nivel 2 Las VLANs del CPD no saldrán de el == Todo el tráfico con el CPD es a nivel 3 Se renumeran VLANs 32

33 FASE 3 TRASLADO 33

34 Planificación del traslado
Participantes: HP realiza el traslado COLT apoyo en CPD EMC y Oracle apoyo para sistemas específicos Disponibilidad de RRHH Elección de fechas. 2 posibilidades: Finales julio Principios septiembre Estrategia de migración Plan de traslado Consolida y coordina procedimientos para cada Área o suministrador Plan de contingencia Plan de continuidad de servicio 34

35 Plan de traslado Previo: Ensayo de apagado Ensayo de backup TOTAL

36 Plan de traslado: Prerequisitos
Electrónica de red CISCO implantada Electrónica de red CISCO configurada de acuerdo con los servidores Electrónica de red de Seguridad implantada Cableado estructurado implantado Cableado de alimentación implantado Problemas en racks solucionados antes Etiquetado máquinas e interfaces Máquinas bien colocadas (4 ultimas u libres) Eliminadas dependencias cruzadas (red, corriente, etc.) Conectores CETACT OK Línea DWDM trasladada o Conversores FC-IP disponibles y probados Procedimiento de backup total

37 Plan de traslado: Continuidad de servicio
Para mantener el servicio, puede ser interesante montar ciertos equipos con carácter temporal DNS SMTP de cara a Internet y el MEH, con cola de correo Servidor Web, con página de “Ahora no podemos atenderles”

38 Plan de traslado: Fases
Backup total Desconexión y embalado de equipos y accesorios. Traslado Montaje en la nueva ubicación, con reconfiguración en su caso Cableado Puesta en producción Se inicia un día antes para preproducción

39 Plan de traslado: Estado Inicial

40 Plan de traslado: Pretraslado

41 Plan de traslado: Pretraslado

42 Plan de traslado: Pretraslado

43 Plan de traslado: Traslado

44 Plan de traslado: Traslado

45 Traslado (18 de julio de 2008) Fases: Embalado equipos en origen
Traslado equipos Desembalado en destino Integración en el sistema de cableado estructurado Conexión de equipos según base de datos Encendido

46 MODELO DE GESTIÓN DEL SERVICIO
FASE 4 MODELO DE GESTIÓN DEL SERVICIO 46

47 A definir conjuntamente con COLT Figura del Service Manager de COLT
Gestión del servicio A definir conjuntamente con COLT Figura del Service Manager de COLT Responsabilidad en la DGC Documento de gestión del servicio: Uso de e-points Acceso al CPD Listado de personas autorizadas Documentación de configuración de sistemas Autoridad RRHH adicionales (Cronos) Perfil Exchange Entorno Microsoft Perfil Storage - Backup 47

48 Principios de diseño 48

49 Principios de diseño Disposición de Armarios: Cableado:
Pasillo frío, pasillo caliente Pasillos con un ancho que permita dar servicio en caliente a las máquinas Cableado: Sobredimensionado, para no tener que abrir el suelo Redundante, todo armario de equipos va al menos a dos de conmutación Comunicaciones: Electrónica de alta capacidad Red diferenciada de gestión (fabricante distinto) Seguridad: Física Lógica Explotación: Diseñado para uso 100% remoto

50 Disposición de Armarios
Antes: Segunda fila recibe calor de la primera Aire acondicionado realiza sobreesfuerzo  Mayor consumo  Picos de corriente  Apagones  Indisponibilidad de Servicios Servidores sufren mas desgaste: Necesitan complementar al A/C

51 Disposición de Armarios
Ahora: Pasillo Frío/Caliente Menor consumo de A/C Servidores tienen menor desgaste. Mayor disponibilidad Mayor rendimiento

52 Cableado: Nuevas normas de uso
Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución Los armarios de distribución tienen conexiones flexibles con los armarios de equipos. Un cambio se hace en minutos No hay que abrir el suelo NUNCA 52

53 Cableado: Ejemplo - Nueva Conexión
Antes Solicitar conexión desde armario a armario de distribución Tendido de cables por falso suelo Conexión Ahora Los cables ya están instalados Se asignan siguiendo base de datos de configuración La diferencia es que se han asignado grupos de enlaces entre los armarios de e quipos y distribución, aunque a priori no se necesiten.

54 Cableado: Ejemplo - Nueva Conexión (Antes)
Solicitar conexión desde: Armario de equipos Armario de distribución

55 Cableado: Ejemplo - Nueva Conexión (Antes)
Tendido de cables por falso suelo

56 Cableado: Ejemplo - Nueva Conexión (Antes)
Conexión equipo - enlace

57 Cableado: Ejemplo - Nueva Conexión (Ahora)
Los cables ya están preinstalados Mínimo de 24 cables preinstalados Asignados a dos núcleos de conmutación diferentes (como mínimo) Coloreados según destino del enlace

58 Cableado: Ejemplo - Nueva Conexión (Ahora)
Se asignan siguiendo base de datos de configuración Ayuda a conseguir diseño redundante

59 Cableado: Ejemplo - Nueva Conexión (Ahora)
Se etiquetan cables en origen y destino, coloreando los extremos según función

60 Mejora de la infraestructura básica de red:
Comunicaciones Mejora de la infraestructura básica de red: Rediseñada para soportar mayor tráfico y seguridad Centralización e integración de la OVC Tres zonas de seguridad formadas por 2 conmutadores cada una, independientes, ubicados en armarios diferentes y suficientemente alejados Externa Interna Gestión

61 Comunicaciones Accesos a redes de comunicaciones ( SSCC, Gerencias y MEH y acceso a Internet) redundantes y diversificados

62 Seguridad física Cumplimos con el RD 1720/2007 Reglamento de Desarrollo de la LOPD – Control de Acceso físico al CPD Vigilancia 24 x 7 Cámaras de circuito cerrado con grabación Puertas con control y registro de accesos Jaula dedicada Edificio de apariencia “inofensiva”

63 Seguridad Lógica Mejora de infraestructura de Seguridad Perimetral: ampliación de su capacidad y robustez Producción/Gestión: equipos redundantes de diferente fabricante Monitorización de intrusiones con tolerancia a fallos en segmentos accesible desde Internet

64 Diseñado para uso 100% remoto
Explotación Diseñado para uso 100% remoto IMPORTANCIA de la Gestión remota Los distintos equipos permiten trabajar en remoto a través de la red de gestión: apagarlas/encenderlas/ instalarlas en remoto / reconfiguraciones La copia de seguridad (próximamente) será automática y remota En el peor de los casos, disponemos de soporte remoto en COLT a través personal de“manos remotas”

65 ¡Muchas gracias!