Housing del CPD principal: Experiencia de traslado y puesta en marcha jorge.moreno@catastro.meh.es

Introducción. Motivación del Housing Traslado Antecedentes Introducción. Motivación del Housing Traslado FASE 1: Implantación CPD FASE 2: Implantación infraestructura de LAN/WAN/SP FASE 3: Traslado FASE 4: Modelo gestión del servicio Principios de diseño

Motivación del Housing Introducción Motivación del Housing

Sistemas de información del catastro: Antecedentes Sistemas de información del catastro: Distribuidos en 52 Gerencias Se consolidan en SSCC (BDN) Se explotan y difunden al exterior por la OVC Cada uno de estos entornos estaba en un CPD dedicado: 52 gerencias (BBDD Provinciales) Castellana, 272 Madrid (BDN) Alcalá 5 y 7 Madrid (OVC - Internet) Entorno complicado de mantener: Refrigeración y alimentación eléctrica > 60 máquinas UNIX/Oracle que mantener (Copia de seguridad, etc) Necesario replicar datos para asegurar coherencia 4

Primeros intentos de consolidación Consolidación de servidores en Castellana, 272 Para liberar espacio, se consolidan servidores utilizando blades (servidores en tarjeta) Alimentación eléctrica dice ¡BASTA! Problemas de Aire Acondicionado Implantación de acceso Internet y Seguridad Perimetral en Castellana Movimiento de Web Catastro desde Alcalá Centralización de datos Centralización de acceso Citrix Centralización de correo electrónico

Primera opción: Nuevo CPD en Castellana, 272 Alternativas… Primera opción: Nuevo CPD en Castellana, 272 Imposible por edificio histórico, etc. Segunda opción: Alojamiento en otro CPD de la AGE Tercera opción: CPD en Housing.

Primer CPD principal de la AGE externalizado Ventajas: Escalable: espacio reservado para posible crecimiento Servicios e infraestructuras 24 x 7. Monitorización de servicios, control de accesos Independiente de los servicios de infraestructura del edificios AGE Facilidad para añadir servicios a la plataforma HW Inconvenientes: Desplazamientos Alquiler mensual jaula Administración remota

Evaluación de alternativas Redacción de pliego. Factores Críticos de Éxito: Cercanía Flexibilidad Disponibilidad Servicios de valor añadido Solicitud de ofertas: COLT Interxion Global Switch Telvent Otras (10)

La elección: COLT Telecom, Avenida de Manoteras, 42 Elección de ubicación La elección: COLT Telecom, Avenida de Manoteras, 42 Mejor ubicación física Mejor acceso por trasporte público Mejores servicios: Cableado cobre y fibra Manos remotas Etc.

Alta e implantación del espacio físico (“jaula”) Traslado de equipos ¿Qué contratamos? Alta e implantación del espacio físico (“jaula”) Traslado de equipos Servicios de alojamiento en Housing. Suministro eléctrico, seguridad, temperatura, humedad… Servicios de control y monitorización remota 24x7 Servicios de operación remota. Perfiles técnicos añadidos Plazo 15 meses 1 junio 2008-31 agosto 2009 Alta e implantación 35.000 € + 300.000 € Alojamiento housing 61,500 €/mes 738.000€ anual

Un proyecto y una oportunidad de mejora Un Proyecto: Gestión de: Alcance Integración Tiempos RRHH Riegos Configuraciones Suministros Calidad Oportunidad de mejora: Consolidación de servidores. Redimensionamiento comunicaciones Incremento de la seguridad. Nuevo modelo de explotación.

Se creó una oficina de proyecto para centralizar las operaciones Plan de traslado Se creó una oficina de proyecto para centralizar las operaciones Se recogieron datos de los CPD existentes Se tomaron decisiones: Traslado en un solo fin de semana Traslado de equipos de preproducción con anterioridad (un día) Un solo camión por CPD Se realizó un plan de proyecto, teniendo en cuenta: Plazos de entrega e instalación de nuevos equipos Plazos de provisión del servicio de operadores Cortes de servicio por parte de Catastro hacia agentes externos Disponibilidad de recursos humanos

Plan de traslado Se coordinó la logística y las actuaciones de las diferentes empresas: Telefónica y sus filiales T-Systems Equipo de Redes de HP Equipo de traslados de HP Almacenamiento de datos EMC GMV-SGI (Seguridad Perimetral) COLT Se coordinó la interconexión con distintos organismos SGTIC- MEH Agencia Tributaria Segipsa Punto Neutro Judicial Plan de comunicación interno y externo

FASE 1 IMPLANTACIÓN CPD 14

Recopilación de datos de equipos y racks Diseño de espacio en CPD COLT IMPLANTACIÓN CPD Recopilación de datos de equipos y racks Diseño de espacio en CPD COLT Diseño de sistema de cableado y etiquetado Nuevas normas de uso Reconfiguración equipos existentes Implantación y acondicionamiento de la jaula (COLT) Pedidos de materiales COLT y adicionales 15

Recogidos datos de 19 Racks: Recopilación de datos Recogidos datos de 19 Racks: 16 Racks de equipos Symmetrix (2 racks) Clariion (1) Se añaden nuevos racks de infraestructura: Comunicaciones + Seguridad (4) SAN (1) Faltan Racks de nuevos Superdome (3) Total Estimado=27 Racks Recogida de datos en hoja Excel: Dimensiones Distribución de Us Requisitos eléctricos Conectividad de red (puertos y VLANs) 16

Diseño del espacio Espacio asignado: 60m2 17

Diseño del espacio Tres filas de Racks 31 Racks alojados 0 Racks disponibles Estructura Pasillo Frío/Caliente Pasillo frío: Las máquinas tienen los frentes orientados a él Cuenta con rejillas/baldosas perforadas Pasillo Caliente: Las máquinas expulsan el aire caliente a él

Diseño de sistema de cableado y etiquetado Reutilizable Busca la mínima intervención para un mantenimiento óptimo Código de colores basado en “capuchones” para los cables Si un servidor ya está parcheado a un switch, el cambio de VLAN no implica reparcheado. Siempre que esa VLAN esté en ese switch Sistema de etiquetado. Opciones: Ubicación físicas (Us) Nombres de máquinas (origen y destino) 19

Nuevos Armarios, Switches y Firewalls Un armario para cada switch, y el firewall de su zona. Proporciona redundancia Permite hacer intervenciones en un rack/switch/firewall sin afectar a los demás Parcheo sobredimensionado aporta flexibilidad Altura (48u) y anchura extra (750 mm) permiten ¡Cerrar la puerta! Asignación Zona externa: Armarios A y B Zona interna: Armarios C y D SAN: Armario E 20

Nuevos Armarios, Switches y Firewalls A B C D 21

Documento con normas para cableado y racks (pendiente) Nuevas normas de uso Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución Documento con normas para cableado y racks (pendiente) 22

Reconfiguración equipos existentes A nivel de red Uso de códigos de colores A nivel físico (cambio de rack) Necesario liberar 4 últimas u de cada rack Recableado de corriente Cables cruzados entre armarios Distribución ineficiente de PDUs Todo en hoja de tareas previas pendientes (se actualiza) Conexión de tarjetas de control remoto Creación de VLAN dedicada Recableado de KVM Unión de máquinas hacia KVMs IP 23

IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD FASE 2 IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD 24

IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD Diseño e implantación de nueva LAN Diseño e implantación de nueva infraestructura base de SP Migración de circuitos de Telefónica (WAN) Migración de circuitos de T-Systems (LAN) Migración de DWDM de Telefónica Preparado para “Plug & Play”

Diseño e implantación de nueva LAN Nueva LAN de producción Los antiguos equipos no se trasladan Tecnología CISCO Fisicamente separada en dos Redes Externas (Internet) Redes Internas Busca redundancia y alto rendimiento Preconfigurada para plug & play Nueva LAN de gestión Tecnología HP Procurve Complementa a la red de producción para tareas de gestión, backup, etc.

Diseño e implantación de nueva LAN Nueva LAN en Castellana El CPD está en otro edificio. ¿es necesario retrasmitir todo el tráfico a el? Configuración routing en Castellana Configuración interconexión Castellana  Manoteras

Nueva infraestructura de Seguridad Perimetral Nuevos Firewall Internos, Externos y de Gestión Permiten traslado plug & play, con una infraestructura probada Cambio de CPD implicaba cambio de Ips y reglas de firewall Alta disponibilidad

Implantación LAN/WAN/SP

Implantación LAN/WAN/SP

Traslado de línea DWDM (Telefónica)  Camino crítico Comunicaciones Traslado de línea DWDM (Telefónica)  Camino crítico Traslado / Alta /Baja de líneas WAN (Telefónica) Accesos Macrolan Punto a Punto Frame Relay ¡¡¡Cuidado con el enrutamiento!!! Acceso IP de la centralita Nuevo circuito MPLS Traslado de líneas de Internet (T-systems) Traslado de 2 de los 4 circuitos previamente Traslado de una clase C al Nuevo CPD Los dos restantes (Orange) se instalaron 15 días después del traslado ¿Dónde se ubican los equipos?

Reconfiguración de VLANs VLANs de usuarios de Castellana se enrutarán en el propio edificio. Es necesario partir VLAN de servidores OVC de los usuarios para no transmitir el nivel 2 Las VLANs del CPD no saldrán de el == Todo el tráfico con el CPD es a nivel 3 Se renumeran VLANs 32

FASE 3 TRASLADO 33

Planificación del traslado Participantes: HP realiza el traslado COLT apoyo en CPD EMC y Oracle apoyo para sistemas específicos Disponibilidad de RRHH Elección de fechas. 2 posibilidades: Finales julio Principios septiembre Estrategia de migración Plan de traslado Consolida y coordina procedimientos para cada Área o suministrador Plan de contingencia Plan de continuidad de servicio 34

Plan de traslado Previo: Ensayo de apagado Ensayo de backup TOTAL

Plan de traslado: Prerequisitos Electrónica de red CISCO implantada Electrónica de red CISCO configurada de acuerdo con los servidores Electrónica de red de Seguridad implantada Cableado estructurado implantado Cableado de alimentación implantado Problemas en racks solucionados antes Etiquetado máquinas e interfaces Máquinas bien colocadas (4 ultimas u libres) Eliminadas dependencias cruzadas (red, corriente, etc.) Conectores CETACT OK Línea DWDM trasladada o Conversores FC-IP disponibles y probados Procedimiento de backup total

Plan de traslado: Continuidad de servicio Para mantener el servicio, puede ser interesante montar ciertos equipos con carácter temporal DNS SMTP de cara a Internet y el MEH, con cola de correo Servidor Web, con página de “Ahora no podemos atenderles”

Plan de traslado: Fases Backup total Desconexión y embalado de equipos y accesorios. Traslado Montaje en la nueva ubicación, con reconfiguración en su caso Cableado Puesta en producción Se inicia un día antes para preproducción

Plan de traslado: Estado Inicial

Plan de traslado: Pretraslado

Plan de traslado: Pretraslado

Plan de traslado: Pretraslado

Plan de traslado: Traslado

Plan de traslado: Traslado

Traslado (18 de julio de 2008) Fases: Embalado equipos en origen Traslado equipos Desembalado en destino Integración en el sistema de cableado estructurado Conexión de equipos según base de datos Encendido

MODELO DE GESTIÓN DEL SERVICIO FASE 4 MODELO DE GESTIÓN DEL SERVICIO 46

A definir conjuntamente con COLT Figura del Service Manager de COLT Gestión del servicio A definir conjuntamente con COLT Figura del Service Manager de COLT Responsabilidad en la DGC Documento de gestión del servicio: Uso de e-points Acceso al CPD Listado de personas autorizadas Documentación de configuración de sistemas Autoridad RRHH adicionales (Cronos) Perfil Exchange 2007 + Entorno Microsoft Perfil Storage - Backup 47

Principios de diseño 48

Principios de diseño Disposición de Armarios: Cableado: Pasillo frío, pasillo caliente Pasillos con un ancho que permita dar servicio en caliente a las máquinas Cableado: Sobredimensionado, para no tener que abrir el suelo Redundante, todo armario de equipos va al menos a dos de conmutación Comunicaciones: Electrónica de alta capacidad Red diferenciada de gestión (fabricante distinto) Seguridad: Física Lógica Explotación: Diseñado para uso 100% remoto

Disposición de Armarios Antes: Segunda fila recibe calor de la primera Aire acondicionado realiza sobreesfuerzo  Mayor consumo  Picos de corriente  Apagones  Indisponibilidad de Servicios Servidores sufren mas desgaste: Necesitan complementar al A/C

Disposición de Armarios Ahora: Pasillo Frío/Caliente Menor consumo de A/C Servidores tienen menor desgaste. Mayor disponibilidad Mayor rendimiento

Cableado: Nuevas normas de uso Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución Los armarios de distribución tienen conexiones flexibles con los armarios de equipos. Un cambio se hace en minutos No hay que abrir el suelo NUNCA 52

Cableado: Ejemplo - Nueva Conexión Antes Solicitar conexión desde armario a armario de distribución Tendido de cables por falso suelo Conexión Ahora Los cables ya están instalados Se asignan siguiendo base de datos de configuración La diferencia es que se han asignado grupos de enlaces entre los armarios de e quipos y distribución, aunque a priori no se necesiten.

Cableado: Ejemplo - Nueva Conexión (Antes) Solicitar conexión desde: Armario de equipos Armario de distribución

Cableado: Ejemplo - Nueva Conexión (Antes) Tendido de cables por falso suelo

Cableado: Ejemplo - Nueva Conexión (Antes) Conexión equipo - enlace

Cableado: Ejemplo - Nueva Conexión (Ahora) Los cables ya están preinstalados Mínimo de 24 cables preinstalados Asignados a dos núcleos de conmutación diferentes (como mínimo) Coloreados según destino del enlace

Cableado: Ejemplo - Nueva Conexión (Ahora) Se asignan siguiendo base de datos de configuración Ayuda a conseguir diseño redundante

Cableado: Ejemplo - Nueva Conexión (Ahora) Se etiquetan cables en origen y destino, coloreando los extremos según función

Mejora de la infraestructura básica de red: Comunicaciones Mejora de la infraestructura básica de red: Rediseñada para soportar mayor tráfico y seguridad Centralización e integración de la OVC Tres zonas de seguridad formadas por 2 conmutadores cada una, independientes, ubicados en armarios diferentes y suficientemente alejados Externa Interna Gestión

Comunicaciones Accesos a redes de comunicaciones ( SSCC, Gerencias y MEH y acceso a Internet) redundantes y diversificados

Seguridad física Cumplimos con el RD 1720/2007 Reglamento de Desarrollo de la LOPD – Control de Acceso físico al CPD Vigilancia 24 x 7 Cámaras de circuito cerrado con grabación Puertas con control y registro de accesos Jaula dedicada Edificio de apariencia “inofensiva”

Seguridad Lógica Mejora de infraestructura de Seguridad Perimetral: ampliación de su capacidad y robustez Producción/Gestión: equipos redundantes de diferente fabricante Monitorización de intrusiones con tolerancia a fallos en segmentos accesible desde Internet

Diseñado para uso 100% remoto Explotación Diseñado para uso 100% remoto IMPORTANCIA de la Gestión remota Los distintos equipos permiten trabajar en remoto a través de la red de gestión: apagarlas/encenderlas/ instalarlas en remoto / reconfiguraciones La copia de seguridad (próximamente) será automática y remota En el peor de los casos, disponemos de soporte remoto en COLT a través personal de“manos remotas”

¡Muchas gracias!