Redes de Almacenamiento y Tecnologías de Backup Charla preparatoria oposición TIC 2009 Redes de Almacenamiento y Tecnologías de Backup Juan Francisco Ramos – Miembro de Preparatic XVIII 30-05-2009 Preparatic XVIII

Evolución del almacenamiento - SCSI Primera revolución: Estándar SCSI (años 80) Interfaz mucho más evolucionada que IDE/ATA (rendimiento, fiabilidad, mayor número de dispositivos). Evolucionó fundamentalmente como conexión de almacenamiento en servidores: DAS (Direct Attached Storage) Evolución constante de la velocidad, fiabilidad y número de dispositivos en bus. 30-05-2009 Preparatic XVIII

Evolución SCSI 30-05-2009 Preparatic XVIII Estándar Tipo Bus Señal Velocidad Dispositivos Distancia SCSI I N SE HVD 5MB/s 8 6 – 25m SCSI 2 Wide W SE HVD 10MB/s 16 Fast-Wide 3 – 25m 20MBs SCSI 3 Ultra 4 – 8 Wide-Ultra 40MB/s 4 – 16 Ultra2 HVD LVD 40 2 – 8 25m Wide – Ultra2 LVD 80MB/s 2 – 16 12 – 25 Ultra3/Ultra160 160MB/s Ultra320 320MB/s 30-05-2009 Preparatic XVIII

SCSI 30-05-2009 Preparatic XVIII Problemas SCSI: Transmisiones problemáticas (ruido en el bus) Problemas de distancia No se pueden compartir dispositivos SCSI se ve como tecnología “local” 30-05-2009 Preparatic XVIII

SAN Cambio de Concepto: Storage Área Network Almacenamiento visto como recurso en “red” Conceptos similares a la red de comunicaciones Flexibilidad (distancia, número de dispositivos, arquitectura, seguridad, fiabilidad). 30-05-2009 Preparatic XVIII

SAN 30-05-2009 Preparatic XVIII Fibre Channel vs Fiber Channel: Fibre Channel: conjunto de estándares de comunicaciones, diseñado especialmente para la conexión de dispositivos de almacenamiento. Estandarizado por el T11 Technical Comitte del INCITS (InterNational Committee for Information Technology Standards) perteneciente a ANSI Fibre Channel: Medio físico de transmisión (cable de fibra óptica) Fibre Channel Protocol (FCP): protocolo de transporte que encapsula comandos SCSI Tamaño de Trama: 2148 bytes (cabecera: 28 bytes) 30-05-2009 Preparatic XVIII

SAN 30-05-2009 Preparatic XVIII Fibra multimodo o monomodo Multimodo: long. De onda menores. Núcleo de 50 o 62,5 micras (90m) Monomodo: grandes distancias (10KM). Núcleo de 9 micras. 30-05-2009 Preparatic XVIII

SAN – Topología loop 30-05-2009 Preparatic XVIII Inicialmente, los dispositivos que implementaban el protocolo lo hacían formando un lazo (HUB). 30-05-2009 Preparatic XVIII

SAN – Topología loop 30-05-2009 Preparatic XVIII Cada dispositivo en el loop tenía un identificador de 8 bits (AL_PA) aunque sólo 126 se pueden direccionar realmente 30-05-2009 Preparatic XVIII

SAN – Topología loop 30-05-2009 Preparatic XVIII Problemas del HUB: TODOS!!! Comparten ancho banda Todas las tramas han de ser leídas por todos los dispositivos Problemas de ruido en el bus!! SOLUCIÓN: Red Conmutada --- modo FABRIC 30-05-2009 Preparatic XVIII

SAN – Topología Fabric 30-05-2009 Preparatic XVIII Switches de fibra: concepto similar a las redes de comunicaciones. Envío de tramas exclusivamente entre los dispositivos involucrados en la comunicación Nuevo direccionamiento de 24 bits por dispositivo (FCID) 30-05-2009 Preparatic XVIII

SAN - Topología Fabric Esquema de direccionamiento FABRIC: Loop Public Loop Fabric 00 00 PP LL LL PP LL LL 00 30-05-2009 Preparatic XVIII

SAN - Fabric 30-05-2009 Preparatic XVIII

SAN - WWN 30-05-2009 Preparatic XVIII WWN: identificador hardware de 64 bits estandarizado por la IEEE http://standards.ieee.org/regauth/oui/index.hml WWN equivale a la MAC en el mundo de las comunicaciones FCID equivale a la dirección IP 30-05-2009 Preparatic XVIII

SAN - Zoning 30-05-2009 Preparatic XVIII Si conecto un host a un fabric.......¿Qué veo?: Todo o nada, depende de la configuración por defecto La asignación de recursos a los host se realiza mediante el ZONING. 30-05-2009 Preparatic XVIII

SAN - Zoning 30-05-2009 Preparatic XVIII ZONING: Zona: listado de dispositivos (host, arrays, librerías...) que tienen la comunicación entre ellos permitida. Habitualmente un host y sus dispositivos (arrays y librerías) Se pueden crear zonas por puerto o por WWN. Ventajas del zoning: Eliminación de errores por accesos indebidos, aislamiento de entornos, facilidad de administración etc.. 30-05-2009 Preparatic XVIII

SAN – Servicios Fabric 30-05-2009 Preparatic XVIII Servicios ofrecidos por el fabric: Flogin: después de levantar el link físico, el dispositivo se une al fabric mediante un Flogin. Recibe el FCID. Name Server: Responsable del directorio de información de los dispositivos conectados al switch. Routing: Protocolo FSPF (similar a OSPF). Zoning: Asignación de los recursos de almacenamiento a los host. SCN: comunicación interna del switch para actualizar el estado de los puertos SCR: El nodo se registra para recibir actualizaciones sobre el estado del fabric RSCN: Usado por el host o el switch para comunicar cambios. 30-05-2009 Preparatic XVIII

SAN ISL: Inter Switch Connection 30-05-2009 Preparatic XVIII

Cabinas de discos 30-05-2009 Preparatic XVIII Ofrecen LUN’s (logical Unique Number) a los hosts. Desde 8 -10 discos hasta 2000 discos en un solo array (EMC DMX, HP XP, IBM Shark etc...) Disponen de varios puertos de fibra que se conectan al fabric. Cada puerto, ofrece almacenamiento a los host: LUN Mapping: asignar determinadas LUN’s a determinados puertos LUN Masking: asignar privilegios de acceso a la LUN a determinados WWN de hosts. Con la configuración de zoning permites al host contactar con el puerto del array. Con el lun masking permites al host acceder a la LUN. 30-05-2009 Preparatic XVIII

Cabinas de discos - Fiabilidad RAID level para protección de la información : 0, 1, 2, 3, 4, 5, 6 y 10 Disco de hot spare: Disco sin utilizar reservado para reconstruir la redundancia en caso de fallo de otro disco Redundancia en controladoras 30-05-2009 Preparatic XVIII

Cabinas de discos – Nuevas tecnologías Diferentes discos: FC, SAS, FATA, SATA, SSD (extremadamente rápidos: tiempos de acceso de microsegundos!!) NAS iSCSI Thin provisioning Jerarquía en el almacenamiento Puertos de replicación 30-05-2009 Preparatic XVIII

Cabinas de discos - NAS Se almacenamiento utilizando la red de comunicaciones Los host acceden a los discos con protocolos como NFS o CIFS Ventajas: infraestructura más barata al suprimir HBA’s, puertos de fibra, cables etc.. Inconvenientes: NFS, CIFS no están optimizados para rendimiento. Todas las implicaciones del tráfico de red ethernet. 30-05-2009 Preparatic XVIII

iSCSI 30-05-2009 Preparatic XVIII Internet Small Computer System Interface RFC 3720 de IEEE. Se ofrecen discos por la LAN Se mapean como discos locales, no importados por medio de NFS, CIFS Se accede a ellos por las tarjetas Ethernet Las tarjetas Ethernet ha de soportar acceso iSCSI (drivers especiales). Tecnología poco utilizada (menor éxito del esperado) 30-05-2009 Preparatic XVIII

iSCSI Se necesita un iniciador y un target 30-05-2009 Preparatic XVIII

Cabinas de discos – Thin provisioning Consiste en darle al host un disco de un tamaño que realmente es de otro menor. Necesita ser soportado por el sistema de ficheros, aplicación etc.. Surge como necesidad de una gestión más racional del almacenamiento Exige mayor nivel de administración La reducción de costes depende de cada organización. 30-05-2009 Preparatic XVIII

Cabinas de discos – Jerarquización En una organización grande, la administración de numerosas cabinas de discos puede ser costosa. No todos los host tienen las mismas necesidades de rendimiento, disponibilidad etc... SOLUCIÓN: Jerarquización + virtualización + movimiento online = (Information Lifecycle ManagementI) 30-05-2009 Preparatic XVIII

Cabinas de discos – Jerarquización A una cabina de gama alta, se le conectan cabinas de cualquier gama (alta, media y baja) La cabina principal, permite controlar todas las cabinas conectadas. Pasamos al concepto de ofrecimiento de discos en función de la necesidad sin conocer su origen. 30-05-2009 Preparatic XVIII

Ejemplo: Cabina principal HP XP 24000 FC CHIP External Storage Hosts LUN MSA1500 MSA1000 HP XP SAN IBM EMC HDS HP EVA XP Disk Array 30-05-2009 Preparatic XVIII

Cabinas de discos – Movimiento en caliente de datos Racionalización del uso del almacenamiento En función de una política definida por el administrador (número de accesos, IO’s, antigüedad de acceso...), la cabina migra los datos de manera transparente de unos discos a otros. Dos modos de ejecución: Por software: appliance conectado a la SAN que maneja y gestiona el almacenamiento y su uso La propia cabina de discos ofrece esta funcionalidad, gestionando las distintas tecnologías conectadas a él (discos SATA, FC, cabinas nivel medio/bajo etc..) 30-05-2009 Preparatic XVIII

Cabinas de discos - Replicación Múltiples objetivos: cluster con nodos remotos, backup, recuperación de desastres etc... Dos modos: replicación síncrona y replicación asíncrona production site replication site replication engine 06:20 DWDM/FCIP SAN 30-05-2009 Preparatic XVIII

Cabinas de disco – Replicación Tres tecnologías básicas: fcip, WDM y SONET 30-05-2009 Preparatic XVIII

Cabinas de discos – Replicación síncrona/asíncrona Síncrona: 100 - 300km Depende de la tolerancia de la aplicación, latencia de la comunicación etc... Asíncrona: depende de la tolerancia a riesgos. Distancia dependiente de la tecnología. 30-05-2009 Preparatic XVIII

Replicación - fcip 30-05-2009 Preparatic XVIII SAN extendida a través de una red ip. Se encapsulan las tramas FCP en paquetes IP. Se necesita un gateway FCIP en cada extremo. Permite grandes distancias – Replicación asíncrona Parámetros a tener en cuenta: ancho de banda, latencia y jitter. Asegurar QoS!!!, creación de túneles etc... 30-05-2009 Preparatic XVIII

Replicación fcip Ejemplo real: 30-05-2009 Preparatic XVIII

Replicación fcip Ejemplo de un proveedor: 30-05-2009 Preparatic XVIII

Replicación WDM (Wavelength Division Multiplexing) Tecnología óptica usada para añadir capacidad de transmisión sobre una fibra óptica. Transmite distintas señales ópticas a diferentes longitudes de onda. Una fibra física se virtualiza en varias fibras lógicas. 30-05-2009 Preparatic XVIII

Replicación WDM 30-05-2009 Preparatic XVIII La ventana espectral suele estar centrada en 1300nm o 1550nm y tiene una anchura de 30nm. Dense WDM (DWDM) separación de menos de 1nm entre long. onda adyacentes. Más de 1nm: Coarse WDM Ventaja: cada longitud de onda tiene un ancho de banda asegurado (canales independientes) Capaz de transportar diferentes protocolos: FCP, IP, ATM Tipos: Pasivos: no atenúan ni amplifican la señal que reciben. Simplemente envían. Activos con respecto a la amplificación: Atenúan o amplifican la señal Activos con respecto al protocolo: TDM para permitir varias señales FC sobre una misma longitud de onda. No muy habituales y caros. 30-05-2009 Preparatic XVIII

Replicación 30-05-2009 Preparatic XVIII Si tengo que replicar, que tecnología uso? FCIP Largas distancias (control de flujo a cargo de TCP) Más barato Problemas de latencias. WDM Menores distancias (3000 km). En la práctica, cientos de km. Control de flujo por buffers (más restringido que TCP) Menos problemas de latencias, ancho de banda, QoS Más caro. 30-05-2009 Preparatic XVIII

Tecnologías de BACKUP 30-05-2009 Preparatic XVIII Elementos básicos: SAN Librerías de backup: Copian/leen los datos. Software de backup: controla todas las operaciones. 30-05-2009 Preparatic XVIII

Librerías de backup 30-05-2009 Preparatic XVIII Cabinas con dos elementos: Drives [1 - >1000] Cartuchos [1 - >20-000] Picker (robot) [Uno y sólo uno!!!] 30-05-2009 Preparatic XVIII

Elementos de una librería Drives: Son los dispositivos que realizan el proceso de grabación y lectura de datos (backup y restore). LTO: Linear Tape Open (Standard abierto) DLT: Digital Linear Tape (propietario) Tecnología Velocidad Capacidad LTO 4 160MB/s 1,6TB/800GB SDLT II 72/36 MB/s 600/300 Gb 30-05-2009 Preparatic XVIII

Elementos de una librería Robot o picker: Básicamente, es un brazo robótica que recibe órdenes del tipo: “mete la cinta 10 en el drive 5”). Uno y sólo uno por librería (exceptuando las librerías ACSLS) Cintas o cartuchos: Cintas magnéticas donde se almacenan los datos 30-05-2009 Preparatic XVIII

Software de backup 30-05-2009 Preparatic XVIII Gestión integral del entorno de backup. Software Propietario: HP Data Protector, EMC Networker, Symantec Netbackup, Commvault..... Muchos proveedores y múltiples arquitecturas. Elementos comunes: Servidor principal: Agente dispositivo Agente cliente Integración con aplicaciones (Exchange, SQL, SAP, Oracle, Informix, Lotus Domino...) Más.... 30-05-2009 Preparatic XVIII

Software de Backup 30-05-2009 Preparatic XVIII Servidor principal Lleva la bbdd con toda la información (backups, versiones, retención de datos, medias, dispositivos..) Coordina la operación del resto de agentes Es el “cerebro” de la infraestructura 30-05-2009 Preparatic XVIII

Software de backup 30-05-2009 Preparatic XVIII Agente de dispositivo Se instala en los servidores que vean algún dispositivo (picker o drive) Responsable del manejo del robot y los drives (escribir o leer datos del drive) Acceso al picker: para manejar los cartuchos: intruduce/retira los cartuchos de los drives. Acceso al drive: ordenes de leer/escribir/rebobinar/avanzar.. 30-05-2009 Preparatic XVIII

Software de backup 30-05-2009 Preparatic XVIII Agente de cliente Se instala en los servidores cuyos datos queremos proteger. Responsable del manejo del manejo de los datos a proteger Envía/recibe datos al agente de dispositivo (backup/restore) 30-05-2009 Preparatic XVIII

Software de backup 30-05-2009 Preparatic XVIII Integraciones con aplicaciones Todos los fabricantes soportan multitud de aplicaciones Se integran con la herramienta propietaria para gestionar el backup dentro de la aplicación (rman, brtools...) Ponen la bbdd en modo backup y llevan los datos a cinta (backup en caliente). 30-05-2009 Preparatic XVIII

Software de backup 30-05-2009 Preparatic XVIII Backup por red o por SAN Lo habitual es tener sólo unos pocos agentes de dispositivo en el entorno. Todos los clientes envían los datos por red al agente de dispositivo y este los escribe en los drives (solución más barata) Hay clientes que necesitan más rendimiento en backup/restore que el proporcionado por la red. Estos clientes, llevan también el agente de dispositivo y realizan el backup por la SAN. 30-05-2009 Preparatic XVIII

30-05-2009 Preparatic XVIII LAN Librería Discos Servidor Principal En cluster Maneja el picker Flujo de datos de backup por red Librería Discos ISL Servidores de dispositivo 1 o más servidores Maneja los drives Un drive puede ser compartido Servidor crítico Agente cliente Agente dispositivo Agente de aplicación 30-05-2009 Preparatic XVIII

Software de backup 30-05-2009 Preparatic XVIII Tipos de backup Full backup: backup de TODO Incremental: backup de todo lo nuevo después del último backup (full o incX) Incremental [1...9]: hace backup de lo nuevo desde el último backup inc [n-1]. No tienen en cuenta el inc. 30-05-2009 Preparatic XVIII

VTL (Virtual Tape Library) Cabina de discos (usualmente SATA), con un software que la presenta como una librería En vez de lun’s, presenta drives y picker Más rápido que una librería física (??) Habitualmente se vuelca el contenido a librería física (horario de menos carga de backups. Replicación como cabinas normales para efectuar vaulting o volcar a librería física. Deduplicación: Examina los bloques de datos, calcula el hash y los que coinciden, no los almacena por segunda vez. Ahorro en almacenamiento! 30-05-2009 Preparatic XVIII

Snapshot y backups de tercera copia Hay servidores que, por su criticidad, no pueden dedicar recursos al backup Backup de tercera copia: copia física del disco en producción, montaje en un tercer servidor y backup. Snapshot: realizada en segundos, utiliza punteros para direccionar los cambios. 30-05-2009 Preparatic XVIII

Snapshots y backup de tercera copia Servidor secundario Servidor crítico 30-05-2009 Preparatic XVIII

NDMP (Network Data Management Protocol) Diseñado para hacer backups de un NAS Backup de la unidad de red es muy lento NDMP: se conecta al NAS una librería física. Es software de backup maneja el backup del NAS usando el protocolo NDMP. El backup se realiza por la SAN. Ciertas limitaciones con respecto a un backup normal (full, inc, inc1...y alguna más dependiendo del proveedor). 30-05-2009 Preparatic XVIII

NDMP 30-05-2009 Preparatic XVIII LAN Librería Servidor UNIX Servidor Principal En cluster Maneja el picker Librería Servidor UNIX Servidor Windows ISL ndmp Acceso a discos: NFS, CIFS NAS LAN 30-05-2009 Preparatic XVIII

Anexo: fabricantes y precios Producto Fabricante G.Alta G.Media G.Baja Switch Brocade, CISCO 200K – 500K 90K – 150K 20K – 70K Cabinas Multivendor 500K – 2000K 100K – 400K 40K – 100K VTL Multivedor 300K – 600K Disco FC 20€$/GB 12$/GB - Disco SATA 7$/GB Librería StorageTek – 400K – 20.000K 300K 30K 30-05-2009 Preparatic XVIII

Muchas gracias y buena suerte!!! 30-05-2009 Preparatic XVIII Charla preparatoria oposición TIC 2009 Muchas gracias y buena suerte!!! jframos_12@hotmail.com 30-05-2009 Preparatic XVIII