Redes de Almacenamiento y Tecnologías de Backup

Presentación del tema: "Redes de Almacenamiento y Tecnologías de Backup"— Transcripción de la presentación:

1 Redes de Almacenamiento y Tecnologías de Backup
Charla preparatoria oposición TIC 2009 Redes de Almacenamiento y Tecnologías de Backup Juan Francisco Ramos – Miembro de Preparatic XVIII Preparatic XVIII

2 Evolución del almacenamiento - SCSI
Primera revolución: Estándar SCSI (años 80) Interfaz mucho más evolucionada que IDE/ATA (rendimiento, fiabilidad, mayor número de dispositivos). Evolucionó fundamentalmente como conexión de almacenamiento en servidores: DAS (Direct Attached Storage) Evolución constante de la velocidad, fiabilidad y número de dispositivos en bus. Preparatic XVIII

3 Evolución SCSI 30-05-2009 Preparatic XVIII Estándar Tipo Bus Señal
Velocidad Dispositivos Distancia SCSI I N SE HVD 5MB/s 8 6 – 25m SCSI 2 Wide W SE HVD 10MB/s 16 Fast-Wide 3 – 25m 20MBs SCSI 3 Ultra 4 – 8 Wide-Ultra 40MB/s 4 – 16 Ultra2 HVD LVD 40 2 – 8 25m Wide – Ultra2 LVD 80MB/s 2 – 16 12 – 25 Ultra3/Ultra160 160MB/s Ultra320 320MB/s Preparatic XVIII

4 SCSI 30-05-2009 Preparatic XVIII Problemas SCSI:
Transmisiones problemáticas (ruido en el bus) Problemas de distancia No se pueden compartir dispositivos SCSI se ve como tecnología “local” Preparatic XVIII

5 SAN Cambio de Concepto: Storage Área Network
Almacenamiento visto como recurso en “red” Conceptos similares a la red de comunicaciones Flexibilidad (distancia, número de dispositivos, arquitectura, seguridad, fiabilidad). Preparatic XVIII

6 SAN 30-05-2009 Preparatic XVIII Fibre Channel vs Fiber Channel:
Fibre Channel: conjunto de estándares de comunicaciones, diseñado especialmente para la conexión de dispositivos de almacenamiento. Estandarizado por el T11 Technical Comitte del INCITS (InterNational Committee for Information Technology Standards) perteneciente a ANSI Fibre Channel: Medio físico de transmisión (cable de fibra óptica) Fibre Channel Protocol (FCP): protocolo de transporte que encapsula comandos SCSI Tamaño de Trama: 2148 bytes (cabecera: 28 bytes) Preparatic XVIII

7 SAN 30-05-2009 Preparatic XVIII Fibra multimodo o monomodo
Multimodo: long. De onda menores. Núcleo de 50 o 62,5 micras (90m) Monomodo: grandes distancias (10KM). Núcleo de 9 micras. Preparatic XVIII

8 SAN – Topología loop 30-05-2009 Preparatic XVIII
Inicialmente, los dispositivos que implementaban el protocolo lo hacían formando un lazo (HUB). Preparatic XVIII

9 SAN – Topología loop 30-05-2009 Preparatic XVIII
Cada dispositivo en el loop tenía un identificador de 8 bits (AL_PA) aunque sólo 126 se pueden direccionar realmente Preparatic XVIII

10 SAN – Topología loop 30-05-2009 Preparatic XVIII
Problemas del HUB: TODOS!!! Comparten ancho banda Todas las tramas han de ser leídas por todos los dispositivos Problemas de ruido en el bus!! SOLUCIÓN: Red Conmutada --- modo FABRIC Preparatic XVIII

11 SAN – Topología Fabric 30-05-2009 Preparatic XVIII
Switches de fibra: concepto similar a las redes de comunicaciones. Envío de tramas exclusivamente entre los dispositivos involucrados en la comunicación Nuevo direccionamiento de 24 bits por dispositivo (FCID) Preparatic XVIII

12 SAN - Topología Fabric Esquema de direccionamiento FABRIC:
Loop Public Loop Fabric 00 00 PP LL LL PP LL LL 00 Preparatic XVIII

13 SAN - Fabric Preparatic XVIII

14 SAN - WWN 30-05-2009 Preparatic XVIII
WWN: identificador hardware de 64 bits estandarizado por la IEEE WWN equivale a la MAC en el mundo de las comunicaciones FCID equivale a la dirección IP Preparatic XVIII

15 SAN - Zoning 30-05-2009 Preparatic XVIII
Si conecto un host a un fabric ¿Qué veo?: Todo o nada, depende de la configuración por defecto La asignación de recursos a los host se realiza mediante el ZONING. Preparatic XVIII

16 SAN - Zoning 30-05-2009 Preparatic XVIII ZONING:
Zona: listado de dispositivos (host, arrays, librerías...) que tienen la comunicación entre ellos permitida. Habitualmente un host y sus dispositivos (arrays y librerías) Se pueden crear zonas por puerto o por WWN. Ventajas del zoning: Eliminación de errores por accesos indebidos, aislamiento de entornos, facilidad de administración etc.. Preparatic XVIII

17 SAN – Servicios Fabric 30-05-2009 Preparatic XVIII
Servicios ofrecidos por el fabric: Flogin: después de levantar el link físico, el dispositivo se une al fabric mediante un Flogin. Recibe el FCID. Name Server: Responsable del directorio de información de los dispositivos conectados al switch. Routing: Protocolo FSPF (similar a OSPF). Zoning: Asignación de los recursos de almacenamiento a los host. SCN: comunicación interna del switch para actualizar el estado de los puertos SCR: El nodo se registra para recibir actualizaciones sobre el estado del fabric RSCN: Usado por el host o el switch para comunicar cambios. Preparatic XVIII

18 SAN ISL: Inter Switch Connection Preparatic XVIII

19 Cabinas de discos 30-05-2009 Preparatic XVIII
Ofrecen LUN’s (logical Unique Number) a los hosts. Desde discos hasta 2000 discos en un solo array (EMC DMX, HP XP, IBM Shark etc...) Disponen de varios puertos de fibra que se conectan al fabric. Cada puerto, ofrece almacenamiento a los host: LUN Mapping: asignar determinadas LUN’s a determinados puertos LUN Masking: asignar privilegios de acceso a la LUN a determinados WWN de hosts. Con la configuración de zoning permites al host contactar con el puerto del array. Con el lun masking permites al host acceder a la LUN. Preparatic XVIII

20 Cabinas de discos - Fiabilidad
RAID level para protección de la información : 0, 1, 2, 3, 4, 5, 6 y 10 Disco de hot spare: Disco sin utilizar reservado para reconstruir la redundancia en caso de fallo de otro disco Redundancia en controladoras Preparatic XVIII

21 Cabinas de discos – Nuevas tecnologías
Diferentes discos: FC, SAS, FATA, SATA, SSD (extremadamente rápidos: tiempos de acceso de microsegundos!!) NAS iSCSI Thin provisioning Jerarquía en el almacenamiento Puertos de replicación Preparatic XVIII

22 Cabinas de discos - NAS Se almacenamiento utilizando la red de comunicaciones Los host acceden a los discos con protocolos como NFS o CIFS Ventajas: infraestructura más barata al suprimir HBA’s, puertos de fibra, cables etc.. Inconvenientes: NFS, CIFS no están optimizados para rendimiento. Todas las implicaciones del tráfico de red ethernet. Preparatic XVIII

23 iSCSI 30-05-2009 Preparatic XVIII
Internet Small Computer System Interface RFC 3720 de IEEE. Se ofrecen discos por la LAN Se mapean como discos locales, no importados por medio de NFS, CIFS Se accede a ellos por las tarjetas Ethernet Las tarjetas Ethernet ha de soportar acceso iSCSI (drivers especiales). Tecnología poco utilizada (menor éxito del esperado) Preparatic XVIII

24 iSCSI Se necesita un iniciador y un target Preparatic XVIII

25 Cabinas de discos – Thin provisioning
Consiste en darle al host un disco de un tamaño que realmente es de otro menor. Necesita ser soportado por el sistema de ficheros, aplicación etc.. Surge como necesidad de una gestión más racional del almacenamiento Exige mayor nivel de administración La reducción de costes depende de cada organización. Preparatic XVIII

26 Cabinas de discos – Jerarquización
En una organización grande, la administración de numerosas cabinas de discos puede ser costosa. No todos los host tienen las mismas necesidades de rendimiento, disponibilidad etc... SOLUCIÓN: Jerarquización + virtualización + movimiento online = (Information Lifecycle ManagementI) Preparatic XVIII

27 Cabinas de discos – Jerarquización
A una cabina de gama alta, se le conectan cabinas de cualquier gama (alta, media y baja) La cabina principal, permite controlar todas las cabinas conectadas. Pasamos al concepto de ofrecimiento de discos en función de la necesidad sin conocer su origen. Preparatic XVIII

28 Ejemplo: Cabina principal HP XP 24000
FC CHIP External Storage Hosts LUN MSA1500 MSA1000 HP XP SAN IBM EMC HDS HP EVA XP Disk Array Preparatic XVIII

29 Cabinas de discos – Movimiento en caliente de datos
Racionalización del uso del almacenamiento En función de una política definida por el administrador (número de accesos, IO’s, antigüedad de acceso...), la cabina migra los datos de manera transparente de unos discos a otros. Dos modos de ejecución: Por software: appliance conectado a la SAN que maneja y gestiona el almacenamiento y su uso La propia cabina de discos ofrece esta funcionalidad, gestionando las distintas tecnologías conectadas a él (discos SATA, FC, cabinas nivel medio/bajo etc..) Preparatic XVIII

30 Cabinas de discos - Replicación
Múltiples objetivos: cluster con nodos remotos, backup, recuperación de desastres etc... Dos modos: replicación síncrona y replicación asíncrona production site replication site replication engine 06:20 DWDM/FCIP SAN Preparatic XVIII

31 Cabinas de disco – Replicación
Tres tecnologías básicas: fcip, WDM y SONET Preparatic XVIII

32 Cabinas de discos – Replicación síncrona/asíncrona
Síncrona: km Depende de la tolerancia de la aplicación, latencia de la comunicación etc... Asíncrona: depende de la tolerancia a riesgos. Distancia dependiente de la tecnología. Preparatic XVIII

33 Replicación - fcip 30-05-2009 Preparatic XVIII
SAN extendida a través de una red ip. Se encapsulan las tramas FCP en paquetes IP. Se necesita un gateway FCIP en cada extremo. Permite grandes distancias – Replicación asíncrona Parámetros a tener en cuenta: ancho de banda, latencia y jitter. Asegurar QoS!!!, creación de túneles etc... Preparatic XVIII

34 Replicación fcip Ejemplo real: Preparatic XVIII

35 Replicación fcip Ejemplo de un proveedor: Preparatic XVIII

36 Replicación WDM (Wavelength Division Multiplexing)
Tecnología óptica usada para añadir capacidad de transmisión sobre una fibra óptica. Transmite distintas señales ópticas a diferentes longitudes de onda. Una fibra física se virtualiza en varias fibras lógicas. Preparatic XVIII

37 Replicación WDM 30-05-2009 Preparatic XVIII
La ventana espectral suele estar centrada en 1300nm o 1550nm y tiene una anchura de 30nm. Dense WDM (DWDM) separación de menos de 1nm entre long. onda adyacentes. Más de 1nm: Coarse WDM Ventaja: cada longitud de onda tiene un ancho de banda asegurado (canales independientes) Capaz de transportar diferentes protocolos: FCP, IP, ATM Tipos: Pasivos: no atenúan ni amplifican la señal que reciben. Simplemente envían. Activos con respecto a la amplificación: Atenúan o amplifican la señal Activos con respecto al protocolo: TDM para permitir varias señales FC sobre una misma longitud de onda. No muy habituales y caros. Preparatic XVIII

38 Replicación 30-05-2009 Preparatic XVIII
Si tengo que replicar, que tecnología uso? FCIP Largas distancias (control de flujo a cargo de TCP) Más barato Problemas de latencias. WDM Menores distancias (3000 km). En la práctica, cientos de km. Control de flujo por buffers (más restringido que TCP) Menos problemas de latencias, ancho de banda, QoS Más caro. Preparatic XVIII

39 Tecnologías de BACKUP 30-05-2009 Preparatic XVIII Elementos básicos:
SAN Librerías de backup: Copian/leen los datos. Software de backup: controla todas las operaciones. Preparatic XVIII

40 Librerías de backup 30-05-2009 Preparatic XVIII
Cabinas con dos elementos: Drives [1 - >1000] Cartuchos [1 - >20-000] Picker (robot) [Uno y sólo uno!!!] Preparatic XVIII

41 Elementos de una librería
Drives: Son los dispositivos que realizan el proceso de grabación y lectura de datos (backup y restore). LTO: Linear Tape Open (Standard abierto) DLT: Digital Linear Tape (propietario) Tecnología Velocidad Capacidad LTO 4 160MB/s 1,6TB/800GB SDLT II 72/36 MB/s 600/300 Gb Preparatic XVIII

42 Elementos de una librería
Robot o picker: Básicamente, es un brazo robótica que recibe órdenes del tipo: “mete la cinta 10 en el drive 5”). Uno y sólo uno por librería (exceptuando las librerías ACSLS) Cintas o cartuchos: Cintas magnéticas donde se almacenan los datos Preparatic XVIII

43 Software de backup 30-05-2009 Preparatic XVIII
Gestión integral del entorno de backup. Software Propietario: HP Data Protector, EMC Networker, Symantec Netbackup, Commvault..... Muchos proveedores y múltiples arquitecturas. Elementos comunes: Servidor principal: Agente dispositivo Agente cliente Integración con aplicaciones (Exchange, SQL, SAP, Oracle, Informix, Lotus Domino...) Más.... Preparatic XVIII

44 Software de Backup 30-05-2009 Preparatic XVIII Servidor principal
Lleva la bbdd con toda la información (backups, versiones, retención de datos, medias, dispositivos..) Coordina la operación del resto de agentes Es el “cerebro” de la infraestructura Preparatic XVIII

45 Software de backup 30-05-2009 Preparatic XVIII Agente de dispositivo
Se instala en los servidores que vean algún dispositivo (picker o drive) Responsable del manejo del robot y los drives (escribir o leer datos del drive) Acceso al picker: para manejar los cartuchos: intruduce/retira los cartuchos de los drives. Acceso al drive: ordenes de leer/escribir/rebobinar/avanzar.. Preparatic XVIII

46 Software de backup 30-05-2009 Preparatic XVIII Agente de cliente
Se instala en los servidores cuyos datos queremos proteger. Responsable del manejo del manejo de los datos a proteger Envía/recibe datos al agente de dispositivo (backup/restore) Preparatic XVIII

47 Software de backup 30-05-2009 Preparatic XVIII
Integraciones con aplicaciones Todos los fabricantes soportan multitud de aplicaciones Se integran con la herramienta propietaria para gestionar el backup dentro de la aplicación (rman, brtools...) Ponen la bbdd en modo backup y llevan los datos a cinta (backup en caliente). Preparatic XVIII

48 Software de backup 30-05-2009 Preparatic XVIII
Backup por red o por SAN Lo habitual es tener sólo unos pocos agentes de dispositivo en el entorno. Todos los clientes envían los datos por red al agente de dispositivo y este los escribe en los drives (solución más barata) Hay clientes que necesitan más rendimiento en backup/restore que el proporcionado por la red. Estos clientes, llevan también el agente de dispositivo y realizan el backup por la SAN. Preparatic XVIII

49 30-05-2009 Preparatic XVIII LAN Librería Discos Servidor Principal
En cluster Maneja el picker Flujo de datos de backup por red Librería Discos ISL Servidores de dispositivo 1 o más servidores Maneja los drives Un drive puede ser compartido Servidor crítico Agente cliente Agente dispositivo Agente de aplicación Preparatic XVIII

50 Software de backup 30-05-2009 Preparatic XVIII Tipos de backup
Full backup: backup de TODO Incremental: backup de todo lo nuevo después del último backup (full o incX) Incremental [1...9]: hace backup de lo nuevo desde el último backup inc [n-1]. No tienen en cuenta el inc. Preparatic XVIII

51 VTL (Virtual Tape Library)
Cabina de discos (usualmente SATA), con un software que la presenta como una librería En vez de lun’s, presenta drives y picker Más rápido que una librería física (??) Habitualmente se vuelca el contenido a librería física (horario de menos carga de backups. Replicación como cabinas normales para efectuar vaulting o volcar a librería física. Deduplicación: Examina los bloques de datos, calcula el hash y los que coinciden, no los almacena por segunda vez. Ahorro en almacenamiento! Preparatic XVIII

52 Snapshot y backups de tercera copia
Hay servidores que, por su criticidad, no pueden dedicar recursos al backup Backup de tercera copia: copia física del disco en producción, montaje en un tercer servidor y backup. Snapshot: realizada en segundos, utiliza punteros para direccionar los cambios. Preparatic XVIII

53 Snapshots y backup de tercera copia
Servidor secundario Servidor crítico Preparatic XVIII

54 NDMP (Network Data Management Protocol)
Diseñado para hacer backups de un NAS Backup de la unidad de red es muy lento NDMP: se conecta al NAS una librería física. Es software de backup maneja el backup del NAS usando el protocolo NDMP. El backup se realiza por la SAN. Ciertas limitaciones con respecto a un backup normal (full, inc, inc1...y alguna más dependiendo del proveedor). Preparatic XVIII

55 NDMP 30-05-2009 Preparatic XVIII LAN Librería Servidor UNIX
Servidor Principal En cluster Maneja el picker Librería Servidor UNIX Servidor Windows ISL ndmp Acceso a discos: NFS, CIFS NAS LAN Preparatic XVIII

56 Anexo: fabricantes y precios
Producto Fabricante G.Alta G.Media G.Baja Switch Brocade, CISCO 200K – 500K 90K – 150K 20K – 70K Cabinas Multivendor 500K – 2000K 100K – 400K 40K – 100K VTL Multivedor 300K – 600K Disco FC 20€$/GB 12$/GB - Disco SATA 7$/GB Librería StorageTek – 400K – K 300K 30K Preparatic XVIII

57 Muchas gracias y buena suerte!!! 30-05-2009 Preparatic XVIII
Charla preparatoria oposición TIC 2009 Muchas gracias y buena suerte!!! Preparatic XVIII