Virtualización Xen libre sobre hardware redundado Virginio García López Ingeniero en Informática

Índice ● Arquitectura del chasis ● Conectividad ethernet ● Almacenamiento ● Sistema Operativo ● Xen – Configuración de red – Configuración de almacenamiento – Migración en vivo ● Seguridad

Arquitectura del Chasis ● Consolidación en el centro de proceso de datos (CPD) ● Electrónica redundada: medios planos (activos) ● 14 blades (Intel y/o PowerPC). ● DVD y USB compartido ● 2 Módulos de administración remota ● 4 conmutadores ethernet ● 2 conmutadores fibre channel ● 2 fuentes alimentación

Arquitectura del Chasis Detalle de los medios planos

Conectividad Ethernet ● Objetivo: Diseño redundante ● Limitación: Usar el mínimo cableado al exterior ● Requisito: VLAN de desarrollo y explotación ● Switches: – 14 puertos internos: INT1 – INT 14 ● 1 puerto por cada blade – 6 puertos externos: EXT1 – EXT6 – Forwarding entre internos y externos

Conectividad Ethernet Solución adoptada ● 1 cable por cada switch = 4 cables ● Puertos externos: modo trunk, ambas VLAN ● Forwarding INT-EXT filtran las VLAN ● Cada blade recibirá cada VLAN por 2 interfaces – El SO hará bonding con los interfaces ● Alta disponibilidad: – Fallo cable exterior: el SO no lo detecta – Necesidad de crear un anillo – Activar el protocolo Spanning Tree

Almacenamiento ● Uso de la SAN existente ● Alta disponibilidad – 2 switches FC – Cada uno en un medio plano ● Multipath – Alternativa libre a PowerPath – Basado en Device-Mapper – Arranque desde LUN – Configuración sencilla: listas negras y alias

Almacenamiento Multipath: operaciones frecuentes ● Añadir LUN 1. Escanear dispositivos SCSI físicos 2. Encontrar identificador 3. Añadir identificador como excepción en la lista negra, y asignarle un alias 4. Ejecutar multipath 1. Estrategia: Todos los dispositivos están en una lista negra. Se añaden a una lista de excepciones el wwid las LUNs correspondientes y sus alias.

Almacenamiento Multipath: operaciones frecuentes ● Redimensionar LUN 1. Guardar tabla del dispositivo device-mapper 2. Reescanear dispositivos SCSI físicos 3. Suspender dispositivo device-mapper 4. Cargar tabla modificada (con nueva cantidad de sectores) del dispositivo device-mapper 5. Reanudar el dispositivo device-mapper ● Eliminar LUN 1. Eliminar con la herramienta multipath 2. Eliminar los dispositivos SCSI subyacentes

Sistema Operativo ● En el anfitrión de cada blade ● Distribución Linux CentOS – Orientada a servidores – Derivada del código fuente de Red Hat – Descarga gratuita – Instalación masiva: kickstart – Multipath desde la instalación – Soporte de Xen, herramientas (virt-manager)

Sistema Operativo ● Redundancia de red: Bonding – Dispositivos bond0 y bond1 – Bonding separado para desarrollo y explotación – Cada interfaz del bonding es de un medio plano ● Redundancia de disco: Multipath – Nomenclatura uniforme de alias – Cada máquina virtual tendrá al menos un dispositivo multipath

Xen Configuración de red ● Tenemos: bond0 y bond1 para cada VLAN ● Configuración network-bridge: – Nuevo script: network-multi-bridge llama a network-bridge (por defecto) – vifnum=0 bridge=xenbr0 netdev=bond0 – vifnum=1 bridge=xenbr1 netdev=bond1 ● Estrategia: Dependiendo si el servidor Xen es de desarrollo o explotación, asociaremos un xenbr u otro en el perfil Xen de la máquina virtual.

Xen Configuración de red

Xen Configuración de almacenamiento ● Objetivos: – Alta disponibilidad – Alto rendimiento – Minimizar el número de capas – Facilitar la migración en vivo ● Estrategia: – Pasar directamente los dispositivos multipath como disco a cada máquina virtual Xen – disk = [ “phy:/dev/mpath/DOMINIO_XEN,xvda,w”, … ]

Xen Configuración de almacenamiento

Xen Migración en vivo ● Compartir ciertos ficheros de configuración – Directorio de perfiles /etc/xen – Configuración multipath /etc/multipath.conf – Permitir la migración por cierto puerto y a las máquinas del blade /etc/xen/xend-config.sxp – Arranque automático tras caída: ● Estructura de enlaces simbólicos /etc/xen/auto/HOSTNAME_ANFITRIÓN ● Cambios en: /etc/sysconfig/xendomains XENDOMAINS_AUTO=/etc/xen/auto/$(hostname) ● Precaución: Arriesgado compartir por NFS en caso de caida. Subversion.

Xen Migración en vivo ● Compartir dispositivos – Misma configuración de bonding en los blades – Visibilidad de la misma LUN en blade de origen y destino ● No hay sistemas de ficheros compartidos ● Muy eficiente xm migrate --live DOMINIO_XEN IP_BLADE_DESTINO

Seguridad Firewall Xen ● ¿Cómo filtrar tráfico en el anfitrión? ● Normalmente no es necesario – Máquina virtual temporal no confiable – Clave de root a administrador inexperto – No queremos que cambie de MAC o IP – Otros casos... ● Podemos aislar una máquina virtual – tcpdump desde la VM sólo muestra su tráfico (ni siquiera el ARP de la red)

Seguridad Firewall Xen: ebtables ● Filtrado en los bridges: ebtables ● Permite filtrar por MAC ● Protocolo ARP: también filtra por IP ● Chain: FORWARD ● Hay que manejar los interfaces vifX ( X es el ID de máquina virtual) ● Interfaz de entrada ( -i ) = Salida de la VM ● Interfaz de salida ( -o ) = Entrada a la VM

Conclusiones ● Blades: consolidación y gestión centralizada ● Linux: permite tolerancia a fallos ● Anfitrión maneja la complejidad ● Máquinas virtuales Xen sencillas ● Migración sin corte de servicio

Virtualización Xen libre sobre hardware redundado