Instalación y configuración de clusters Ejemplo Sala IBM Adrián Pousa

Consideraciones generales Hardware. Hardware. Sistema operativo. Sistema operativo. Lenguajes de programación. Lenguajes de programación. Herramientas para programación distribuida (Requerimientos de algunas herramientas). Herramientas para programación distribuida (Requerimientos de algunas herramientas). Herramientas de squeduling y monitoreo. Herramientas de squeduling y monitoreo. Otros aspectos: Otros aspectos: Creación de usuarios. Creación de usuarios. Directorios compartidos. Directorios compartidos. Servicios de red (dns, dhcp, firewall,NTP). Servicios de red (dns, dhcp, firewall,NTP).

Consideraciones generales Hardware Homogéneo Homogéneo Misma arquitectura. Misma arquitectura. Mismas características de componentes. Mismas características de componentes. Facilidades: clonar, compartir configuraciones y archivos. Facilidades: clonar, compartir configuraciones y archivos. Heterogéneo Heterogéneo Arquitectura (i386, x86_64, sparc, ppc etc.). Arquitectura (i386, x86_64, sparc, ppc etc.). Distintas características de componentes. Distintas características de componentes. Necesidad de recompilar archivos. Necesidad de recompilar archivos.

Consideraciones generales Sistema operativo Windows (poco usado) Windows (poco usado) Entorno grafico “pesado”. Entorno grafico “pesado”. Unix/Linux (mas usados) Unix/Linux (mas usados) Se pueden utilizar instalaciones básicas. Se pueden utilizar instalaciones básicas. Heterogeneidad en distribuciones (linux). Heterogeneidad en distribuciones (linux).

Consideraciones generales Lenguajes de programación C (Gcc - gnu, Icc - intel) C (Gcc - gnu, Icc - intel) Fortran Fortran JAVA (Gcj – gnu, Sun) JAVA (Gcj – gnu, Sun) De acuerdo a las herramientas a utilizar: Mpi: C, Fortran. Mpi: C, Fortran. Pvm: C, Fortran. Pvm: C, Fortran. Rmi: Java. Rmi: Java.

Consideraciones generales Herramientas de programación Librerías para programación distribuida: Librerías para programación distribuida: MPI MPI PVM PVM (Requerimientos de rsh/ssh sin contraseña) Java: Java: RMI RMI Sockets Sockets (Requerimientos JDK, JRE) Librerías matemáticas. Librerías matemáticas. Blas (Basic Linear Algebra Subprogram) Blas (Basic Linear Algebra Subprogram) Lapack (Linear Algebra Packcage) Lapack (Linear Algebra Packcage) MKL (Math Kernel Library - Intel) MKL (Math Kernel Library - Intel)

Consideraciones generales Squeduling y monitoreo Las herramientas de squeduling son utiles para gestionar las ejecuciones de varios usuarios (Torque – Maui, SGE, Condor). Las herramientas de squeduling son utiles para gestionar las ejecuciones de varios usuarios (Torque – Maui, SGE, Condor). Monitoreo del estado del cluster (Ganglia). Monitoreo del estado del cluster (Ganglia).

Consideraciones generales Usuarios En algunos casos un mismo usuario debe existir en cada equipo: En algunos casos un mismo usuario debe existir en cada equipo: Mismo grupo (nombre y gid). Mismo grupo (nombre y gid). Mismo nombre. Mismo nombre. Mismo uid. Mismo uid. Alternativas: Alternativas: Crear en cada equipo (manual o automático). Crear en cada equipo (manual o automático). Centralizar (NIS, NIS+, LDAP). Centralizar (NIS, NIS+, LDAP).

Consideraciones generales Directorios compartidos NFS NFS Compartir configuraciones. Compartir configuraciones. Compartir aplicaciones. Compartir aplicaciones. Compartir archivos varios: Compartir archivos varios: fuentes. fuentes. homes. homes. binarios. binarios. Etc. Etc.

Consideraciones generales Servicios de red Útil configurar DNS para evitar modificar archivos de hosts. Útil configurar DNS para evitar modificar archivos de hosts. FIREWALL: Si el cluster va a tener acceso desde/hacia el exterior (laboratorio remoto). FIREWALL: Si el cluster va a tener acceso desde/hacia el exterior (laboratorio remoto). Direcciones de red, estáticas o dinámicas (DHCP). Direcciones de red, estáticas o dinámicas (DHCP). NTP. NTP.

Consideraciones generales Soluciones Configurar todas las herramientas suele ser costoso, opciones: Configurar todas las herramientas suele ser costoso, opciones: Distribuciones de configuración automática (facilita la tarea pero muchas veces no se sabe como esta configurado, problema si se quiere hacer algún cambio). Distribuciones de configuración automática (facilita la tarea pero muchas veces no se sabe como esta configurado, problema si se quiere hacer algún cambio). Configurar cada herramienta manualmente (complejo pero se tiene mayor control). Configurar cada herramienta manualmente (complejo pero se tiene mayor control).

Consideraciones generales Herramientas automáticas Rocks cluster ( Rocks cluster ( Versión 5 basada en Centos. Versión 5 basada en Centos. Frontend y varios nodos. Frontend y varios nodos. Frontend con servicios: DNS, DHCP, MySQL, NTP, HTTP. Frontend con servicios: DNS, DHCP, MySQL, NTP, HTTP. Instalación de nodos rápida (reinstalación). Instalación de nodos rápida (reinstalación). Concepto de roles. Concepto de roles.

Consideraciones generales Herramientas automáticas

Rocks cluster roles Rocks cluster roles Area 51: utilidades para analizar la integridad de archivos y el kernel en el cluster. Area 51: utilidades para analizar la integridad de archivos y el kernel en el cluster. Area 51 Area 51 Bio: Bioinformática. Bio: Bioinformática. Bio Ganglia: Monitoreo del cluster. Ganglia: Monitoreo del cluster. Ganglia HPC: Herramientas para paralelizar. HPC: Herramientas para paralelizar. HPC Sun Grid Engine (SGE): scheduler y colas. Sun Grid Engine (SGE): scheduler y colas. Sun Grid Engine (SGE) Sun Grid Engine (SGE) Xen: Virtualizacion. Xen: Virtualizacion. Xen

Consideraciones generales Herramientas automáticas Otras: Otras: OpenSCE ( OpenSCE ( Oscar (oscar.openclustergroup.org) Oscar (oscar.openclustergroup.org) Warewulf (warewulf-cluster.org) Warewulf (warewulf-cluster.org) xCAT (IBM)( xCAT (IBM)( Clustermatic( Clustermatic( Clubmask(clubmask.sourceforge.net) Clubmask(clubmask.sourceforge.net) Score( Score(

Sala IBM Hardware 100% homogéneo. Hardware 100% homogéneo. Equipos que se utilizan de escritorio. Equipos que se utilizan de escritorio. Uso de alumnos e investigadores. Uso de alumnos e investigadores. MPI – Lenguaje C. MPI – Lenguaje C. Algunos casos JAVA (RMI - Sockets). Algunos casos JAVA (RMI - Sockets). Blas. Blas. Laboratorio remoto. Laboratorio remoto. Acceso desde y hacia el exterior. Acceso desde y hacia el exterior. Configuración manual, mayor control. Configuración manual, mayor control.

Sala IBM Hardware y Sistema operativo Hardware 100% homogéneo. Hardware 100% homogéneo. Sistema operativo Fedora 8. Sistema operativo Fedora 8. Dos particiones: Dos particiones: Investigación. Investigación. Cátedras. Cátedras. Configuración: Configuración: Servidor. Servidor. Clientes: un solo equipo y luego clonar. Clientes: un solo equipo y luego clonar.

Sala IBM Lenguajes de programación C (Gcc 4.1 y librerias provistas por Fedora). C (Gcc 4.1 y librerias provistas por Fedora). JAVA (JDK 1.6 de JAVA (JDK 1.6 de

Sala IBM Herramientas MPI: MPI: Lam MPI versión 7.1.4: Lam MPI versión 7.1.4: Requiere acceso rsh entre todos los equipos. Requiere acceso rsh entre todos los equipos. Se puede hacer vía ssh (copiar clave publica). Se puede hacer vía ssh (copiar clave publica). Instalación y variables de ambiente. Instalación y variables de ambiente. JAVA(rmi) JAVA(rmi) Librerías matemáticas: Librerías matemáticas: Blas Blas

Sala IBM Herramientas MPI: MPI: RSH: RSH: Instalar rsh-server. Instalar rsh-server. En el home de cada usuario crear el archivo.rhosts con los hosts que se les permite el acceso. En el home de cada usuario crear el archivo.rhosts con los hosts que se les permite el acceso. (permiso de lectura/escritura solo para el propietario) (permiso de lectura/escritura solo para el propietario) Fedora: Fedora: Habilitar los servicios rsh, rlogin y rexec en xinetd. Habilitar los servicios rsh, rlogin y rexec en xinetd.

Sala IBM Herramientas MPI: MPI: SSH sin contraseña: SSH sin contraseña: Crear la variable de ambiente: Crear la variable de ambiente: export LAM_RSH=“SSH” Luego: Suponer que el usuario UA de la maquina MA quiere acceder por SSH sin contraseña a la maquina MB como usuario UB.

Sala IBM Herramientas MPI: MPI: SSH sin contraseña: SSH sin contraseña: En la maquina MA ingresar como usuario UA y ejecutar: En la maquina MA ingresar como usuario UA y ejecutar: ssh-keygen –t rsa Pide una contraseña hay que dejarla en blanco, luego deja dos archivos en /.ssh: id_rsa (clave privada) id_rsa (clave privada) id_rsa.pub (clave publica) id_rsa.pub (clave publica)

Sala IBM Herramientas MPI: MPI: SSH sin contraseña: SSH sin contraseña: Copiar el archivo id_rsa.pub a la maquina MB. Copiar el archivo id_rsa.pub a la maquina MB. En la maquina MB, agregar el contenido del archivo id_rsa.pub al archivo: En la maquina MB, agregar el contenido del archivo id_rsa.pub al archivo: /.ssh /.ssh/authorized_keys (solo permiso de lectura para el propietario ) Probar desde MA como usuario UA hacia MB con el usuario UB y no debería pedir contraseña: ssh

Sala IBM Herramientas MPI: MPI: Instalación y variables de ambiente: Instalación y variables de ambiente: Por defecto (no prefix). Por defecto (no prefix). Personalizada (fácil de cambiar versiones): Personalizada (fácil de cambiar versiones): Configurar PATH para ubicar los binarios: Configurar PATH para ubicar los binarios: General. General. Local a cada usuario. Local a cada usuario.

Sala IBM Herramientas JAVA: JAVA: Fedora GCJ (gnu java). Fedora GCJ (gnu java). Instalación de Sun JDK 1.6. Instalación de Sun JDK 1.6. Configurar la variable JAVA_HOME para que tome JAVA de Sun. Configurar la variable JAVA_HOME para que tome JAVA de Sun.

Sala IBM Herramientas Blas: Blas: Instalación de rpm reubicándolos para centralizarlo y no instalarlo en cada equipo: blas fc8.i386.rpm blas-devel fc8.i386.rpm

Sala IBM Usuarios Autenticación centralizada. Autenticación centralizada. Anteriormente NIS. Anteriormente NIS. Actualmente LDAP (Lightweight Directory Access Protocol ). Actualmente LDAP (Lightweight Directory Access Protocol ). OpenLDAP. OpenLDAP.

Sala IBM Usuarios LDAP (Lightweight Directory Access Protocol ) LDAP (Lightweight Directory Access Protocol ) Protocolo que permite el acceso a un servicio de directorio (aplicaciones que almacenan y organizan información, optimizado para lecturas). Protocolo que permite el acceso a un servicio de directorio (aplicaciones que almacenan y organizan información, optimizado para lecturas). Almacena información de usuarios y grupos permitiendo autenticación. Almacena información de usuarios y grupos permitiendo autenticación. Es posible almacenar otra información: Es posible almacenar otra información: Datos de contacto del usuario. Datos de contacto del usuario. Ubicación de diversos recursos de la red. Ubicación de diversos recursos de la red. Permisos. Permisos. Certificados. Certificados. Roles. Roles. Etc… Etc…

Sala IBM Usuarios LDAP – Modelo de información LDAP – Modelo de información El directorio consiste en una o mas entradas que pueden tener atributos, por ejemplo: El directorio consiste en una o mas entradas que pueden tener atributos, por ejemplo: Dn: uid=Juan, ou=People, cd=info, cd=UNLP Mail: Tel: Tel: Cada entrada tiene un nombre distinguido único DN. Cada entrada tiene un nombre distinguido único DN. Pueden almacenarse varias entradas para ser guardadas en el directorio en un archivo.ldif. Pueden almacenarse varias entradas para ser guardadas en el directorio en un archivo.ldif.

Sala IBM Usuarios LDAP – Modelo de nombres LDAP – Modelo de nombres Se organiza en forma de árbol. Se organiza en forma de árbol. Cada nodo puede tener información a diferencia de otras estructuras que tienen solo en hojas. Cada nodo puede tener información a diferencia de otras estructuras que tienen solo en hojas.

Sala IBM Usuarios LDAP – Modelo de nombres LDAP – Modelo de nombres Algunas entradas comunes: Algunas entradas comunes: Raíz PeopleGroupHosts

Sala IBM Usuarios LDAP (OpenLDAP) LDAP (OpenLDAP) Configuración: Configuración: Servidor. Servidor. Clientes. Clientes. Otras alternativas a OpenLDAP: Sun Java system Directory Server. Sun Java system Directory Server. Fedora Directory Server. Fedora Directory Server.

Sala IBM Usuarios LDAP (OpenLDAP) - Servidor: LDAP (OpenLDAP) - Servidor: Instalación via yum fedora. Instalación via yum fedora. Configurar el archivo slapd.conf. Configurar el archivo slapd.conf. Agregar el sufijo: Agregar el sufijo: suffix “dc=server,dc=unlp,dc=edu,dc=ar” Agregar el manager: Agregar el manager: rootdn “cn=Manager, ” rootdn “cn=Manager, ” o bien rootdn “uid=root, ” Establecer la contraseña: Establecer la contraseña: rootpw password

Sala IBM Usuarios LDAP (OpenLDAP) – Servidor. LDAP (OpenLDAP) – Servidor. Configurar el archivo lap.conf. Configurar el archivo lap.conf. Agregar entradas: Agregar entradas: HOST HOST BASE BASE Agregar al directorio la raiz mediante un archivo ldif. Agregar al directorio la raiz mediante un archivo ldif. dn: dc=server, dn: dc=server, objectclass: dcobject objectClass: organization o: server dc: server root# ldapadd -x -D 'uid=root,dc=server, ' -W –f raiz.ldif

Sala IBM Usuarios LDAP (OpenLDAP) – Clientes. LDAP (OpenLDAP) – Clientes. PAM (Pluggable Authentication Module) mecanismo que proporciona una interfaz entre las aplicaciones de usuario y diferentes métodos de autenticación. PAM (Pluggable Authentication Module) mecanismo que proporciona una interfaz entre las aplicaciones de usuario y diferentes métodos de autenticación. Archivo nsswitch.conf, indica que mecanismo utilizar y en que orden. Ejemplo: Archivo nsswitch.conf, indica que mecanismo utilizar y en que orden. Ejemplo: Passwd files ldap Group files ldap Hosts dns files ldap En fedora automaticamente desde la grafica.

Sala IBM Usuarios LDAP (OpenLDAP) – Clientes. LDAP (OpenLDAP) – Clientes. En fedora automáticamente desde la grafica indicando servidor y base. En fedora automáticamente desde la grafica indicando servidor y base. Manual: Manual: Configurar el archivo lap.conf. Configurar el archivo lap.conf. Agregar entradas: Agregar entradas: HOST HOST BASE (base de busqueda) Configurar PAM, archivos individuales, algo complejo. Configurar PAM, archivos individuales, algo complejo.

Sala IBM Usuarios LDAP LDAPVentajas: No replicar en altas masivas de usuarios. Autenticación de aplicaciones, servidores etc. No solo autenticación (DNS, Roles etc). Desventajas: Desventajas: Debe existir un servidor de replica sino al caer el servidor cae el sistema. Interfaces de administración (phpldapadmin).

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System) Es un protocolo utilizado para sistemas de archivos distribuidos en un entorno de red de computadoras de área local. Transparencia: distintos equipos conectados a una misma red accedan a archivos remotos como si fueran locales.

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System) Varios directorios compartidos en el servidor para: No instalar aplicaciones en todos los equipos. No instalar aplicaciones en todos los equipos. No hacer configuraciones en todos los equipos. No hacer configuraciones en todos los equipos. Compartir archivos. Compartir archivos. Evita la transferencia de archivos (caso MPI). Evita la transferencia de archivos (caso MPI). Transparencia. Ej: Home directory de usuarios. Transparencia. Ej: Home directory de usuarios.

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System)Aplicaciones: MPI. MPI. JAVA. JAVA. ECLIPSE. ECLIPSE. BLAS. BLAS. Otras que permitan acceso de este tipo. Otras que permitan acceso de este tipo.

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System) Home directory: Transparencia. Transparencia. Disponibilidad de archivos. Disponibilidad de archivos. Configuraciones de variables de ambiente locales, ssh, aplicaciones. Configuraciones de variables de ambiente locales, ssh, aplicaciones. Desventaja de no poder loguearse en la grafica con el mismo usuario en dos equipos simultáneamente.

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System) Directorio compartido general: Para compartir archivos entre los usuarios del sistema o aplicaciones.

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System) Configuración en el servidor: Configuración en el servidor: Archivo /etc/exports, las entradas tienen la forma: /dir/subdir / (rw) Configuración en el cliente: Configuración en el cliente: Archivo /etc/fstab, las entradas son: :/home /mnt/nfs nfs rw,hard,intr 0 0

Sala IBM Directorios compartidos NFS(Network File System) NFS(Network File System) Ventajas: Ventajas: Facilita la administración. Facilita la administración. Transparencia. Transparencia. Desventajas: Desventajas: Caída del servidor Caída del servidor Overhead en la red en algunos casos. Overhead en la red en algunos casos.

Sala IBM Laboratorio remoto Abstraer al usuario del cluster. Abstraer al usuario del cluster. Aplicación que permite la ejecución vía web sobre el cluster. Aplicación que permite la ejecución vía web sobre el cluster. Dar mayor disponibilidad del cluster solucionando problemas de acceso: Dar mayor disponibilidad del cluster solucionando problemas de acceso: Alumnos e investigadores. Alumnos e investigadores. SSH limitado por seguridad. SSH limitado por seguridad. Lograr mejor interacción( aprovechar RIA - AJAX). Lograr mejor interacción( aprovechar RIA - AJAX).

Sala IBM Laboratorio remoto 46 Request JSP Response Cluster Web Browser Servidor Web Contenedor de aplicaciones Aplicación JAVAStruts Framework Ambiente MPI Sistema Operativo BD Hardware

Sala IBM Laboratorio remoto Ambiente de trabajo (Sistema de archivos). Ambiente de trabajo (Sistema de archivos). Editar, compilar y ejecutar archivos. Editar, compilar y ejecutar archivos. Varios modos de ejecución: Varios modos de ejecución: Sincrónico. Sincrónico. Asincrónico. Asincrónico. Interactivo. Interactivo. Otras acciones: Otras acciones: ABM de equipos y clusters. ABM de equipos y clusters. ABM usuarios. ABM usuarios. Permisos de acceso. Permisos de acceso. Por el momento solo en test.

Sala IBM Laboratorio remoto

Ventajas: Ventajas: Acceso al cluster como recurso compartido (ejecución controlada, detener corridas). Acceso al cluster como recurso compartido (ejecución controlada, detener corridas). Mayor interacción (aprovechando RIA - AJAX) Mayor interacción (aprovechando RIA - AJAX) Desventaja: Desventaja: El uso del cluster como escritorio. El uso del cluster como escritorio. Problemas ante caída de un equipo. Problemas ante caída de un equipo.

Sala IBM Servicios de red Por el momento sin DNS posibilidad de configurarlo mas adelante, resolución de nombres por LDAP. Por el momento sin DNS posibilidad de configurarlo mas adelante, resolución de nombres por LDAP. Firewall (iptables) salida a Internet, acceso remoto. Firewall (iptables) salida a Internet, acceso remoto. Direcciones de red estáticas. Direcciones de red estáticas. NTP. NTP.

Sala IBM Escalabilidad Agregado de otros equipos: Agregado de otros equipos: Misma arquitectura. Misma arquitectura. Mismo sistema operativo (versiones). Mismo sistema operativo (versiones). Algunos problemas compilando en versiones anteriores. Algunos problemas compilando en versiones anteriores. Sumar otro cluster Sumar otro cluster

Sala IBM Escalabilidad Agregado de otros equipos: Agregado de otros equipos: Misma arquitectura. Misma arquitectura. Mismo sistema operativo (versiones). Mismo sistema operativo (versiones). Algunos problemas compilando en versiones anteriores. Algunos problemas compilando en versiones anteriores. Sumar otro cluster Sumar otro cluster

Sala IBM