La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Sistemas Operativos Distribuidos Sistemas de ficheros distribuidos.

Presentaciones similares


Presentación del tema: "Sistemas Operativos Distribuidos Sistemas de ficheros distribuidos."— Transcripción de la presentación:

1 Sistemas Operativos Distribuidos Sistemas de ficheros distribuidos

2 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 2 Contenidos del Tema Introducción Estructura de un SFD Servicio de directorio Servicio de ficheros Caching Servidor con estado o sin estado Estudio de ejemplos: –NFS –AFS – Caching en Sprite – Caching en DFS

3 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 3 Conceptos básicos Sistema de ficheros distribuido (SFD) –Sistema de ficheros para sistema distribuido –Gestiona distintos dispositivos en diferentes nodos ofreciendo a usuarios la misma visión que un SF centralizado –Permite que usuarios compartan información de forma transparente –Misma visión desde cualquier máquina (espacio de nombres único) Numerosos aspectos similares a SF centralizados Algunos aspectos específicos como por ejemplo: –Traducción de nombres afecta a varios nodos – Caching afecta a múltiples nodos –Aspectos de tolerancia a fallos

4 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 4 Estructura del SFD Generalmente arquitectura cliente-servidor. Dos componentes: –Servicio de directorio (SD) Traduce nombres de fichero a identificador interno –Servicio de ficheros (SF) Proporciona acceso a ficheros a partir de su identificador Gestiona un sistema de ficheros plano Dos alternativas: –Único módulo que ofrece ambos servicios (a lo UNIX) servidor de ficheros incluye ambas funciones –directorio es sólo un fichero especial –Módulos independientes (p. ej. Amoeba) Servidor de directorios y servidor de ficheros

5 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 5 Estructura del SFD Coulouris, Dollimore and Kindberg Distributed Systems: Concepts and Design Edn. 3 © Addison-Wesley Publishers 2000 Client computerServer computer Application program Application program Client module Flat file service Directory service

6 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 6 Servicio de directorio Esquema de nombres generalmente con dos niveles: –Nombres de usuario y Nombres internos Directorio: –Relaciona nombres de usuario con nombres internos Dos niveles de traducción posibles: –De nombre de usuario a interno Servicio de directorio –De nombre interno a localización del fichero SD puede estar integrado en servicio de nombres genérico –No sólo ficheros sino todos los objetos del sistema –Se corresponde con el siguiente tema de la asignatura

7 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 7 Nombres de usuario Generalmente el espacio de nombres es jerárquico –Nombres son pathnames Debe proporcionar transparencia de la posición –Nombre de fichero no permite saber donde está almacenado –Nombre no debe incluir identificación del nodo donde está Máquina:fichero

8 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 8 Nombres internos Identificador único de fichero (UFID) utilizado por el sistema Conveniente independencia de la posición –Nombre de fichero no cambia cuando éste migra –Nombre interno sin información de máquina que lo almacena –Requiere esquema de localización Generalmente nombres estructurados –Facilita la generación y resolución de nombres internos

9 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 9 Dominios de nombres Espacio de nombres dividido en dominios –UFID = [ UID Dominio + UID dentro del dominio ] Cada dominio gestionado por un servidor de directorios –Generación y resolución de nombres distribuida ¿Cómo generar IDs de dominio únicos? Ejemplo: UID de Dominio = [ Dir. IP nodo creador + fecha ] Dir. IP sólo para asegurar nombre único (el dominio puede migrar) Composición de dominios (montaje). Alternativas: –Montar sistema de ficheros remoto sobre la jerarquía local (NFS) Espacio de nombres diferente en cada máquina Montaje en el cliente –Único espacio de nombres en todas las máquinas (AFS) Montaje en el servidor

10 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 10 Resolución de nombres De nombre de usuario a interno (servicio de directorio) –Traducción de un pathname –Puede implicar a varios servidores de directorio Alternativas en la resolución: –Resolución iterativa Cliente contacta con sucesivos SDs –Resolución transitiva Cliente contacta con primer SD, éste con 2º, último SD responde Rompe el modelo cliente/servidor (no adecuado para RPC) –Resolución recursiva Cliente contacta con primer SD, éste con 2º, etc. Primer SD responde al cliente Alternativas aplicables a servicio de nombres genérico

11 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 11 Resolución iterativa C 3/4 1/2 5/6 SD1 SD2 SD3SD3

12 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 12 Resolución transitiva C SD1 SD2 SD3SD3 4

13 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 13 Resolución recursiva C 2 1/6 3 SD1 SD2 SD3SD3 4 5

14 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 14 Uso de cache en la resolución Mantiene últimas traducciones realizadas en el nodo Reduce la necesidad de contactar con SD Mejora eficiencia y capacidad de crecimiento del sistema La información en la cache se trata como una pista –mecanismo para detectar que traducción en cache no es válida Resolución iterativa favorece el uso de la cache

15 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 15 Localización de ficheros ¿Cómo localizar un fichero a partir de su UFID? –De ID de dominio a nodo donde está almacenado Sólo necesario si ID de dominio no contiene dir. de nodo Posibles esquemas de localización: –Tablas que mantengan la relación dominio-nodo –Uso de broadcast para localizar nodo que contiene dominio Uso de cache de localizaciones en clientes: –La información en la cache se trata como una pista mecanismo para detectar que información en cache no es válida

16 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 16 Servicio de ficheros Se encarga de la gestión de ficheros y del acceso a los datos Se analizan los siguientes aspectos: –Uso de los ficheros –Semántica de utilización concurrente –Modelo de acceso – Caching –Servidor con o sin estado

17 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 17 Uso de ficheros La forma de usar los ficheros influye en el diseño de los SFD Estadíticas de uso en entornos UNIX de propósito general: –Mayoría de los ficheros pequeños (<10K) –Mayor frecuencia de lecturas –Generalmente acceso secuencial –Bastantes ficheros tienen una vida corta – Compartición poco frecuente

18 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 18 Semánticas de uso concurrente (1/3) Sesión: serie de accesos que realiza cliente entre open y close La semántica especifica el efecto de varios procesos accediendo de forma simultánea al mismo fichero Semántica UNIX (Sprite y DFS) –Una lectura ve los efectos de todas las escrituras previas –El efecto de dos escrituras sucesivas es el de la última –Difícil de implementar en sistemas distribuidos

19 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 19 Semánticas de uso concurrente (2/3) Semántica de sesión (AFS) –Cambios a un fichero abierto son visibles únicamente en el proceso (nodo) que modificó el fichero –Una vez cerrado el fichero, los cambios son visibles sólo en sesiones posteriores –Múltiples imágenes simultáneas del fichero –Dos sesiones sobre mismo fichero que terminan concurrentemente: La última deja el resultado final –No adecuada para procesos con acceso concurrente a un fichero

20 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 20 Semánticas de uso concurrente (3/3) Semántica de ficheros inmutables (Amoeba) –El contenido de un fichero no puede modificarse –El nombre del fichero no puede reutilizarse –Sólo se puede compartir un fichero para sólo lectura Semántica de transacciones –Conjunto de operaciones sobre fichero se encapsulan en transacción –Transacciones se estudian en capítulo posterior Sin una semántica definida (NFS)

21 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 21 Modelo de acceso Modelo carga/descarga –Transferencias completas del fichero –Localmente se almacena en memoria o discos locales –Normalmente utiliza semántica de sesión –Eficiencia en las transferencias –Llamada open con mucha latencia Modelo de servicio remoto –Servidor debe proporcionar todas las operaciones sobre el fichero –Acceso por bloques –Modelo cliente/servidor

22 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 22 Caching El empleo de cache permite mejorar el rendimiento –Explota el principio de proximidad de referencias Proximidad temporal Proximidad espacial –Lecturas adelantadas Mejora el rendimiento de las operaciones de lectura, sobre todo si son secuenciales –Escrituras diferidas Mejora el rendimiento de las escrituras Otros tipos de cache –Cache de nombres –Cache de metadatos del sistema de ficheros

23 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 23 Posición de la cache en un SFD Cache en los servidores –Reducen los accesos a disco Cache en los clientes –Reduce el tráfico por la red –Reduce la carga en los servidores –Mejora la capacidad de crecimiento –Introduce problemas de coherencia –Dos posibilidades no excluyentes En discos locales (no permite nodos sin disco) –Más capacidad pero más lento –No volátil, facilita la recuperación En memoria principal –Menor capacidad pero más rápido –Memoria volátil

24 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 24 Política de actualización Escritura inmediata ( write-through ) –Buena fiabilidad –En escrituras se obtiene el mismo rendimiento que en el modelo de accesos remotos –Las escrituras son más lentas Escritura diferida ( delayed-write ) –Escrituras más rápidas. Se reduce el tráfico en la red –Los datos pueden borrarse antes de ser enviados al servidor –Menor fiabilidad –Alternativas sobre el volcado de los datos: Volcado periódico (a lo UNIX) Write-on-close

25 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 25 Coherencia de cache El uso de cache en clientes produce problema de coherencia –¿es coherente una copia en cache con el dato en el servidor? Estrategia de validación iniciada por el cliente –cliente contacta con servidor para determinar validez en cada acceso, al abrir el fichero o periódicamente Estrategia de validación iniciada por el servidor –servidor avisa a cliente al detectar que su copia es inválida generalmente se usa write-invalidate (no write-update ) –servidor almacena por cada cliente qué ficheros guarda granularidad de la información: –a nivel de fichero –a nivel de bloque

26 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 26 Servidores con estado y sin estado Alternativa de diseño Aplicable a cualquier servicio Influye en tolerancia a fallos Servidores con estado –Se mantiene información sobre los clientes –Cuando se abre un fichero, el servidor almacena información y da al cliente un identificador único a utilizar en las posteriores llamadas Servidores sin estado –No se mantiene información sobre los clientes –Cada petición es autocontenida (fichero y posición)

27 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 27 Servicio con estado vs. sin estado Ventajas de los servidores con estado –Mensajes de petición más cortos –Mejor rendimiento (se mantiene información en memoria) –Facilita la lectura adelantada. El servidor puede analizar el patrón de accesos que realiza cada cliente –Es necesario en validación iniciada por el servidor Uso de leases para paliar el problema (DFS) –Permisos con plazo de expiración Ventajas de los servidores sin estado –Más tolerantes a fallos –No son necesarios open y close. Se reduce el nº de mensajes –No se gasta memoria en el servidor para almacenar el estado

28 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 28 Network File System (NFS) de Sun Especificación de un protocolo para acceso a ficheros remotos Estándar de facto diseñado para trabajar en entornos heterogéneos Independencia gracias al uso de RPC/XDR Seguridad basada en RPC (autenticación basada en claves) Compartición: máquina monta directorio remoto en SF local –Espacio de nombres es diferente en cada máquina –Montado no transparente (nombre de máquina remota) –Una vez montado, acceso transparente a ficheros No es un verdadero sistema de ficheros distribuido Comprende dos protocolos: –Protocolo de montaje –Protocolo de acceso a ficheros (protocolo NFS)

29 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 29 Protocolo de montaje Establece una conexión lógica entre el servidor y el cliente Cada máquina incluye una lista de exportación –qué árboles exporta y quién puede montarlos Petición de montaje incluye máquina y directorio remotos –Se convierte en RPC al servidor de montaje remoto –Si permiso en lista, devuelve un identificador opaco ( handle ) En UNIX identificador del SF y nodo-i del directorio montado La operación de montaje sólo afecta al cliente no al servidor –se permiten montajes NFS anidados –no se permiten montajes NFS transitivos Aspectos proporcionados por algunas implementaciones: –montajes hard o soft, automontaje

30 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 30 Ejemplo de montado en NFS La máquina A exporta /usr y /bin En la máquina B: – mount máquinaA:/usr /usr

31 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 31 Ejemplo de montado en NFS Imagen diferente del sistema de ficheros

32 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 32 Protocolo NFS Ofrece RPCs para realizar operaciones sobre ficheros remotos –Búsqueda de un fichero en un directorio (LOOKUP) –Lectura de entradas de directorio –Manipulación de enlaces y directorios –Acceso a los atributos de un fichero –Lectura y escritura de ficheros Servidores NFS no almacenan estado –Operaciones autocontenidas OPEN/CLOSE reemplazados por LOOKUP –traducción iterativa componente a componente LOOKUP( handle de directorio, fichero) handle de fichero El protocolo no ofrece mecanismos de control de concurrencia

33 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 33 Implementación Sun de NFS Arquitectura formada por tres niveles: –Interfaz de llamadas al sistema de ficheros UNIX –Sistema de ficheros virtual (VFS) almacena una entrada por cada archivo abierto ( vnode ) cada vnode apunta a un nodo-i local o a uno remoto ( rnode ) redirige petición a la capa inferior correspondiente –Servicio NFS implementa el protocolo NFS cada rnode contiene handle del fichero remoto correspondiente

34 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 34 Arquitectura de SUN/NFS

35 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 35 Acceso a los ficheros Las transferencias se realizan en bloques de 8 KB Los bloques se almacenan en la cache de los clientes Los clientes realizan lecturas adelantadas de un bloque Las escrituras se realizan localmente. Los bloques se envían al servidor cuando se llena un bloque de 8 KB o se cierra el fichero 3 tipos de cache en el cliente: –cache de nombres para acelerar las traducciones –cache de atributos de ficheros y directorios información del nodo-i (fechas, dueño,...) –cache de bloques de ficheros y directorios

36 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 36 Coherencia de cache No asegura ninguna semántica Validación dirigida por el cliente: –Toda operación sobre un fichero devuelve sus atributos –Si los atributos indican que el fichero se ha modificado se invalidan los datos del fichero en cache de bloques –Entradas de cache de bloques y atributos tienen un tiempo de vida –Si no se acceden es ese periodo se descartan –Valores típicos: 3 segundos para ficheros 30 para directorios

37 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 37 Andrew File System (AFS) SFD desarrollado en Carnegie-Mellon (desde 1983) El DFS de DCE se basa en AFS Sistemas distribuidos a gran escala ( nodos) Distingue entre nodos cliente y servidores dedicados Los nodos cliente tienen que tener disco Ofrece a clientes dos espacios de nombres: –local y compartido (directorio /afs ) –espacio local sólo para ficheros temporales o de arranque Servidores gestionan el espacio compartido Visión única en todos los clientes del espacio compartido

38 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 38 Estructura de AFS AFS utiliza dos componentes que ejecutan como procesos de usuario comunicándose mediante el protocolo Virtue –Por debajo UNIX ligeramente modificado Venus : –ejecuta en los clientes –SO le redirecciona peticiones sobre ficheros compartidos –realiza las traducciones de nombres de fichero resolución dirigida por el cliente Vice : –ejecuta en los servidores –procesa solicitudes remotas de clientes Usan sistema de ficheros UNIX como almacenamiento de bajo nivel

39 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 39 Estructura de AFS

40 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 40 Espacio de nombres compartido Los ficheros se agrupan en volúmenes Cada fichero tiene identificador único (UFID: 96 bits) –Número de volumen –Número de vnodo (dentro del volumen) –Número único: permite reutilizar números de vnodo Los UFID son transparentes de la posición –un volumen pueden cambiar de un servidor a otro. Estrategia de localización –dominio servidor que lo gestiona –tabla replicada en cada servidor –cliente mantiene una cache de localización si falla repite proceso de localización

41 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 41 Acceso a ficheros Modelo de carga/descarga –En open servidor transfiere fichero completo al cliente –Versión actual: fragmentos de 64Kbytes Venus almacena el fichero en la cache local de los clientes –Se utiliza el disco local (la cache es no volátil) Lecturas/escrituras localmente en clientes sin intervenir Venus Cuando un proceso cierra un fichero ( close ) –Si se ha modificado se envía al servidor ( write-on-close ) –Se mantiene en cache local para futuras sesiones Modificaciones de directorios y atributos directamente al servidor

42 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 42 Caching en AFS Venus gestiona dos caches independientes: –Cache de atributos –Cache de datos Se utiliza LRU para cada una de ellas. La cache de atributos se almacena en memoria –almacena los atributos de los ficheros La cache de datos se almacena en el disco local –contiene ficheros, directorios y enlaces simbólicos La cache de bloques del SF de UNIX también opera aunque de manera transparente a AFS

43 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 43 Coherencia de cache (1/2) Semántica de sesión Sigue un esquema de validación iniciado por el servidor Usa un esquema basado en callbacks Cuando cliente abre un fichero del que no existe una copia local (o no es válida), contacta con el servidor que anota esta situación –el fichero tiene un callback Siguientes aperturas del fichero no contactan con servidor Cuando cliente cierra un fichero que ha modificado: –Lo notifica y lo vuelca al servidor –El servidor avisa a todos los nodos con una copia local para que la invaliden (revoca el callback )

44 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 44 Coherencia de cache (2/2) Cuando llega una revocación a un nodo: –procesos con fichero abierto continúan accediendo a copia anterior –nueva apertura cargará el nuevo contenido desde el servidor Los clientes de AFS asumen que los datos en su cache son válidos mientras no se notifique lo contrario El servidor almacena por cada fichero una lista de clientes que tienen copia del fichero en su cache: –la lista incluye a todos los clientes que tienen copia y no sólo a los que tienen abierto el fichero

45 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 45 Caching en Sprite Sprite: SOD experimental desarrollado en Berkeley en los 80 –Arquitectura monolítica SFD con semántica UNIX siguiendo modelo de servicio remoto Caches en la memoria de clientes y servidores (bloques de 4KB) No usa lectura anticipada Usa delayed-write con volcado periódico (no write-on-close ) Estrategia de validación iniciada por el servidor –granularidad a nivel de fichero –hay un número de versión asociado a cada fichero –servidor guarda información de qué clientes tienen abierto un fichero y de qué cliente fue último escritor ya que datos más recientes pueden estar en su cache

46 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 46 Coherencia de cache en Sprite (1/2) Si acceso concurrente conflictivo (1escritor + otro(s) cliente(s)) –se anula cache y se usa acceso remoto en nodos implicados En open cliente siempre contacta con servidor especificando: –modo de acceso –número de versión de la copia en cache del fichero (si la hay) En close no se vuelca el fichero Tratamiento del open en el servidor –Si copia del fichero en el servidor no está actualizada solicita al último cliente que vuelque datos del fichero –Si no hay conflicto de acceso: Si versión del cliente es más antigua, se le indica en mensaje de respuesta que la invalide

47 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 47 Coherencia de cache en Sprite (2/2) Tratamiento del open en el servidor (continuación) –Si la petición produce un conflicto de acceso: Se le envía a los clientes con el fichero abierto una orden de invalidación y desactivación de la cache para ese fichero –Si era un escritor se le pide un volcado previo Se le manda en la respuesta al cliente una petición de invalidar y desactivar la cache para ese fichero –Si la petición se encuentra que ya hay conflicto Se le manda en la respuesta una petición de invalidar y desactivar la cache para ese fichero

48 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 48 DFS Sistema de ficheros distribuido de DCE (Open Group) Derivado de AFS pero con bastantes diferencias: –Un nodo puede ser cliente y servidor –No exige discos locales –No usa semántica de sesión –No hay transferencia completas de ficheros (bloques de 64K) Características: –Semántica UNIX –Independiente de la posición Ficheros pueden migrar transparentemente –Permite replicación Modelo de copia primaria Actualización sólo en el primario

49 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 49 Coherencia de cache en DFS (1/2) Uso de tokens con plazo de expiración ( leases ) –Servidor con estado pero con buena recuperación Para realizar operación se requiere token correspondiente Token (de lectura o escritura) asociado a un rango de bytes Si cliente solicita operación y no está presente token requerido en su nodo, se solicita al servidor de ficheros Para una zona de un fichero, el servidor puede generar múltiples tokens de lectura pero sólo uno de escritura

50 Fernando Pérez Costoya José María Peña Sánchez Sistemas Operativos Distribuidos 50 Coherencia de cache en DFS (2/2) Si existen múltiples tokens de lectura y llega solicitud de escritura, servidor reclama los tokens –Cliente devuelve token e invalida bloques de cache afectados –Cuando todos devueltos, servidor manda token de escritura Si hay un token de escritura y llega solicitud de lectura o escritura, servidor reclama el token : –Cliente vuelca e invalida bloques de cache afectados Un token tiene un plazo de expiración (típico 2 minutos): –Pasado el plazo cliente considera que token ya no es válido –Permite tener servidor con estado pero fácil recuperación: Si tiempo de recuperación de servidor > plazo de expiración –todos los tokens están caducados –servidor puede atender inmediatamente solicitudes de tokens


Descargar ppt "Sistemas Operativos Distribuidos Sistemas de ficheros distribuidos."

Presentaciones similares


Anuncios Google