1 Tema 15: Administración de Archivos Sistemas Operativos (Tema 17 en apuntes prof. Rovayo)

22 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

33 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

44 1. Introducción Tema 15: Administración de Archivos  Implementa estructura de archivos y directorios a partir de los sectores de disco  Gran importancia: parte más visible para los usuarios  Recibe peticiones de procesos de usuario  Envía peticiones a gestores de dispositivos  Servicios:  Sobre archivos completos: crear, destruir, copiar, cambiar nombre, etc.  Sobre contenido de archivos: leer, escribir, añadir, modificar, truncar, etc.  Sobre sistema de archivos: crear o borrar directorios, montar dispositivos, crear sistema de archivos, etc.  Otros: mecanismos de protección, encriptado, compartición de archivos, control de concurrencia, etc.

55 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

66 2. Organiz. de archivos y modos de acceso Tema 15: Administración de Archivos  ¡No confundir! Organización nativa de SO con organización de archivos de distintas herramientas  Organizaciones:  Secuencias de registros  Registros encadenados  Archivos con campo clave  Secuencias de caracteres

7 T5T Organiz. de archivos y modos de acceso Tema 15: Administración de Archivos Secuencias de registros  Prácticamente en desuso: organización impuesta por dispositivo  Organización como sucesión de registros de tamaño  Fijo: si dispositivo es direccionable, permite acceso directo  Variable: sólo es posible acceso secuencial Implica la necesidad de delimitadores o cabeceras de registros  No se puede insertar ni borrar registros  Para borrar: marcar registro como borrado y reorganizar archivo periódicamente Reg1Reg2Reg3Reg4Reg5Reg6 Reg1Reg2Reg3Reg4Reg5Reg4Reg5T3T1Reg1T2Reg2Reg3T4Reg4T3T1Reg1T2Reg2Reg3T1T2T3T4 … … …

8 2. Organiz. de archivos y modos de acceso Tema 15: Administración de Archivos Registros encadenados  Idea: en un archivo organizado como secuencia de registros, podemos añadir a cada registro un enlace al siguiente registro según orden lógico  Es necesario que dispositivo sea direccionable  Para borrar registro: quitarlo de secuencia Reg1Reg2Reg3Reg4Reg5Reg6sig …

9 cl1cl2cl3cl4cl5 2. Organiz. de archivos y modos de acceso Tema 15: Administración de Archivos Archivos con campo clave  Idea: cada registro tiene una clave que lo identifica.  Operaciones soportadas:  Acceso secuencial por orden de clave  Acceso selectivo, por valor de clave  Método ISAM = Indexed Sequential Access Method  Organización física: archivo consta de tres áreas cl4cl1cl2cl3 … cl5 Reg1Reg2Reg3Reg4Reg5 Reg1Reg2Reg3Reg4Reg5 … Área de datosÁrea de claves Área de reserva

10 2. Organiz. de archivos y modos de acceso Tema 15: Administración de Archivos Archivos con campo clave  Área de datos: no es necesario que esté ordenada  Si lo está, mejora rendimiento al procesar secuencialmente.  Área de claves: ordenada  Por estar ordenada, se acelera la búsqueda (dicotomía, etc.)  Se puede organizar de forma multinivel: arbol binario, arbol B, etc…  Se carga total o parcialmente en memoria (tabla de claves)  Si tabla de claves demasiado grande:  Almacenar en memoria una clave de cada n  Almacenar claves de manera diferencial Ej: García Martínez, tras García Márquez se codificaría {8, artínez}  etc.

11 2. Organiz. de archivos y modos de acceso Tema 15: Administración de Archivos Secuencia de caracteres  Idea: archivo consiste en secuencia de bytes que se pueden leer byte a byte o bloque a bloque (de tamaño arbitrario)  Si dispositivo direccionable, se permite acceso directo  Sobre esta organización, se puede implementar cualquiera de las anteriores  Acceso mapeado en memoria: algunos SSOO, al abrir el archivo, le asocian un segmento  Se accede al archivo mediante instrucciones de acceso a memoria  Ejemplo: MULTICS

12 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

13 3. Organización del directorio Tema 15: Administración de Archivos  Directorio = estructura de datos del sistema de archivos que contiene información sobre archivos contenidos en el mismo  La estructura de directorios normalmente es jerárquica  Un directorio puede contener a otro  Todo soporte contiene al menos un directorio raíz  Información habitual sobre cada archivo:  Nombre  Fechas de creación, última modificación, último acceso…  Permisos de acceso  UID y GID de propietario  Tamaño  Información que permita localizar físicamente el archivo

14 3. Organización del directorio Tema 15: Administración de Archivos CP/M  Sistema de archivos no jerárquico: sólo directorio raíz  Cada entrada tiene espacio para 16 nº de bloques  Si hace falta más: cada archivo puede ocupar hasta 3 entradas ContenidoPosiciónTamaño 1Código del propietario02 2Nombre del archivo28 3Extensión103 4Orden de multiplicidad de la entrada131 5No usado142 6Número de bloques en esta entrada161 7Espacio para 16 nº de bloques17…16 c/u

15 3. Organización del directorio Tema 15: Administración de Archivos MS-DOS (sistemas basados en FAT)  Directorio raíz en posición fija y con tamaño fijo  Subdirectorios pueden crecer (nunca decrecen)  Ficheros borrados: marca en primer carácter nombre  Nombres largos: varias entradas consecutivas ContenidoPosiciónTamaño 1Nombre del archivo18 2Ampliación o extensión93 3Atributos121 4Reservado1310 5Hora de última modificación232 6Fecha de última modificación252 7Número del primer bloque272 8Tamaño del archivo294

16 3. Organización del directorio Tema 15: Administración de Archivos DR/DOS  Clon de MS-DOS de Digital Research  Aprovecha campos reservados en MS-DOS para guardar información adicional  Implementa protección ContenidoPosiciónTamaño 4a Primer carácter de nombre de archivo borrado 131 4bContraseña de acceso a archivo142 4cNo se usa162 4dUID del propietario181 4eGID del propietario191 4fControl de acceso202

17 3. Organización del directorio Tema 15: Administración de Archivos UNIX  En directorio sólo nombre y nº de nodo-i. En nodo-i: Contenido (NODO-I)PosiciónTamaño 1Modo y derechos de acceso12 2Nº de enlaces sobre el archivo32 3UID del propietario52 4GID del propietario72 5Tamaño en bytes del archivo94 6Fecha de creación134 7Fecha de último acceso174 8Fecha de última modificación214 9Números de los 10 primer bloques2510x4 10Número del bloque indirecto simple654 11Número del bloque indirecto doble694 12Número del bloque indirecto triple734

18 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

19 4. Gestión del espacio del disco Tema 15: Administración de Archivos 1.Asignación de espacio 2.Criterios de asignación 3.Gestión del espacio libre 4.Gestión del espacio ocupado

20 4. Gestión del espacio del disco Tema 15: Administración de Archivos 1.Asignación de espacio 2.Criterios de asignación 3.Gestión del espacio libre 4.Gestión del espacio ocupado

Asignación de espacio Tema 15: Administración de Archivos  Asignación byte a byte: sería muy compleja  Idea: asignar espacio de disco en bloques de sectores físicamente consecutivos (clusters)  ¿bloques grandes o bloques pequeños? A mayor tamaño del bloque…  Ventajas:  Hay que manejar menos bloques (gestión más eficiente)  Transferencias más eficientes Necesarios menos accesos para procesar un archivo Cada acceso es más eficiente  Inconvenientes:  Mayor desperdicio interno  Mayor tamaño de los buffers

Asignación de espacio Tema 15: Administración de Archivos  Selección del tamaño: dependiendo de  Tamaño del dispositivo  Tamaño de los archivos  Desperdicio interno tiene menor impacto si:  Dispositivo grande  Archivos grandes  Algunos ejemplos:  Disco de 200Gb con NTFS: 4Kb  Diskette de 1.4Mb con FAT: 1Kb  Pendrive de 2Gb con FAT: 4Kb

23 4. Gestión del espacio del disco Tema 15: Administración de Archivos 1.Asignación de espacio 2.Criterios de asignación 3.Gestión del espacio libre 4.Gestión del espacio ocupado

Criterios de asignación Tema 15: Administración de Archivos  Asignación contigua: los archivos ocupan bloques consecutivos de disco  Asignación dispersa: los archivos ocupan bloques de discos arbitrariamente distribuidos a lo largo del disco Asignación contigua  Ventajas:  Gestión más simple: por cada archivo, basta conocer – Nº de primer bloque – Nº de bloques Muy fácil implementar acceso directo  No hay fragmentación de los archivos Acceso muy eficiente

Criterios de asignación Tema 15: Administración de Archivos Asignación contigua  Inconvenientes:  Rigidez: ficheros no pueden crecer Algunos SO permiten ampliaciones no contiguas  Fragmentación del espacio libre  Desperdicio interno de archivo, si no se usa todo el espacio asignado Asignación dispersa  Ventajas:  Flexibilidad: archivos pueden crecer decrecer  Asignación es fácil: todos los bloques son iguales Siempre es preferible asignar bloques consecutivos si se puede

Criterios de asignación Tema 15: Administración de Archivos Asignación dispersa  Inconvenientes:  Gestión más complicada Para cada archivo, hay una lista de bloques asignados  Acceso directo más complicado ¿En qué bloque de disco está la posición i-ésima del archivo?  Fragmentación de los archivos: Accesos más ineficientes  Posibilidad de sistemas combinados:  Asignación contigua para código  Dispersa para datos  Sistemas actuales de propósito general: asignación dispersa

27 4. Gestión del espacio del disco Tema 15: Administración de Archivos 1.Asignación de espacio 2.Criterios de asignación 3.Gestión del espacio libre 4.Gestión del espacio ocupado

Gestión del espacio libre Tema 15: Administración de Archivos  Métodos:  Mapas de bits y listas de control  Gestión integrada con espacio ocupado  Listas de control:  Ordenada: un nodo por cada bloque, ordenada por nº de bloque  Desordenada: ídem, pero sin orden El nodo puede estar en el mismo bloque  Compacta: un nodo por cada hueco  Dificultad listas: coste de recorrerlas  Mapas de bits:  Eficiencia del bit mucho mayor que en gestión de memoria  Puede ocupar varios bloques

29 4. Gestión del espacio del disco Tema 15: Administración de Archivos 1.Asignación de espacio 2.Criterios de asignación 3.Gestión del espacio libre 4.Gestión del espacio ocupado

Gestión del espacio ocupado Tema 15: Administración de Archivos  Problemas a resolver:  ¿Qué bloques componen un archivo?  ¿En qué bloque está la posición i-ésima del archivo?  Algunos métodos:  Encadenamiento de bloques  Referencias a bloque en directorio  Tabla de asignación de archivos (FAT)  Sistemas multinivel (UNIX)

Gestión del espacio ocupado Tema 15: Administración de Archivos Encadenamiento de bloques  Idea: de cada bloque, reservar un número suficiente de bits para almacenar el nº del siguiente bloque sig  Nombre … 1 er bloque ……… fich.dat…Num. bloq. ………  Inconveniente: sólo es posible acceso secuencial

Gestión del espacio ocupado Tema 15: Administración de Archivos Referencias a bloque en directorio  Idea: cada entrada del directorio tiene espacio para albergar una tabla de n números de bloques Nombrebloques …… fich.dat… ……  Inconveniente: inviable para archivos grandes b1b1 b2b2 b3b3 b4b4 b5b5 b6b6

Gestión del espacio ocupado Tema 15: Administración de Archivos Tabla de asignación de archivos (FAT)  Idea:  Tabla con una entrada por cada bloque de disco  Posibles valores para cada entrada: Bloque libre: FREE ( H) Bloque defectuoso: BAD (FFFFFFFF1 – FFFFFFF7) Último bloque de un archivo: EOF (FFFFFFFFH – FFFFFFF8) Cualquier otro número: bloque asignado, y el número es el número del siguiente bloque Entradas 0 y 1: reservadas  Organización de un disco FAT:  Primer sector: Master Boot Record  Segundo sector: Volume ID  Dos copias de la FAT  Espacio clusterizado: comienza con directorio raíz

Gestión del espacio ocupado Tema 15: Administración de Archivos Tabla de asignación de archivos (FAT)  Ejemplo:  F1: Bloques 3, 10 y 12  F2: Bloques 8, 9, 2 y 5  F3: Bloque 6  Bloque 15 defectuoso … FREE EOF FREE FREE EOF FREE BAD …  Referencia a primer bloque: en directorio Nombre … 1 er bloque F1… F2… F3… ……… 3 8 6

Gestión del espacio ocupado Tema 15: Administración de Archivos Sistemas Multinivel (UNIX) … B0 B1 … B9 Indirecto Simple Indirecto Doble Indirecto Triple … … 10 Bloques … N Bloques N 2 Bloques … …… … … … … N 3 Bloques …

36 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

37 5. Archivos compartidos Tema 15: Administración de Archivos  En UNIX, archivo viene determinado por nodo-i, no por nombre  Un mismo archivo puede aparecer múltiples veces en la estructura de archivos  Llamada link: crea un enlace sobre un archivo  Llamada unlink: desenlaza un archivo NombreNodo-i …… …… /dir1 numenlaces=1 nodo-i link (“/dir1/fich.dat”, “/dir2/otrofich.dat”) … NombreNodo-i …… …… /dir2 numenlaces=2 fich.dat unlink (“/dir1/fich.dat”) unlink (“/dir2/otrofich.dat”) otrofich.dat numenlaces=0

38 5. Archivos compartidos Tema 15: Administración de Archivos  Problemas de enlaces directos:  Archivo enlazado debe residir en mismo dispositivo que directorio  Problemas si hay cuotas de disco NombreNodo-i …… …… /dir1 numenlaces=1 nodo-i … NombreNodo-i …… …… /dir2 fich.dat otrofich.dat  Alternativa: enlace simbólico numenlaces=1 (*) nodo-i /dir1/fich.dat

39 5. Archivos compartidos Tema 15: Administración de Archivos  Ventajas de enlaces simbólicos:  Se puede enlazar cualquier archivo del sistema de archivos  No plantea problemas con las cuotas de disco  Inconvenientes de enlaces simbólicos:  Consume más recursos que enlace directo. Cada enlace simbólico requiere: Un nodo-i Un bloque de disco  Si archivo enlazado se borra: incoherencia  Enlaces directos y simbólicos se complementan

40 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

41 6. Fiabilidad e integridad Tema 15: Administración de Archivos 1.Bloques defectuosos 2.Copias de seguridad 3.Coherencia del sistema de archivos

42 6. Fiabilidad e integridad Tema 15: Administración de Archivos 1.Bloques defectuosos 2.Copias de seguridad 3.Coherencia del sistema de archivos Visto en Tema 14

43 6. Fiabilidad e integridad Tema 15: Administración de Archivos 1.Bloques defectuosos 2.Copias de seguridad 3.Coherencia del sistema de archivos

Copias de seguridad Tema 15: Administración de Archivos Discos Duales  Físicamente: dos discos iguales divididos en dos particiones  Por encima del administrador sólo se ve un disco  Al escribir, se escribe en los dos  Al leer sólo se lee de uno  La división es para intentar paralelizar lecturas  Si uno se daña: siempre queda el otro (¡esperemos!) Copia En uso Copia Disco 1Disco 2

Copias de seguridad Tema 15: Administración de Archivos Copias de seguridad automática  Idea: al abrir un archivo para modificarlo, se le puede crear una copia de seguridad automáticamente a la versión que se va a cambiar  Ejemplo: VMS  genera números de versiones: f1.c;1, f1.c;2, etc.  Las copias pueden realizarse sobre un disco especializado

46 6. Fiabilidad e integridad Tema 15: Administración de Archivos 1.Bloques defectuosos 2.Copias de seguridad 3.Coherencia del sistema de archivos

Coherencia del sistema de archivos Tema 15: Administración de Archivos  La estructuras de datos del sistema de archivos pueden quedar en un estado incoherente  Causas habituales:  Fallo de alimentación  Errores de programación en sistema operativo  Virus u otro tipo de software malintencionado  Errores habituales:  Contador de enlaces incorrecto (sistemas UNIX)  Autorizaciones sin sentido  Estados incoherentes de bloques

Coherencia del sistema de archivos Tema 15: Administración de Archivos Contador de enlaces incorrecto (sistemas UNIX)  Descripción: el contador de enlaces de un archivo en nodo-i no se corresponden con el nº real de veces que dicho archivo aparece en sistema de archivos  Cómo se detecta: explorando sistema de archivos y contando cuántas veces se hace referencia a cada nodo-i  Solución: sustituir valor erróneo en nodo-i por valor calculado durante exploración  Posibles causas:  Fallo de alimentación o cuelgue del sistema operativo justo antes de actualizar contador de enlaces

Coherencia del sistema de archivos Tema 15: Administración de Archivos Autorizaciones sin sentido  Descripción: se detectan archivos con permisos de acceso absurdos como…  No pueden ser accesibles por nadie  Son accesibles por todo el mundo excepto por su creador  etc…  Cómo se detecta: explorando sistema de archivos y comprobando permisos de acceso  Solución: cambiar permisos, informando posiblemente a operador  Posibles causas:  Errores de programación de procesos  Corrupción de estructura de datos que implementa permisos

Coherencia del sistema de archivos Tema 15: Administración de Archivos Estados incoherentes de bloques  Cada bloque debe debe estar o bien libre, o bien asignado a un archivo, o bien defectuoso  Descripción: hay bloques que están  En ninguno de estos estados (bloques perdidos)  En más de uno de estos estados  Asignados, pero a más de un archivo  Cómo se detecta: explorando estructuras de gestión del espacio libre y/u ocupado del sistema de archivos. Depende por tanto de sistema operativo  Posibles causas:  Fallo de alimentación o cuelgue de sistema operativo durante actualización de estructuras de gestión de espacio libre y/u ocupado

Coherencia del sistema de archivos Tema 15: Administración de Archivos Bloques perdidos  Descripción: hay bloques que no forman parte de ningún archivo, pero no están libres  En sistemas FAT: hay cadenas de bloques en la FAT que no aparecen en ningún archivo  En UNIX: hay bloques en el mapa de bits que no están libres, pero no forman parte de ningún archivo  Solución:  Convertir en archivos y que usuario analice y decida  Marcar directamente como libres

Coherencia del sistema de archivos Tema 15: Administración de Archivos Bloques en más de un estado  Descripción: hay bloques en más de un estado. La solución depende de en qué estados se encuentran.  Libre y en uso. Solución:  Marcarlo como bloque asignado  En sistemas FAT: posiblemente haya truncado archivo  Defectuoso y en uso. Solución:  Si realmente está defectuoso y se asignó erróneamente: catástrofe: truncar archivo.  Si no está defectuoso: marcar como asignado (en FAT podría truncar archivo)  Defectuoso y libre. Solución:  Comprobar si realmente está defectuoso y proceder en consecuencia

Coherencia del sistema de archivos Tema 15: Administración de Archivos Bloques asignados más de una vez  Descripción: hay bloques (o cadenas de bloques) que forman parte de más de un archivo FREE FREE EOF … …

Coherencia del sistema de archivos Tema 15: Administración de Archivos Bloques asignados más de una vez … … … B0 B1 B2 B3 B4 B5 B6 B7 B8 B9 … … … … B0 B1 B2 B3 B4 B5 B6 B7 B8 B9 … Nodo-i F1 Nodo-i F2

Coherencia del sistema de archivos Tema 15: Administración de Archivos Bloques asignados más de una vez  Cómo se detecta: explorando bloques asignados y contando número de veces que aparecen en un archivo  Solución: Mala en todos los casos:  Truncar archivos implicados  Asignar a uno u otro archivo Muy probablemente, contenido de archivos se haya corrompido  Posibles causas:  Bloque constaba como libre a la vez que estaba asignado, y se asignó nuevamente

56 Tema 15: Administración de Archivos Índice: 1.Introducción 2.Organización de los archivos y modos de acceso 3.Organización del directorio 4.Gestión del espacio en disco 5.Archivos compartidos 6.Fiabilidad e integridad 7.Reserva de bloques

57 7. Reserva de bloques Tema 15: Administración de Archivos  El acceso a los archivos también cumple principio de localidad  Idea: podemos mantener en memoria copia de los bloques que se están usando actualmente  Reservamos en memoria espacio para albergar: Copias de un número determinado de bloques de disco Identificación y estado de dichos bloques Estructuras de datos que nos permitan localizar fácilmente cada bloque /dev/hda1, 12/dev/hda0, 1/dev/hda1, 8/dev/hdb0, 33 /dev/hdc0, 64/dev/hda1, 65/dev/hdb1, 4/dev/hdc0, 69 /dev/hda0, 21/dev/hdb1, 66/dev/hda1, 44/dev/hdc1, 4 D D D DDD … Tabla Hash fhash(“/dev/hdb0”, 33)

58 7. Reserva de bloques Tema 15: Administración de Archivos  Ante la necesidad de leer un bloque:  Se comprueba si está en la reserva (buffer de disco)  Si está, nos ahorramos lectura  Si no está, se lee, y se carga en un bloque libre de la reserva  Si la reserva se llena: reemplazo (LRU, NRU…)  Hay que añadir las estructuras de datos necesarias para el criterio de reemplazo /dev/hda1, 12/dev/hda0, 1/dev/hda1, 8/dev/hdb0, 33 /dev/hdc0, 64/dev/hda1, 65/dev/hdb1, 4/dev/hdc0, 69 /dev/hda0, 21/dev/hdb1, 66/dev/hda1, 44/dev/hdc1, 4 D D D DDD … Tabla Hash más reciente más antiguo

59 7. Reserva de bloques Tema 15: Administración de Archivos Formas de usar la reserva  Reserva de escritura directa  Cuando se actualiza un bloque, se actualiza inmediatamente en disco  Ventaja: el disco está siempre actualizado Útil en caso de caída del sistema  Inconveniente: la escritura no se beneficia de la reserva  En estos casos, el software de L/E en espacio de usuario suele crear buffers en espacio de procesos para amortiguar escrituras

60 7. Reserva de bloques Tema 15: Administración de Archivos Formas de usar la reserva  Reserva de escritura diferida  Cuando se actualiza un bloque, sólo se actualiza su copia en memoria. El disco se actualiza… Al cerrar el archivo Al reemplazar el bloque en memoria Cuando proceso lo solicita (llamada al systema sync()) Al retirar el dispositivo o el medio  Ventaja: La escritura se beneficia de la reserva  Inconvenientes: No se pueden extraer discos arbitrariamente No se puede apagar ordenador arbitrariamente Desastre en caso de caída del sistema

61