CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament dArquitectura de Computadors (Seminaris de CASO) Autors Optimización E/S para Bases de Datos Enrique.

Presentación del tema: "CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament dArquitectura de Computadors (Seminaris de CASO) Autors Optimización E/S para Bases de Datos Enrique."— Transcripción de la presentación:

1 CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament dArquitectura de Computadors (Seminaris de CASO) Autors Optimización E/S para Bases de Datos Enrique Repullés

2 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 2 Sistemas de gestión de Bases de Datos (SGBD) o Software que controla i administra los datos de una organización o Proporciona un nivel de abstracción mas alto que el sistema de ficheros (jerarquias, grafos, conjuntos), proporcionando ventajas tanto a usuarios finales como a programadores de aplicaciones. o Toda aplicación que quiera trabajar con datos de la organización debe solicitarlo al SGBD

3 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 3 Objetivos de un SGBD o Garantizar la integridad de los datos: ninguna aplicación o usuario puede introducir datos contradictorios o inconsistentes, incluso en entornos concurrentes o caída del sistema o Optimización: Utilizar el cocimiento que tiene el SGBD acerca del significado y uso de los datos para asegurar un rendimiento óptimo o Ofrecer la posibilidad de responder a consultas ad-hoc: Las preguntas no planificadas previamente(improvisadas) proporcionan un alto valor añadido tanto para usuarios finales como a programadores

4 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 4 Recursos necesarios por parte del SO o Sistema de ficheros –Almacenamiento de datos –Ficheros índice (usados por el optimizador) –Ficheros propios del SGBD: diarios (para recuperación en caso de caida), informacion sobre los propios datos almacenados (catálogo) – imprescindible alto rendimiento o CPU: consumo considerable –Compilación de consultas ad-hoc –Proceso optimización (algoritmos complejos) o Red: Atención a un gran número de clientes (volumen de peticiones similar al de un servidor Web)

5 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 5 Indices o Para mejorar el acceso a disco al responder a consultas por valor, los SGBD hacen uso extensivo de indices. o Indice:hacen un mapping entre valores y direcciones fisicas de disco (para posterior acceso directo) o Varios tipos disponibles según volumen y tipo de datos (Arbol B+, hash…) o Es el optimizador quien decide que indices son mas adecuados y cuales se usaran en las consultas, aunque pueden indicarse tambien manualmente.

6 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 6 Sistema de Buffers o El SO proporciona un sistema de cache para reducir el volumen de E/S. La política de substitucion mas frecuente es LRU (least recently used) o El mecanismo de Buffers es un aspecto de vital importancia para el rendimiento del SGBD

7 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 7 Sistema de Buffers: Problemas o El tipo de accesos que se hacen a una base de datos y la propia gestión del optimizador hace que LRU sea la peor politica posible –Los bloques de disco referenciados es muy dificil que se vuelvan a referenciar en breve. o Para solventar esto, el SGBD debe mantener su propio sistema de buffers. o Si no se soluciona, el mecanismo proporcionado por el SO representa un desperdicio de recursos, ya que aunque no se utilizan los buffes siguen estando.

8 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 8 Sistema de Buffers: Soluciones o SO aconsejable –el optimizador, basandose en las estadisticas que almacena, puede indicar que politicas de substitución son mas beneficiosas, así como ajustar el tamaño del los buffers. o Exokernels / sistemas extensibles: –substituir la parte del SO que se encarga de los buffers por código propio del SGBD o Raw Volumes –Los datos no estan almacenados en el sistema de ficheros, sino que el acceso a disco es gestionado totalmente por el SGBD

9 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 9 Sistema de Buffers: recuperación o Para poder recuperar la BD en un estado consistente despues de una caída, el SGBD escribe en un fichero especial(log o diario) el momento en que se ha escrito una información a disco, para dar la transacción por cerrada. o El mecanismo de buffers del SO hace que no sea posible para el SGBD averiguar cuando se ha escrito fisicamente en disco. o Soluciones: –forzar la escritura en momentos conocidos (sync daemon), fsync –el SO avisa al SGBD mediante un signal

10 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 10 Extensión de ficheros o Cuando un fichero crece, el SO le asigna nuevos bloques o Un SGBD hace gran cantidad de acceso secuencial –Interesa que los bloques estén fisicamente cercanos para reducir el movimiento del brazo del disco. –No se consigue si el SO no puede asignar los bloques de manera contigua. o Extents : conjuntos de bloques fisicamente contiguos. o Cuando un fichero del SGBD necesita mas espacio, no se le asigna un solo bloque, sino un Extent, para que en las siguientes peticiones reciba bloques consecutivos.

11 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 11 Paralelismo en acceso a disco o Para atender una petición, el SGBD necesita acceder a los siguientes ficheros –Log: marcar el inicio de la transaccion, y el final cuando acabe. –Catalogo: características de los datos accedidas y validacion de la consulta. Búsqueda de estadísticas para el optimizador –Acceso a indices: buscan la posicion de los datos en los ficheros para hacer acceso directo. –Ficheros de datos: acceso para lectura o escritura o Estos accesos se realizan para todas las peticiones que el SGBD esta atendiendo simultaneamente. –Cada tipo de estos ficheros tiene un patron de acceso muy diferente o Interesa acceder en paralelo a estos ficheros.

12 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 12 Paralelismo en acceso a disco 2 o Mejor solución: tener estos 4 grupos de ficheros en discos diferentes. –Cada módulo del SGBD (compilador, optimizador, gestor transacciones) accede a un disco dedicado, de manera que puede atender a mas peticiones y pasarlas al siguiente módulo. –Configuración especifica de cada disco según el tipo de acceso que se hace. o Sistemas E/S paralelos (Passion, Vesta, VIPIOS) permiten dejar esto en manos del Sistema Operativo.

13 Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament. dArquitectura de Computadors - UPC 13 Bibliografía o Date, Introducción a los sistemas de Bases de Datos 7ªed. o Stonebraker, Operating System Support for Database Management, en Communications of the ACM, 24(7) o Jim Gray, Parallel Database Systems 101 o Bitton et al, Parallel Algorithms for the execution of Relational Database Operations