SQL Server 2008 Integration Services Carlos Lobo Valerio Alexander Jiménez Palacios

¿Qué es? Es una plataforma para la creación de soluciones empresariales de transformaciones de datos e integración de datos. Sirve para resolver complejos problemas empresariales mediante la copia o descarga de archivos, la actualización de almacenamientos de datos, la limpieza y minería de datos.

Características Permite crear soluciones de integración de datos de alto rendimiento, incluidas la extracción, la transformación y la carga (ETL) de datos para almacenes de datos. Integration Services reemplaza a Data Transformation Services (DTS). Se pueden usar para crear soluciones sin escribir una sola línea de código.

Diagrama

Paquetes Un paquete es el objeto que implementa la funcionalidad de Integration Services para extraer, transformar y cargar datos Un paquete se crea utilizando el Diseñador SSIS en BI Development Studio Un paquete básico incluye los elementos: flujo de control y flujo de datos

1. Elementos de flujo de control Proporcionan estructura y controlan el orden en el que se ejecutan los elementos Los principales elementos de flujo de control son las tareas, los contenedores y restricciones de precedencia

a) Contenedores Proporcionan estructura en paquetes y servicios a las tareas en el flujo de control Permiten repetir flujos de control en paquetes y agrupan tareas y contenedores en unidades de trabajo significativas Los contenedores pueden incluir otros contenedores, además de tareas

a) Contenedores (fines) Repetir tareas para cada elemento de una colección, como archivos de una carpeta Repetir las tareas hasta que una expresión especificada se evalúe como false Agrupar tareas y contenedores que deben completarse correctamente o no completarse como una unidad (todas o ninguna)

a) Contenedores (tipos)

b) Tareas Las tareas son elementos de flujo de control que definen las unidades de trabajo que se realizan en un flujo de control de paquetes. Un paquete consta de una o más tareas También se puede escribir tareas personalizadas mediante un lenguaje de programación .NET, como C#.

Tarea Flujo de datos La tarea Flujo de datos encapsula el motor de flujo de datos que mueve datos entre orígenes y destinos, y permite al usuario transformar, limpiar y modificar datos a medida que se mueven

Tarea Sistema de archivos La tarea Sistema de archivos realiza operaciones en archivos y directorios del sistema de archivos. Por ejemplo, un paquete puede utilizar la tarea Sistema de archivos para crear, mover o eliminar directorios y archivos

Tarea Servicio web La tarea Servicio web ejecuta un método de servicio web Escribir en una variable los valores devueltos por un método de servicio web Escribir en un archivo los valores devueltos por un método de servicio web

Tarea XML La tarea XML se usa para trabajar con datos XML. Un paquete puede recuperar documentos XML, aplicar operaciones a los documentos mediante las hojas de estilos (XSLT) y expresiones XPath, mezclar varios documentos, o bien validar, comparar y guardar los documentos actualizados en archivos y variables.

Tarea Ejecutar paquete Permite que los paquetes ejecuten otros paquetes como parte de un flujo de trabajo Descomponer un flujo de trabajo de paquetes complejo Reutilizar partes de paquetes Agrupar unidades de trabajo Controlar la seguridad de los paquetes

Tarea Enviar correo La tarea Enviar correo envía un mensaje de correo electrónico. Un paquete puede utilizar la tarea Enviar correo para enviar mensajes si las tareas del paquete de flujo de trabajo finalizan correctamente o si se producen errores

Tareas de SQL Server Tarea Inserción masiva: proporciona una forma muy eficaz de copiar grandes cantidades de datos a una tabla o vista de SQL Server. Tarea Ejecutar SQL: ejecuta instrucciones SQL o procedimientos almacenados de un paquete Tarea Transferir bases de datos: transfiere una base de datos de SQL Server entre dos instancias de SQL Server.

Tarea Ejecutar DDL de Analysis Services Ejecuta instrucciones del lenguaje de definición de datos (DDL) que pueden crear, quitar o modificar modelos de minería y objetos multidimensionales, como cubos y dimensiones

Tarea Procesamiento de Analysis Services Procesa objetos de Analysis Services como cubos, dimensiones y modelos de minería de datos Sólo se puede procesar objetos de análisis creados mediante las herramientas de SQL Server

Tarea Consulta de minería de datos Ejecuta consultas de predicción basadas en modelos de minería de datos integrados en Analysis Services. La consulta de predicción crea una predicción para datos nuevos a partir de modelos de minería de datos.

Tareas de mantenimiento Tarea Copia de seguridad de la base de datos Tarea Ejecutar instrucción T-SQL Tarea Reducir base de datos

c) Restricciones de precedencia Las restricciones de precedencia vinculan ejecutables, contenedores y tareas de paquetes en un flujo de control, y especifican condiciones que determinan si se ejecutan los ejecutables. Un ejecutable puede ser un contenedor de bucles For, de bucles Foreach o de secuencia, o bien una tarea o un controlador de eventos

c) Restricciones de precedencia

2. Elementos de flujo de datos Proporcionan el origen, transformaciones y destinos de los datos.

a) Orígenes Son los componentes de flujo de datos que hacen que datos de distintos tipos de orígenes de datos estén disponibles para un flujo de datos. Origen de ADO .NET Origen de Excel Origen de archivo plano Origen de OLE DB Origen XML

b) Transformaciones Son los componentes en el flujo de datos de un paquete que agregan, mezclan, distribuyen y modifican datos Las transformaciones también pueden realizar operaciones de búsqueda y generar conjuntos de datos de ejemplo

Transformaciones de inteligencia empresarial Búsqueda aproximada: realiza tareas de limpieza de datos como normalizar datos, corregir datos y proporcionar valores que faltan. Consulta de minería de datos: realiza consultas de predicción en modelos de minería de datos

Transformaciones de fila Copiar columna: crea columnas nuevas copiando columnas de entrada y agregando las columnas nuevas a la salida de la transformación.  Conversión de datos: convierte los datos de una columna de entrada a otro tipo de datos diferente y después los copia a una nueva columna de salida.

Transformaciones de conjunto de filas Agregado: realiza agregaciones como average, sum y count Ordenar: ordena los datos Muestreo de porcentaje: crea una muestra aleatoria a partir de un porcentaje Muestreo de fila: crea una muestra aleatoria a partir de una cantidad

Transformaciones de división y combinación División condicional: puede dirigir filas de datos a salidas diferentes en función del contenido de los datos (CASE) Unión de todo: combina varias entradas en una salida. Mezclar: combina dos conjuntos de datos ordenados en un solo conjunto de datos Búsqueda: realiza búsquedas mediante la combinación de datos de columnas de entrada con columnas de un conjunto de datos de referencia

c) Destinos Los destinos son los componentes de flujo de datos que cargan los datos en un flujo de datos en diferentes tipos de orígenes de datos o crean un conjunto de datos almacenados en memoria. Los destinos tienen una entrada y una salida de error. Los destinos deben tener una entrada.

c) Destinos ADO NET: carga datos en una serie de bases de datos compatibles con ADO.NET que usan una tabla o vista de base de datos Entrenamiento del modelo de minería de datos: entrena los modelos de minería de datos pasando los datos que recibe el destino por los algoritmos de modelos de minería de datos DataReader: expone los datos en un flujo de datos mediante la interfaz ADO.NET DataReader

c) Destinos Excel: carga datos en hojas de cálculo o intervalos en libros de Microsoft Excel Archivo plano escribe datos en un archivo de texto OLE DB: carga datos en una serie de bases de datos compatibles con OLE DB SQL Server: se conecta a una base de datos local de SQL Server y realiza una carga masiva de datos en tablas y vistas de SQL Server

Usos típicos Mezclar datos de almacenes de datos heterogéneos Información almacenada en sistemas de almacenamiento de datos antiguos. Datos almacenados en archivos planos, hojas de Excel, documentos XML. Diferentes bases de datos relacionales: SQL Server, Oracle, MySQL, DB2,etc.

Usos típicos Llenar almacenamientos de datos y puestos de datos. Suelen actualizarse frecuentemente y normalmente las cargas de datos son muy grandes. Carga masiva de datos directamente desde un archivo plano a tablas y vistas de SQL Server

Usos típicos Limpiar y normalizar datos Los datos proceden de varias sucursales de una organización y en cada una de las sucursales se usan convenciones y estándares distintos. Los datos pueden ser alquilados o comprados.  Los datos son específicos de la configuración regional. Remplazo de los valores de las columnas por valores de una tabla de referencia mediante una búsqueda exacta o aproximada

Usos típicos Generar inteligencia de negocio Resumir, convertir y distribuir los datos en función de valores de datos. Rechazar datos en función de una evaluación de valores de columna. Combinar datos de varios orígenes de datos. Evaluar datos y aplicar conversiones de datos. Dividir un conjunto de datos en múltiples conjuntos de datos en función de valores de datos.

Usos típicos Automatizar funciones administrativas y la carga de datos Automatizar las funciones administrativas como la copia de seguridad y la restauración de bases de datos. Copia de objetos de SQL Server y la carga de datos. 

Arquitectura