Inteligencia de Negocios Buenos Aires, mayo de 2009 U.T.N. – F.R.B.A. Prof: Ing. Pablo Cigliuti Ayud: Ing. Rafael Rizzo

Clase V Práctica de Laboratorio

Repaso Clase IV  El ETL es el alma de BI.  Entre el 60% y 80% de un proyecto de BI se lo lleva el desarrollo del ETL.  Es uno de los componentes más importantes en un set de herramientas de BI.  Los usuarios exigen más integración en los paquetes de BI.  Cada vez se pide mayor escalabilidad y menor tiempo de procesamiento.

Business Intelligence Development Studio (BIDS)  Microsoft Visual Studio 2005  Tipos de proyecto adicionales que son específicos de BI  Integration Services  Analysis Services  Reporting Services Será nuestro entorno de desarrollo para aplicar una solución de Business Intelligence

Business Intelligence Development Studio TolBox Menu Designer Solution Explorer

Sql Server Integration Services Datawarehouse (SQL Server, Oracle, DB2, Teradata) SQL/Oracle SAP/Dynamics Sistemas Propietarios Texto XML Integration Services Informes Dashboards Cuadros de Mando Excel Analysis Services ¿En donde estamos?

Integration Services  Herramienta Gráfica de ETL  Introducido a SQL Server 2005  Sucesor de Data Transformation Services (DTS) ¿Qué es SSIS?

Integration Services Tipos de Archivos Información sobre las configuraciones del proyecto y elementos como orígenes de datos y paquetes Contiene información sobre sus preferencias para trabajar con el proyecto Información que requiere que BIDS abra el proyecto de Integration Services Información sobre la configuración de soluciones y enumera los proyectos de la solución Información sobre sus preferencias para trabajar con la solución Paquete

Integration Services Designer

Integration Services Designer  Flujo de control: Se organizan y configuran las tareas, incluida la tarea Flujo de datos, que proporciona funcionalidad en paquetes, los contenedores que proporcionan la estructura de los paquetes y servicio a las tareas y las restricciones de precedencia que conectan contenedores y tareas en un flujo de control. El menú contextual disponible en la superficie de diseño de Flujo de control permite agregar anotaciones de texto, establecer puntos de interrupción para la depuración y acercar o alejar el diseño del paquete. El menú contextual disponible en tareas individuales permite ejecutar las propias tareas, sin ejecutar todo el paquete. Flujo de datos: Se combinan orígenes de datos, Extracciones, Transformaciones que modifican y agregan datos y Cargas que se ingresan en los sistemas destino (DW)  Controladores de eventos: Se configuran flujos de trabajo para responder a eventos de paquetes. Por ejemplo, puede crear un controlador de eventos que envíe un mensaje de correo electrónico cuando se origine un error en una tarea.  Explorador de paquetes: Proporciona una vista de explorador del paquete, con el paquete como un contenedor en la parte superior de la jerarquía y, debajo, las conexiones, ejecutables, controladores de eventos, proveedores de registro, restricciones de precedencia y variables que ha configurado en el paquete.

Componentes de un paquete SSIS Ctrol Flow  Subconjunto del flujo de control de paquete  Permite deshabilitar grupos de tareas.  Permite administrar propiedades en varias tareas.  Proporciona un ámbito para variables usadas por un grupo de tareas y contenedores relacionados. Se deben ‘arrastrar” transformers dentro del container

Componentes de un paquete SSIS Ctrol Flow  Ejecuta instrucciones SQL  Puede contener una sola instrucción SQL o múltiples instrucciones SQL que se ejecutarán de forma secuencial

Componentes de un paquete SSIS Ctrol Flow  Encapsula el motor de flujo de datos que mueve datos entre orígenes y destinos Al hacer doble clic, redirecciona directamente al data flow

Componentes de un paquete SSIS Ctrol Flow  Subconjunto del flujo de control de paquete  Permite deshabilitar grupos de tareas.  Permite administrar propiedades en varias tareas.  Proporciona un ámbito para variables usadas por un grupo de tareas y contenedores relacionados.  Ejecuta instrucciones SQL  Puede contener una sola instrucción SQL o múltiples instrucciones SQL que se ejecutarán de forma secuencial  Encapsula el motor de flujo de datos que mueve datos entre orígenes y destinos

Integration Services Designer

Componentes de un paquete SSIS Data Flow  Extrae datos de varias bases de datos relacionales compatibles con OLE DB

Componentes de un paquete SSIS  Aplica funciones de agregado, como Average o SUM.  Además, proporciona la cláusula GROUP BY, para especificar los grupos en los que se debe realizar el agregado. Data Flow

Componentes de un paquete SSIS  Crea nuevos valores de columna aplicando expresiones a las columnas de entrada de la transformación.  El resultado puede agregarse como una nueva columna o insertarse en una columna existente como un valor de reemplazo. Data Flow

Componentes de un paquete SSIS  Proporciona una salida que se genera combinando dos conjuntos de datos ordenados mediante una combinación FULL, LEFT o INNER. Data Flow  Importane: Para realizar un merge join las tablas orígnes deben estar ordenadas por el mismo campo.

Componentes de un paquete SSIS  Ordena los datos de entrada en orden ascendente o descendente, y copia los datos ordenados a la salida de la transformación. Data Flow

Componentes de un paquete SSIS  Carga datos en una serie de bases de datos compatibles con OLE DB Data Flow

Componentes de un paquete SSIS Data Flow  Extrae datos de varias bases de datos relacionales compatibles con OLE DB  Aplica funciones de agregado, como Average o SUM.  Crea nuevos valores de columna aplicando expresiones a las columnas de entrada de la transformación.  Proporciona una salida que se genera combinando dos conjuntos de datos ordenados mediante una combinación FULL, LEFT o INNER.  Ordena los datos de entrada en orden ascendente o descendente.  Carga datos en una serie de bases de datos compatibles con OLE DB

Componentes de un paquete SSIS Mala Modularidad

Componentes de un paquete SSIS Buena Modularidad

Componentes de un paquete SSIS Script ejemplo para la carga de tiempo with mycte as ( select cast(' ' as datetime) DateValue union all select DateValue + 1 from mycte where DateValue + 1 < ' ' ) select year(DateValue)*10000+month(DateValue)*100+day(DateValue) as FechaID, Year(DateValue) as Year, DATEPART(Quarter,DateValue) as Quarter, DATENAME(month,DateValue) as MonthName, DATEPART(month,DateValue) as MonthNo, DAY(DateValue) as Day from mycte OPTION (MAXRECURSION 0)

Información Adicional Validación de Nulos ISNULL(ParentProductCategoryID) == TRUE Función IF AddressType == "Main Office" ? AddressID : 0 Clave de Fecha YEAR(OrderDate) * MONTH(OrderDate) * DAY(OrderDate) Documentación Se deben utilizar los comentarios de SSIS

¿Preguntas?Q & A