1 2015-11-23/27 1 Herramientas ETL Extract, Transform & Load Julián González García.

Presentación del tema: "1 2015-11-23/27 1 Herramientas ETL Extract, Transform & Load Julián González García."— Transcripción de la presentación:

1 1 2015-11-23/27 1 Herramientas ETL Extract, Transform & Load Julián González García

2 2 2015-11-23/27  Son capaces de : Extraer o leer datos de diferentes fuentes de datos. Transformar los datos: corrigiendo errores; cambiando su estructura; haciéndolos conformes a especificaciones; etc. Cargar o escribir los datos transformados en diferentes fuentes de datos.  Fuentes de datos: ficheros, bases de datos (espaciales), servicios web. ETL - ¿para qué?

3 3 2015-11-23/27  Habitualmente partimos de modelos de datos bien establecidos.  En la mayoría de las ocasiones estos modelos han de ser respetados, al igual que sus implementaciones, sean en ficheros o en bases de datos, debido a todas las aplicaciones que los utilizan.  Por lo tanto crearemos una copia de los datos en diferentes bases de datos, esquemas dentro de la misma base de datos, exportaremos a ficheros, etc., transformando los datos a un modelo parecido al que marcan las especificaciones de datos INSPIRE en el mismo proceso de copia. ETL - ¿Cómo nos pueden ayudar?

4 4 2015-11-23/27  Se basan en flujos de trabajo y se diseñan utilizando una interfaz gráfica en la que: Los orígenes de datos se colocan a la izquierda, A continuación se especifican las operaciones/transformaciones que se quieren aplicar de derecha a izquierda. Los caminos que siguen los datos pueden determinarse en función de los valores de algún atributo, copiarse y bifurcarse en varios caminos o confluir como datos de entrada para una operación transformación. Los destinos de los datos se colocan a la derecha  Por defecto estas herramientas nos proporcionan una galería de operadores/transformadores. Pero cada vez más, dan la posibilidad de procesar los datos utilizando algún lenguaje de programación (Python, JavaScript, …) ETL – Al rescate!

5 5 2015-11-23/27  Suelen incorporar inspectores o visualizadores para inspeccionar los datos a medida que se va realizando la transformación.  En algunos casos pueden indicarse puntos de ruptura en donde la ejecución se para que tengamos la posibilidad de depurar el flujo de trabajo.  Una vez configurado el espacio de trabajo o flujo se puede salvar para ser ejecutado tantas veces como sea necesario y pueden ser parametrizados mediante variables ETL – Al rescate!

6 6 2015-11-23/27  El más conocido:  El gratuito más conocido:  Uno “made in Spain”:  Algunos que realizan la transformación entre formatos pero dependen de software de terceros para procesar los datos: ETL – Algunos programas

7 7 2015-11-23/27  Objetivo buscado: Determinar que ficheros de manzanas, parcelas y contrucciones procedentes de Catastro se podían importar directamente para realizar la capa fondo urbano de CartoCiudad y cuales debían ser analizados.  Problemas: Cada shapefile de municipio podía venir en diferente SRS En algunos casos la cartografía podía estar desplazada o incorporar parcelas de otros municipios.  Solución: Calcular el porcentaje de coincidencia entre los datos almacenados en CartoCiudad con los procedentes de Catastro. Ejemplo real 1

8 8 2015-11-23/27 Solución con FME

9 9 2015-11-23/27 Solución con GeoKettle

10 10 2015-11-23/27  Objetivo buscado: Determinar que calles intersectan en cada uno de los cruces de calles.  Solución: Extraer los puntos iniciales y finales de cada tramo y espacialmente encontrar todas las calles que confluían en ese cruce Ejemplo real 2

11 11 2015-11-23/27 Solución con FME  Después de 2 días:

12 12 2015-11-23/27 Solución con PL/pgSQL  Después de 1 hora:

13 13 2015-11-23/27 Gracias por vuestra atención Julián González García Centro Nacional de Información Geográfica Instituto Geográfico Nacional 91 597 9384 jgonzalezg@fomento.es