Escuela Profesional de Nuevas Tecnologías

Presentación del tema: "Escuela Profesional de Nuevas Tecnologías"— Transcripción de la presentación:

1 Escuela Profesional de Nuevas Tecnologías
CICE Escuela Profesional de Nuevas Tecnologías 12 de Mayo de 2017

2 PLANTEAMIENTO DE EMPRESA
VÍDEO

3 SQL SERVER INTEGRATION SERVICES
FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

4 BÚSQUEDA Y EXTRACCIÓN DE DATOS

5 SQL SERVER INTEGRATION SERVICES
FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

6 Orígenes de datos BÚSQUEDA Y EXTRACCIÓN DE DATOS
Transporte - Ocio -Cultura - Deportes - etc

7 ¿Cómo los obtenemos? BÚSQUEDA Y EXTRACCIÓN DE DATOS 1.500.000 anuncios
idealista Search API BeatifulSoap pymongo - Rapidez. - Comodidad - Datos completos ventajas - Mayor disponibilidad de datos (viviendas) - Sin parámetros de búsqueda - Máximo 100 llamadas por usuario y mes. - Máximo 50 viviendas por llamada. - Búsquedas por coordenadas. inconvenientes - Máximo 150 páginas en periodo de 10 min - Datos menos completos

8 Queremos dar más valor a los datos!
BÚSQUEDA Y EXTRACCIÓN DE DATOS Centros Educativos - Acceso al listado de todos los centros educativos de la CM Geolocalizados - Estadísticas y valoración de los centros solo para consulta Queremos dar más valor a los datos! selenium

9 ¿Cómo relacionamos los datos?
BÚSQUEDA Y EXTRACCIÓN DE DATOS ¿Cómo relacionamos los datos? Dos soluciones: SQL Server 1. 2.

10 Querys geospaciales en SQL Server
BÚSQUEDA Y EXTRACCIÓN DE DATOS Querys geospaciales en SQL Server 1. Coordenadas de cada barrio de Madrid 2. Definición de funciones para mostrar polígonos geoespaciales 3. Definición de vistas para realizar las consultas

11 Querys geolocalizadas en MongoDB
BÚSQUEDA Y EXTRACCIÓN DE DATOS Querys geolocalizadas en MongoDB 1. Colección con índice geospacial “2d” y estructura GeoJSON 2. Volcamos la colección de viviendas : 3. Añadimos la colección resto de fuentes 4. Buscamos la relación entre los datos {$near}, {$maxDistance} notebook idealista GeoMadrid {Latitud, Longitud} Data sets

12 ETL

13 SQL SERVER INTEGRATION SERVICES
FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

14 SQL SERVER INTEGRATION SERVICES
ETL (Extract, Transform & Load) HADOOP Ejecución en paralelo Escalable Potente SQL SERVER INTEGRATION SERVICES Fiable Fácil manejo Fácil mantenimiento

15 MODELO PREDICTIVO

16 SQL SERVER INTEGRATION SERVICES
FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

17 Exploración de datos y técnicas de aprendizaje no supervisado
MODELO PREDICTIVO ESTIMACIÓN DEL PRECIO Exploración de datos y técnicas de aprendizaje no supervisado Lenguaje Notebook Visualización Dataset de viviendas en venta y 25 variables

18 Exploración de datos y técnicas de aprendizaje no supervisado
MODELO PREDICTIVO Exploración de datos y técnicas de aprendizaje no supervisado Correlaciones Box and Whisker plot Histograma precio por m2 Diagrama de dispersión

19 Exploración de datos y técnicas de aprendizaje no supervisado
MODELO PREDICTIVO Exploración de datos y técnicas de aprendizaje no supervisado PCA (Principal Component Analysis) Correlaciones con principales componentes

20 Machine Learning MODELO PREDICTIVO Regression vs Random Forest MSE
Importancia de variables

21 MODELO PREDICTIVO Random Forest Precio vs Tamaño

22 R Server MODELO PREDICTIVO
Integración del modelo de predicción en el DWH R Server Creación del modelo en procedimiento almacenado en SQL Server ejecutando un script externo con lenguaje R Llamada al procedimiento con la predicción e inserción del output en una tabla de predicciones con vecindario, m2 y predicción

23 VISUALIZACIÓN

24 SQL SERVER INTEGRATION SERVICES
FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

25 Prototipo usando POWER BI
VISUALIZACIÓN Prototipo usando POWER BI

26 VISUALIZACIÓN Prototipo usando QLIK

27 VISUALIZACIÓN Prototipo usando HTML

28 Prototipo usando CARTO
VISUALIZACIÓN Prototipo usando CARTO

29 VISUALIZACIÓN DEMO

30 VISUALIZACIÓN Prototipo final

31 MUCHAS GRACIAS