Escuela Profesional de Nuevas Tecnologías CICE Escuela Profesional de Nuevas Tecnologías 12 de Mayo de 2017

PLANTEAMIENTO DE EMPRESA VÍDEO

SQL SERVER INTEGRATION SERVICES FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

BÚSQUEDA Y EXTRACCIÓN DE DATOS

SQL SERVER INTEGRATION SERVICES FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

Orígenes de datos BÚSQUEDA Y EXTRACCIÓN DE DATOS Transporte - Ocio -Cultura - Deportes - etc

¿Cómo los obtenemos? BÚSQUEDA Y EXTRACCIÓN DE DATOS 1.500.000 anuncios idealista Search API BeatifulSoap pymongo - Rapidez. - Comodidad - Datos completos ventajas - Mayor disponibilidad de datos (viviendas) - Sin parámetros de búsqueda - Máximo 100 llamadas por usuario y mes. - Máximo 50 viviendas por llamada. - Búsquedas por coordenadas. inconvenientes - Máximo 150 páginas en periodo de 10 min - Datos menos completos

Queremos dar más valor a los datos! BÚSQUEDA Y EXTRACCIÓN DE DATOS Centros Educativos - Acceso al listado de todos los centros educativos de la CM Geolocalizados - Estadísticas y valoración de los centros solo para consulta Queremos dar más valor a los datos! selenium

¿Cómo relacionamos los datos? BÚSQUEDA Y EXTRACCIÓN DE DATOS ¿Cómo relacionamos los datos? Dos soluciones: SQL Server 1. 2.

Querys geospaciales en SQL Server BÚSQUEDA Y EXTRACCIÓN DE DATOS Querys geospaciales en SQL Server 1. Coordenadas de cada barrio de Madrid 2. Definición de funciones para mostrar polígonos geoespaciales 3. Definición de vistas para realizar las consultas

Querys geolocalizadas en MongoDB BÚSQUEDA Y EXTRACCIÓN DE DATOS Querys geolocalizadas en MongoDB 1. Colección con índice geospacial “2d” y estructura GeoJSON 2. Volcamos la colección de viviendas : 3. Añadimos la colección resto de fuentes 4. Buscamos la relación entre los datos {$near}, {$maxDistance} notebook idealista GeoMadrid {Latitud, Longitud} Data sets

ETL

SQL SERVER INTEGRATION SERVICES FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

SQL SERVER INTEGRATION SERVICES ETL (Extract, Transform & Load) HADOOP Ejecución en paralelo Escalable Potente SQL SERVER INTEGRATION SERVICES Fiable Fácil manejo Fácil mantenimiento

MODELO PREDICTIVO

SQL SERVER INTEGRATION SERVICES FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

Exploración de datos y técnicas de aprendizaje no supervisado MODELO PREDICTIVO ESTIMACIÓN DEL PRECIO Exploración de datos y técnicas de aprendizaje no supervisado Lenguaje Notebook Visualización Dataset de 73.955 viviendas en venta y 25 variables

Exploración de datos y técnicas de aprendizaje no supervisado MODELO PREDICTIVO Exploración de datos y técnicas de aprendizaje no supervisado Correlaciones Box and Whisker plot Histograma precio por m2 Diagrama de dispersión

Exploración de datos y técnicas de aprendizaje no supervisado MODELO PREDICTIVO Exploración de datos y técnicas de aprendizaje no supervisado PCA (Principal Component Analysis) Correlaciones con principales componentes

Machine Learning MODELO PREDICTIVO Regression vs Random Forest MSE Importancia de variables

MODELO PREDICTIVO Random Forest Precio vs Tamaño

R Server MODELO PREDICTIVO Integración del modelo de predicción en el DWH R Server Creación del modelo en procedimiento almacenado en SQL Server ejecutando un script externo con lenguaje R Llamada al procedimiento con la predicción e inserción del output en una tabla de predicciones con vecindario, m2 y predicción

VISUALIZACIÓN

SQL SERVER INTEGRATION SERVICES FLUJOGRAMA .csv .xlsx .txt SQL SERVER INTEGRATION SERVICES PYTHON HADOOP WEB ETL NoSQL ETL DWH Report

Prototipo usando POWER BI VISUALIZACIÓN Prototipo usando POWER BI

VISUALIZACIÓN Prototipo usando QLIK

VISUALIZACIÓN Prototipo usando HTML

Prototipo usando CARTO VISUALIZACIÓN Prototipo usando CARTO

VISUALIZACIÓN DEMO

VISUALIZACIÓN Prototipo final

MUCHAS GRACIAS