S ISTEMA PARA EL A NÁLISIS Y P ROCESAMIENTO DE LOS LOGS DE LOS SERVIDORES DE RED DE LA F ACULTAD DE I NGENIERÍA EN E LECTRICIDAD Y C OMPUTACIÓN (FIEC)

Presentación del tema: "S ISTEMA PARA EL A NÁLISIS Y P ROCESAMIENTO DE LOS LOGS DE LOS SERVIDORES DE RED DE LA F ACULTAD DE I NGENIERÍA EN E LECTRICIDAD Y C OMPUTACIÓN (FIEC)"— Transcripción de la presentación:

1 S ISTEMA PARA EL A NÁLISIS Y P ROCESAMIENTO DE LOS LOGS DE LOS SERVIDORES DE RED DE LA F ACULTAD DE I NGENIERÍA EN E LECTRICIDAD Y C OMPUTACIÓN (FIEC) DE LA ESPOL USANDO HADOOP ESCUELA SUPERIOR POLITÉCNICA DEL LITORAL Facultad de Ingeniería en Electricidad y Computación INTEGRANTES: Eddy Roberto Espinosa Daquilema Josué Jefferson Guartatanga Robayo

2 Datos vs. Información P ROBLEMA A RESOLVER

3 J USTIFICACIÓN Existen herramientas con precios altos No muestran resultados deseados Rendimiento deficiente / tiempo extenso No son distribuidas ni escalables

4 A LCANCE Visitas/Recursos/Navegadores Correos Acceso de usuarios/Recursos Información de los servidores: Cedro(HTTP), Ceibo(Maillog) y Palma(Samba).

5 H ADOOP Plataforma -> aplicaciones escalablesDesarrollador enfoca -> lógica de negocioCorre en cluster / (HDFS)Map/Reduce

6 H IVE Infraestructura para data warehouse que provee sumarización de datos y soporta Ad-hoc queries Aplicaciones Logs Minería Datos Indexación documentos Inteligencia Negocios Modelamiento predictivo y Prueba de hipótesis

7 F ORMATO DE L OGS Ceibo genera archivos tipo MaillogPalma posee un servidor Samba.Cedro posee un Servidor Apache HTTP

8 D ISEÑO DE LA SOLUCIÓN

9 C LAVES Y V ALORES

10 C ÓDIGO B ASE : M APPER /R EDUCER DE C EDRO

11 C ÓDIGO B ASE : M APPER /R EDUCER DE C EIBO

12 C ÓDIGO B ASE : M APPER /R EDUCER DE P ALMA

13 T IEMPOS nodos Tiempo (minutos) tiempo (min) carga 37.2 MB / 0.036 GB Palma ConcatenaPalma AccesosPalma Recursos Nodos 510155101551015 # prueba 16,7831,9331,3670,4670,3500,2670,4170,6200,333 26,8331,9671,9830,4500,6200,3170,5330,2200,350 37,0173,0201,6830,5170,2000,3000,5500,2400,350 47,6833,5171,6830,5500,2100,3330,5330,2200,350 56,8334,3501,2670,5170,2700,3000,4330,6000,300 66,3834,4172,0500,7170,2200,3170,5170,2200,317 79,6835,6671,6330,4830,2100,3000,4500,6300,400 86,1674,3171,4830,4670,6000,2830,4500,2400,300 98,6334,2671,2830,4330,5900,4170,5000,6800,317 106,3505,3671,3330,5170,2300,3170,5170,2000,317 promedio7,2373,8821,5770,5120,3500,3150,4900,3870,333 Var. Std.1,1241,2730,2810,0810,1800,0400,0480,2130,030

14 A PLICACIÓN NO D ISTRIBUIDA Carga 10 GB

15 A PLICACIÓN D ISTRIBUIDA

16 C ONCLUSIONES Estable entre 5 y 10 nodos con carga 1GB. Procesamiento secuencial es extenso con archivos de gran tamaño. El modelo distribuido es una solución escalable y la tolerancia a fallos se puede controlar.

17 R ECOMENDACIONES Asignar suficiente espacio en disco para la instalación. Familiarizarse con el entorno que ofrece Hadoop y su aplicación Hive.

18 F IN