Denisse Cayetano – Christian Rivadeneira

Slides:



Advertisements
Presentaciones similares
Agenda ¿Qué es Big Data? ¿Por qué usar Big Data? ¿Quién usa Big Data? Hadoop Arquitectura de Hadoop.
Advertisements

Gestar Survey Sistema de encuestas ¿Cómo puede asegurarse una eficiente y rápida recolección de información, con independencia del tipo y volumen que usted.
También conocido como Diseño Lógico Rodrigo Salvatierra Alberú.
Universidad Nacional Autónoma de Honduras
Stuart Pérez A12729.
MI PROGRAMA DE FORMACION
Utilización de la plataforma Hadoop para implementar un programa distribuido que permita encontrar las paredes de células de la epidermis de plantas modificadas.
MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS
Búsquedas avanzadas en la Wikipedia
Diseño e implementación de un ambiente virtualizado para un Sistema de Administración de Contenidos usando Microsoft SharePoint con cada uno de sus componentes.
Software(s) para analizar trafico de red y ancho de banda
RED EN LA NUBE LEE GOMEZ FEIST.
Presentado por: Luis Loaiza Carlos Andrés Granda Informe de Materia de Graduación Procesamiento Masivo y Escalable de Datos.
PROYECTO DE GRADO ANÁLISIS, DISEÑO, DESARROLLO E IMPLEMENTACIÓN DE UN SISTEMA WEB PARA EL CONTROL DE UN TALLER TÉCNICO AUTOMOTRIZ EN PLATAFORMA PHP –
ESCUELA POLITÉCNICA DEL EJÉRCITO
CÓMO REALIZAR UN PROYECTO
Sistema de Agrupamiento y Búsqueda de Contenidos de la Blogosfera de la ESPOL, Utilizando Hadoop como Plataforma de Procesamiento Masivo y Escalable de.
Sistema Para GENERAR gráficas a partir de logs tcpdump usando Hadoop
la evolucion de las nuevas tendencias del marketing digital
En este tipo de computación todo lo que puede ofrecer un sistema informático se ofrece como servicio, de modo que los usuarios puedan acceder a los.
DESARROLLO DE SISTEMAS
REGISTROS Y ALERTAS DE RENDIMIENTO
Janny David Vilac Salazar David Alejandro Gallo Moya
Analizador de Tráfico de Red
AUDITORÍA DE SISTEMAS UNIDAD 2.
Sistemas Operativos Distribuidos Plataforma Cliente/Servidor
Integrantes: James Santana Braulio Mendoza Leonela Burgos
SOLUCIÓN DE SEGURIDAD , PRODUCTIVIDAD Y AHORRO EN ENTORNO DE COMUNICACIONES INTELIGENTES
Arquitectura de una aplicación
Lenguajes utilizados para aplicaciones distribuidas
Potencializando las microfinanzas Servicios en la nube: Mitos y realidades Marzo,2013.
Contenido: 1- Que es el .Net Framework 2- Arquitectura en .Net
Las etapas de un proyecto
Programacion Web Practica 1 Estudio de la aplicación distribuida: Apache Hadoop.
Metodología Para la Implementación de Redes de Comunicación Carlos A. Villaronga P. Copyright
Sistema de Control de Ingreso de Vehículos
Global Learning System Preparada para: XYZ, SA de CV.
DETECCION DE INTRUSOS.. Presentado por: Maury Leandro González Deivy Escobar Christian Herrera Yoiner Gomez Marlon Góngora.
Sistema Organizador de Invitaciones, Eventos y Memos basado en una aplicación Cliente – Servidor SOIEM TESIS DE GRADO FIEC – ESPOL 2007 Christian Vulgarin.
¿QUE NO ES? COMPUTADORES EN LAS NUBES Es un paradigma que permite ofrecer servicios de computación a través de Internet. Los usuarios puedan acceder.
Eguana Reports Servidor de Reportes basado en Tecnología Java y XML Presentado por: Roy Cox S. Fernando Pérez M. José Pérez S.
SISTEMAS DE INFORMACION GEOGRAFICA. LOS SIG DEFINICION DEFINICION Un SIG se define como un conjunto de métodos, herramientas y datos que están diseñados.
Cloud Computing Expositor: Andrius Morganti. Cloud Computing Cloud Computing Nube, Internet Abstracción de detalles Uso de TI Cloud computing = Computar.
Integrantes: Jorge Herrera M. Carlos Rodríguez R..
Informe de Materia de Graduación “Uso de la plataforma Pig sobre Hadoop como alternativa a una RDBMS para el análisis de datos masivos. Prueba de concepto.
PORTAL WEB PARA CONTRIBUIR EN LA VENTA, COMERCIALIZACIÓN Y DISTRIBUCIÓN DE LA ZEOLITA NATURAL USANDO AJAX Integrantes: Martha Isabel Correa Barrera Patricia.
Agenda  Introducción  Relevamientos de tecnologías Objetivos de la fase de relevamiento de tecnologías Principales tecnologías disponibles -OpenMosix,
Cloud Computing.
Departamento de Informática Universidad de Rancagua
Servicio Remoto de Monitoreo
Windows server 2008 es un sistema operativo para servidores diseñado por Microsoft.
Actividades del Análisis de Sistemas Análisis de Factibilidad
Las etapas de un proyecto Yussef Farran L.
UNIVERSIDAD TECNOLÓGICA ECOTEC. ISO 9001:2008 Preguntas para ser analizadas para el examen final. 1.- Describa el término de Escaneo de Red. 2.-Tipos de.
Como es de saber el mundo se deja llevar mucho por la competencia en el sentido tecnológico, a estas formas de competencia y de relación se les llama.
Gabriel Montañés León.  El sistema de nombres de dominio (DNS, Domain Name System) se diseñó originalmente como un protocolo. Antes de considerar qué.
DISEÑO CURRICULAR Presentado por: Cesar Augusto Sáenz María Alejandra Hernández 1.contenidos curriculares de competencia.
RESEARCH ON ALGORITHMS OF DATA MINING UNDER CLOUD COMPUTING ENVIRONMENT BY FEI LONG KEVIN FLORES ALVAREZ INF-252.
DESARROLLO DE APLICACIONES PARA AMBIENTES DISTRIBUÍDOS ALUMNOS: MARIANA MIGNÓN RÉDING CARLOS ANTONIO CARRASCO MARTÍNEZ PROFESOR: DR. JOSÉ BERNARDO PARRA.
UN GRAN SISTEMA DISTRIBUIDO.  Heterogeneidad: Esta plataforma está diseñada para correr diferentes sistemas operativos (Windows XP, Windows.
1     Sistema de gestión de contactos PARQUE E Miércoles, 29 de Abril de 2015   
Comportamiento Participación Percepción. Interacción. Pertenencia!
Arquitectura de una aplicación Arquitectur a: desarrolla un plan general del sistema, asegurando que las necesidades de los usuarios sean atendidas. Ingeniería.
Marco de Trabajo para Indexación, Clasificación y Recopilación Automática de Documentos Digitales Javier Caicedo Espinoza Gonzalo Parra Chico.
 PROBLEMA DE INVESTIGACIÓN PROBLEMA DE INVESTIGACIÓN  MARCO TEÓRICO MARCO TEÓRICO  ESTUDIO ACTUAL DE LA RED DE LA INSTITUCIÓN, HONEYPOTS A INSTALAR.
Optativa II Carlos Quilumbaqui. ¿Qué es Big Data? Big Data son grandes en cantidad, se capturan a un índice rápido, y son estructurados o no estructurados,
Integrantes Miguel Betancourt Alexis Tacuri.  Activiti es una plataforma para la formación de flujos de trabajo y procesos empresariales dentro del.
Conociendo el modelo Cliente-Servidor. Introducción En el mundo de TCP/IP las comunicaciones entre computadoras se rigen básicamente por lo que se llama.
SISTEMAS DE INFORMACION GEOGRAFICA (SIG) Néstor Acosta Rodríguez Código: 7137.
DISEÑO DE LAN. Elementos de un Sistemas de Comunicación Emisor Receptor Canal Protocolo de enlace Otros dispositivos (modem, adaptadores, controladores.
Transcripción de la presentación:

Denisse Cayetano – Christian Rivadeneira PcapsResports PcapsReports MÓDULO DE GENERACIÓN DE REPORTES GRÁFICOS DE UNA HONEYNET A PARTIR DE LOS LOGS TCPDUMPS Denisse Cayetano – Christian Rivadeneira

Marco Teórico: Honeynets Red entera de gran interacción. Voluntariamente vulnerable Honeypot o "tarro de miel" Recurso de la red que se encuentra Examinado Atacado Permite Recolectar información sobre el atacante Prevenir estas incursiones dentro del ámbito de la red real en casos futuros Almacena la información recogida en logs tcpdump (pcap) Implementada con Sistemas Operativos reales y corriendo servicios reales Podemos Identificar nuevas técnicas de ataque Analizar el “modus-operandi” de los intrusos.

Descripción del Problema Existen herramientas que ayudan al análisis de lo que podría ser un posible ataque en la red Ejemplos: Wireshark, OmniPeek, JpcapDumper Problema: No soportan el análisis de una cantidad grande de información (en el orden de los GBs y TBs) Solución: PcapsReports Procesamiento de logs de tráfico de red (en formato pcap) Escalable y distribuida Generación de reportes a partir de dichos logs la honeynet luego de 4 meses de captura de trafico, dejo un historial en el log tcpdump con el fin de analizar el comportamiento de la red e identificar ciertos patrones de ataque, sin embargo, no se pudo realizar graficas resumiendo el trafico de todo el periodo analizado. 88existen herramientas que ayudan al analisis de lo que podria ser un posible ataque en la red, por ejemplo: + Wireshark es un analizador de protocolos de red y es de libre distribucion + OmniPeek es un software con mayor cantidad de funcionalidades, pero es pagado + JpcapDumper es un proyecto que permite visualizar el contenido de los paquetes y es libre 88sin embargo, tienen un problema en comun, no soportan el analisis de una cantidad grande de informacion (en el orden de los GBs y TBs) debido a que estan sujetos a las caracteristicas del computador en el cual estan instalados. es por esta razon que surge la necesidad de implementar un módulo de transformación de archivos pcap en una estructura de datos definida (parseo), que se acople a una plataforma de gran escalabilidad y pueda ser enfocado para otros usos. 88este modulo tiene como nombre PcapsReports y + nos permite procesar los logs de trafico de red en formato pcap, + nos otorga una herramienta escalable y distribuida + nos ayuda en la generacion de reportes a partir de los pcap

Formato Archivos .PCAP PCAP (Packet Captured) Formato definido Permite conocer información como: Quién, Qué, Cuándo, Dónde, Cuánto 88en los archivos log se encuentran registradas las actividades de trafico de red que se generaron durante un periodo de tiempo en particular, estos archivos mantienen un formato definido y nos permiten conocer informacion de quien, que , cuando, donde, cuanto correspondiente a los distintos paquetes registrados.

Plataforma utilizada: AWS AWS: Amazon Web Services Amazon ha puesto a disposición varios servicios de cloud computing, como: Elastic Compute Cloude (EC2)  servicios de infraestructura Asignación de computadores (virtualizados) bajo demanda Simple Storage Service (Amazon S3) Almacenamiento escalable

Plataforma utilizada: Hadoop Varios componentes importantes, como: Hadoop common Computación distribuida y escalable Implementa paradigma MapReduce, basado en principios desarrollados por Google Hadoop Distributed File System (HDFS) Almacenamiento escalable de datos Cuenta con el apoyo de gigantes como Yahoo! Facebook Procesamiento masivo de datos de manera distribuida

Diseño

Diseño General podemos dividir nuestro diseño en cuatro fases, + la fase del amazon simple storage services S3 + la fase de los mappers + la fase del reducer + la fase del front-end 88dentro de la fase del S3, con ayuda del S3 firefox organizer (un complemento para firefox) hemos podido transferir los correspondientes archivos pcaps desde nuestra pc. no obstante, para poder procesarlos, es necesario cargarlos en el sistema de archivos distribuido de hadoop HDFS, 88una vez cargados en el sistema de archivos distribuido de hadoop, hadoop nos provee de metodos para leer archivos de texto, sin embargo, dado que nuestros archivos se encuentran en formato binario, es necesario crear una clase que extienda de FileInputFormat y que nos permita leer los archivos en formato binario, esto lo realizamos gracias a la clase HoneyFileInputFormat, una vez que los archivos son leidos cada mapper recibe un chunk en formato binario (una porción del total de datos, cabe recalcar que el total de datos aproximadamente fue de 4GB), mientras se recorre la informacion dentro del chunk, se extraen los datos de interes de cada paquete con ayuda de la clase PacketAnalyzer y se los acopla a la estructura de clave/valor 88en nuestro caso, el archivo de salida debe estar en formato XML, razon por la cual al momento de leer el resultado del mapper en el reducer, vamos incorporando al conjunto de claves sus correspondientes valores bajo el esquema de atributos de un tag, hadoop nos provee de clases para la escritura de datos de salida en archivos de texto o binario, sin embargo, el resultado del reducer es acogido por el HoneyFileOutputFormat, clase que toma los valores de cada clave y los acopla a una estructura XML, este archivo se lo envia al S3 para poder hacer uso de este recurso. 88el nivel de presentacion se lo opto por desarrollarlo con Adobe FLEX, el cual trabaja de forma nativa con XML.

Implementación

Detalles de Implementación JNetStream Librería desarrollada en Java Permite accesar a paquetes de red en representación binaria InetAddressLocator Permite conocer el País de origen de una IP dada FileInputFormat y FileOutputFormat Tamaño del Bloque y Segmento de tarea en (512MB) 88JnetStream es una librería desarrollada en java, y se enfoca en ayudar a construir aplicaciones que necesiten acceder a paquetes de red, la mayoria de sus servicios estan orientados hacia la decodificacion de paquetes desde su representacion binaria 88InetAddressLocator es una libreria desarrollada tambien en java y nos permite conocer el pais de origen de una IP dada 88FileInputFormat es la clase de la cual heredamos para crear la HoneyFileInputFormat, la misma que nos permite leer archivos en formato binario. 88con el proposito de reducir el costo de busqueda en disco de la informacion en comparacion al de lectura y escritura, se lo definio en 512MB tanto al tamaño del bloque como el segmento de tarea chunk.

Reportes Protocolo por cada mes Tráfico por País Tráfico por IP Cantidad de Bytes por día de la semana y hora específica. Protocolo por cada mes, a traves del cual se puede visualizar el volumen de paquetes que viajan a traves de la red bajo las diferentes capas. Trafico por Pais, debido a que los ataques provienen de cualquier punto geográfico del planeta, la identificación del origen de los mismos da una idea más clara sobre el nivel de fuentes maliciosas que existen alrededor de nuestro entorno. Trafico por IP, el conocimiento de origen de los ataques a traves de la IP fuente, ayuda a que los controles de acceso se encuentren con filtros cada vez mas restrictivos, manteniendo bajo estudio aquellas IP que mantengan un comportamiento malicioso. Cantidad de Bytes por día de la semana y hora específica, el volumen de datos que se transfieren a traves de la red, pueden llegar a ser incalculables en algunos casos. Sin embargo, el poder tener un control sobre la cantidad de ataques que se reciben en una Honeypot durante el tiempo funcional de la misma en la red, ayuda a regularizar el trafico sobre la misma, y a prevenir el ingreso de ataques especificos que provengan, por ejemplo, de alguna IP determinada.

Trafico de IP por País

Tráfico IP - Mes

Trafico por Hora y Día

Pruebas Realizadas Eficacia y Eficiencia

Pruebas de Eficacia Wireshark – Archivo mayor a 1GB JpcapDumper – Archivo mayor a 1GB Programa no responde PcapsReports – Archivo mayor a 1GB ≈ 10 minutos en un clúster de 10 nodos

Pruebas de Eficiencia Cada línea representa el número de veces que se repitió el procesamiento de los datos (en nuestro caso cada prueba se repitio 5 veces), conforme vamos aumentando el número de nodos, nos podemos dar cuenta en cada uno de los reportes, que el tiempo de procesamiento disminuye. Inclusive a partir del uso de 4 nodos se empieza a observar un comportamiento constante de tiempo de procesamiento. Esto se debe a que la cantidad de datos (4GB) pueden ser procesados de manera optima con un número de nodos mayor o igual a 4.

Pruebas de Eficiencia Cada línea representa el número de veces que se repitió el procesamiento de los datos (en nuestro caso cada prueba se repitio 5 veces), conforme vamos aumentando el número de nodos, nos podemos dar cuenta en cada uno de los reportes, que el tiempo de procesamiento disminuye. Inclusive a partir del uso de 4 nodos se empieza a observar un comportamiento constante de tiempo de procesamiento. Esto se debe a que la cantidad de datos (4GB) pueden ser procesados de manera optima con un número de nodos mayor o igual a 4.

Conclusiones y Recomendaciones

Conclusiones Los reportes gráficos fueron generados bajo un ambiente altamente usable Proveemos una alternativa diferente a las herramientas existentes Módulo puede ser adaptable a las necesidades de administradores de red

Recomendaciones Contribuir con el módulo de procesamiento de pcaps a la comunidad de usuarios de Hadoop Hemos compartido nuestra propuesta en foros y esperamos una pronta retroalimentación Los administradores de red podrían adaptar la propuesta que hemos detallado para generar reportes personalizados a sus necesidades

¿Preguntas? GRACIAS