Jornadas Técnicas RedIRIS 2003 SMAЯTxAC: Sistema de Monitorización y Análisis de ocifáЯT para la “Anella Científica” Jornadas Técnicas RedIRIS 2003 Pere Barlet Ros Josep Solé-Pareta Jordi Domingo-Pascual Mallorca, 5 de Noviembre de 2003 Agradecimientos: Este trabajo está financiado parcialmente por el CESCA (convenio SMAЯTxAC) y el MCyT (ref. TIC2002-04531-C04-02)

Índice Antecedentes Prototipo CCABA-UPC Proyecto SMAЯTxAC CASTBA, MEHARI, MIRA Proyecto MIRA Prototipo CCABA-UPC Proyecto SMAЯTxAC

Antecedentes Diferentes proyectos de monitorización y análisis de tráfico en RedIRIS CASTBA MEHARI MIRA Colaboración entre diferentes universidades UPM UC3M UPC Participación como EPOs RedIRIS TID CESCA ICT EPOs = Ente promotor y observador

Proyecto MIRA Características Captura pasiva/no-intrusiva (utilizando splitters ópticos) Captura estadística (máximo 10% del tráfico real) Captura y análisis de todo el paquete (cabecera y contenido) Aplicado a RedIRIS (ATM) para conocer el uso de la red + detección de usos indebidos/irregulares Clasificación de el tráfico de cada CC.AA. en: Académico (por defecto: presunción de inocencia) Lúdico Comercial Desconocido Definición de un modelo para compartir costes (tarificación) Origen y destino del tráfico Clasificación (tipo) de tráfico

Índice Antecedentes Prototipo CCABA-UPC Proyecto SMAЯTxAC Objetivos Captura de tráfico Análisis de tráfico Escenario de prueba Ejemplo de clasificación Otras características Proyecto SMAЯTxAC

Prototipo CCABA-UPC Nuevo sistema de monitorización y análisis de tráfico Basado en la experiencia adquirida en los anteriores proyectos (especialmente MIRA) Cambio de plataforma de captura (software) Desarrollo completo de un nuevo sistema de análisis Desarrollo completo de una nueva GUI basada en web Probado en el troncal ATM de RedIRIS en Cataluña (Anella Científica) Conecta las universidades y centros de investigación catalanes a Internet 2 enlaces ATM 155 Mbps. 2 splitters ópticos 2 tarjetas ATM FORE PCA200 1 PC de captura + 1 PC de análisis

Objetivos Captura completa del tráfico (100%) No captura estadística MIRA (~10%) Cambio de software de captura (CAIDA CoralReef) Captura y análisis sólo de cabeceras No captura de contenidos (sólo 1ª celda ATM trama AAL5) Agrupación en flujos (reducción volumen) Motivos Restricciones legales Encriptación de paquetes Reducción del coste de captura y análisis Desarrollo completo de un sistema de análisis nuevo Disponer de un sistema propio del CCABA-UPC Capaz de analizar el 100% del tráfico en tiempo real

Captura de tráfico Requerimientos Dificultades Bajo coste Captura completa Transparente y de fácil aplicación Captura de cabeceras y agregación en flujos Dificultades Enlaces de alta velocidad Volumen de información a analizar y almacenar Técnicas de captura de tráfico Activa / intrusiva (Netflow, SNMP, …) Pasiva / no-intrusiva (CAIDA CoralReef) No degrada el rendimiento de la red No introduce tráfico adicional La captura se realiza en un equipo independiente

Análisis de tráfico Objetivos Solución Resultados: Bajo coste Análisis del 100% del tráfico en tiempo real Almacenamiento permanente de los resultados Solución Traducción de flujos IP a flujos clasificados (clasificación) Direcciones IP  Instituciones y grupos de destinos Puertos y protocolo  Aplicación (HTTP, MAIL, DNS, P2P, … ) Flujos IP unidireccionales  Flujos clasificados bidireccionales Generalización identificadores flujo  Reducción num. Flujos Acumulación bytes/paquetes Resultados: Reducción drástica del volumen a almacenar (> 99%) Se continua manteniendo la información importante para conocer el uso de la red

Ejemplo de clasificación Flujos IP de entrada: Dirección IP origen Dirección IP destino Protocolo Puerto origen Puerto destino Paquetes Bytes A.B.C.X D.E.F.U 6 80 1526 18 24569 A.B.C.Y D.E.F.V 57917 41 20916 G.H.I.J K.L.M.N 2062 6347 8 725 A.B.C.Z D.E.F.W 2130 5 571 … Flujos IP de salida: Dirección IP origen Dirección IP destino Protocolo Puerto origen Puerto destino Paquetes Bytes D.E.F.V A.B.C.Y 6 57917 80 24 1332 D.E.F.U A.B.C.X 1526 14 988 D.E.F.W A.B.C.Z 2130 4 335 K.L.M.N G.H.I.J 6347 2062 9 1068 … Possible traffic classes (Anella Cientifica): 40 institutions + 5 destination sets + 20 application sets + bidirectional flows = 3400 traffic classes (40 x 5 x 20). Drastic reduction of the information to store Average flows file size (5 min.): CoralReef IP flows ~= 50 MB. Classified flows ~= 50 KB At the end of each accounting period “Classified flows” are also grouped Longer time interval accumulation will obtain more important volume reduction Defined accounting periods: daily, weekly, monthly Flujos clasificados (entrada y salida): INSTITUCIÓN GRUPO DESTINO APLICACIÓN PKTS IN BYTES IN PKTS OUT BYTES OUT INSTITUCION-X DESTINO-Z WWW 64 46056 42 2655 INSTITUCION-N DESTINO-M GNUTELLA 8 725 9 1068 … ...

Escenario de prueba (ATM) ANELLA CIENTÍFICA (ATM) GÉANT INTERNET_GLOBAL ESPANIX Conmutador ATM GIGACOM (ATM) splitters REDIRIS Otras CCAA (ATM) RedIRIS (Madrid) RedIRIS (Barcelona) Tráfico salida Segmento Ethernet dedicado (NFS) Segmento Ethernet dedicado (NFS) 1 Tráfico Entrada Conexión Internet Visualización de resultados (APACHE+PHP) Sistema de análisis (Linux) Plataforma captura (FreeBSD+CoralReef)

Otras características Acumulación adicional en periodos de contabilidad Resultados diarios, semanales, mensuales Registros de tráfico desconocido (logs) Direcciones IP Aplicaciones y Puertos Protocolos y tráfico no TCP/UDP Modelo de compartición de costes (matriz tarificación) Volumen Sentido del tráfico Institución Destino Aplicación GUI para visualizar los resultados de análisis (web)

Índice Antecedentes Prototipo CCABA-UPC Proyecto SMAЯTxAC Objetivos Escenario actual Resultados on-line

Proyecto SMAЯTxAC SMAЯTxAC: “Sistema de monitorización y análisis de tráfico para la Anella Científica” Acuerdo de colaboración entre UPC y CESCA CESCA: Centre de Supercomputació de Catalunya. Gestores de la “Anella Científica” Inicio en Julio 2003 Objetivos Adaptar el prototipo CCABA-UPC a los requisitos del CESCA Obtener información que ayude al CESCA a la gestión de la Anella Científica Instalación definitiva y estable en el troncal de RedIRIS en Cataluña

Fase I: Adaptación del prototipo CCABA-UPC Adaptar el sistema a la tecnología Gigabit Ethernet Migración de la red ATM a GbE (Mayo 2003) Aumento de capacidad de 310 Mbps a 2 Gbps Cambio del hardware de captura Tarjeta DAG 4.23 GE Splitters ópticos GbE SX Adaptar software de captura Incompatible con DAG 4.23 GE Solución: CoralReef modificado Optimización del sistema de análisis Análisis del 100% del tráfico en tiempo real (hasta 2 Gbps) Utilizando únicamente 1 PC estándar para la captura

Fase II: Nuevos requisitos Generar información útil para el uso diario del sistema por parte de un gestor de la red Funcionalidades/mejoras que el CESCA considere necesarias Hacer el sistema más fácil de usar Detección automática de situaciones/usos irregulares Cambios en los patrones habituales de tráfico por institución Ataques (DoS, DDoS, Spoofing, … ) Uso de aplicaciones P2P o equivalentes Reacciones ante situaciones irregulares Generación de alarmas para avisar al administrador Guardar información adicional sobre el tráfico sospechoso Análisis off-line para descubrir las posibles causas

Escenario actual (GbE) INTERNET_GLOBAL ANELLA CIENTÍFICA (GbE) ESPANIX GÉANT Juniper M20 (RedIRIS) RedIRIS2 1 Gbps CISCO 6513 (Anella Científica) Tráfico entrada Segmento Ethernet dedicado (NFS) Segmento Ethernet dedicado (NFS) 1 Tráfico salida Conexión Internet Visualización de resultados (APACHE+PHP) Sistema análisis (Linux) Plataforma de captura (Linux + CoralReef modificado)

Resultados on-line Resultados de las pruebas con el prototipo CCABA-UPC (ATM) Primeros resultados SMAЯTxAC (GbEth)