Aplicaciones de data mining en química ambiental:

Presentación del tema: "Aplicaciones de data mining en química ambiental:"— Transcripción de la presentación:

1 Aplicaciones de data mining en química ambiental:
Detección de sustancias usadas como armas químicas Basado en: J. L. Solka, E. J. Wegman, and D. J. Marchette, "Data Mining Strategies for the Detection of Chemical Warfare Agents," Statistical Data Mining and Knowledge Discovery, Hamparsum Bozdogan, Editor, 2003, pp

2 Agentes a detectar: Clase G, o clase 0 Clase V, o clase 1
GA (taburn) GB (sarín) GD (sorman) GF (organofosforado c/fluoruro) GDT Clase G, o clase 0 Clase V, o clase 1 VX (agente V) HD (gas mostaza) HDT L (Lewisite) Clase H, o clase 2 Clase 3 Fondo

3 Los sustancias químicas mojan unas tiras de papel reactivo y producen un color más o menos característico. Ese color se representa como una curva de intensidades a diferentes longitudes de onda, es el llamado espectro. Existen equipos para barrer partes del espectro, o se pueden leer zonas discretas llamadas bandas

4 Datos: Set de entrenamiento:
2,106 pixels coloreados por agente real o simulado para la clase G. 569 observaciones para la clase V 1,088 observaciones para la clase H 1,0473 para la clase fondo Set de prueba 13,889 observaciones para la clase G 2,318 observaciones para la clase V 6,662 para H observaciones para el fondo

5 Análisis exploratorio: histogramas univariados para cada banda o variable

6 Análisis exploratorio: gráfico de coordenadas paralelas para todos los datos

7 Gráfico de coordenadas paralelas, set de entrenamiento

8 Separación de los puntos utilizando las bandas que corresponden al rojo, azul y verde

9 Estimación de modelos de densidad
Estimaciones de densidad kernel [no paramétrico] Modelos de mezcla (mixture models) [semi-paramétrico] Estimación de densidad por mezclas adaptativas [no paramétrico] Shifted Hats Iterated Procedure (SHIP) [híbrido] obtener clasificadores a partir de la determinación de regiones discriminantes Clasificadores k-vecinos más próximos CART

10 Estimación de la densidad de probabilidad para las bandas 7 y 11, utilizando el método SHIP
Estimación de la densidad de probabilidad conjunta para las bandas 7 y 11, utilizando kernels producto, y cálculo de las regiones discriminantes

11 CART utilizando las 13 bandas

12 Ranking de los diferentes clasificadores
r0, r1, r2, r3 corresponde a un re-etiquetado de los pixels de acuerdo a los valores del vecindario

13 Conclusiones En palabras de los autores:
“..we recommend that one employ the CART model based on the full feature set with a spatial radius of 3. This system provides probability of detection that exceeds .85 while obtaining a false alarm rate less than .12.” “Even given this improvement the performance of the fielded system can be described as mediocre at best. This performance however may be sufficient depending on the situation at hand. This lackluster performance is a trade-off for a need to rapidly field the system in order to be prepared for a very real threat.”

14 Discusión ¿Por qué los autores califican al rendimiento del sistema como mediocre? ¿Qué opinarían distintos tipos de usuarios? ¿Qué requerimientos desde el punto de vista de datamining debería tener una aplicación similar en el campo civil? Por ejemplo, para monitoreo de actividades industriales, como papeleras