GESTIÓN DE RECURSOS BIOLÓGICOS EN EL MEDIO NATURAL Técnicas de obtención y análisis de datos 3.- Minería y análisis de datos con WEKA. Juan Navas Ureña Departamento de Matemáticas Universidad de Jaén http:/matema.ujaen.es/jnavas

Modelos matemáticos discretos en biología de campo TEMA 1 Modelos matemáticos discretos en biología de campo 1.- Modelos basados en ecuaciones en diferencias La sucesión de Fibonacci. Ecuaciones en diferencias. Sistemas dinámicos discretos Puntos de equilibrio. Análisis geométrico. Diagramas de Cobweb Modelos nolineales. La ruta hacia el caos La geometría fractal 2.- Modelos basados en sistemas de ecuaciones en diferencias Modelos matriciales de Leslie y Markov. Análisis de datos a través de las tablas de vida y los modelos matriciales. Desarrollo, análisis e interpretación de los modelos matriciales demográficos matriciales para biología de campo. 3.- Minería y análisis de datos con WEKA.

Minería de datos Con la denominada sociedad de la información se está produciendo un fenómeno paradójico. Día a día se multiplica la cantidad de datos almacenados. Sin embargo, esta explosión de datos no supone un aumento de nuestro conocimiento, puesto que resulta imposible procesarlos con los métodos clásicos. Los datos tal cual se almacenan no suelen proporcionar beneficios directos. Su valor real reside en la información que podamos extraer de ellos: información que nos ayude a tomar decisiones o a mejorar nuestra comprensión de los fenómenos que nos rodean. 3.- Minería y análisis de datos con WEKA

Minería de datos Recientemente han surgido una serie de técnicas que facilitan el procesamiento avanzado de los datos y permiten realizar un análisis en profundidad de los mismos de forma automática, que se conocen con el nombre de data mining (minería de datos). Los datos contienen más información oculta de la que se ve a simple vista; de ahí la metáfora de la mina. La minería de datos o exploración de datos es un campo de las ciencias de la computación, referido al proceso que intenta descubrir patrones en grandes volúmenes de conjuntos de datos. 3.- Minería y análisis de datos con WEKA

W E K A WEKA =(Waikato Environment for Knowledge Analysis) es una extensa colección de algoritmos de Máquinas de Conocimiento desarrollados por la universidad de Waikato (Nueva Zelanda) implementados en Java. Contiene las herramientas necesarias para realizar transformaciones sobre los datos, tareas de clasificación, regresión, agrupamiento, asociación y visualización. Está diseñado para añadir nuevas herramientas de una manera sencilla.

W E K A Una vez que WEKA esté en ejecución aparecerá una ventana denominada selector de interfaces que nos permite seleccionar la interfaz con la que deseemos comenzar a trabajar. Simple CLI (command line interface): interfaz en modo texto. Explorer: interfaz gráfico básico. Experimenter: interfaz gráfico con posibilidad de comparar el funcionamiento de diversos algoritmos de aprendizaje KnowledgeFlow: interfaz gráfico que permite interconectar distintos algoritmos de aprendizaje en cascada, creando una red.

W E K A

W E K A El modo Explorador es el modo más usado y más descriptivo. Éste permite procesar, clasificar, asociar y visualizar datos de una manera fácil e intuitiva sobre un sólo archivo de datos.

Explorer: procesamiento de datos W E K A Explorer: procesamiento de datos Los datos pueden extraerse desde un arhivo en varios formatos: ARFF, CSV, C4.5, binary,…….. También pueden leerse desde una URL Las herramientas de pre-procesamiento en WEKA se llaman filtros. WEKA contiene filtros para la discretización, normalización, reemplazamiento y combinación de atributos, etc.

Explorer: procesamiento de datos W E K A Explorer: procesamiento de datos PREPROCESS: visualización y preprocesado de datos (aplicación de filtros) CLASSIFY: Aplicación de algoritmos de clasificación y regresión CLUSTER: Agrupamiento ASSOCIATE: Asociación SELECT ATRIBUTES: Selección de atributos VISUALIZE: Visualización de datos por parejas de atributos

W E K A FICHEROS .arff WEKA trabaja con un formato denominado arff , acrónimo de Attribute-Relation File Format. Este formato está compuesto por una estructura claramente diferenciada en tres partes: 1.- Cabecera. Se define el nombre de la relación. Su formato es el siguiente: @relation <nombre-de-la-relación> 2.- Declaraciones de atributos. En esta sección se declaran los atributos que compondrán nuestro archivo junto a su tipo. La sintaxis es la siguiente: @attribute <nombre-del-atributo> <tipo>

W E K A

W E K A 3.- Sección de datos. Declaramos los datos que componen la relación separando entre comas los atributos y con saltos de línea las relaciones. @data 4,3.2 En el caso de que algún dato sea desconocido se expresará con un símbolo de cerrar interrogación (“?"). Es posible añadir comentarios con el símbolo “ %”, que indicará que desde ese símbolo hasta el final de la línea es todo un comentario. Los comentarios pueden situarse en cualquier lugar del fichero.

1.3.- Minería de datos W E K A Comentario Nombre archivo Cabecera Declaraciones de atributos Sección de datos

W E K A Se trata de una base de datos en la que se pretende determinar cuáles son los factores que hacen que una cierta persona practique o no el tenis. EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A Se pretende determinar cuáles son los factores que hacen que una cierta persona practique o no el tenis. Cada instancia de la base de datos se corresponde con un cierto día en el que la persona se plantea si jugar o no al tenis, y recoge los siguientes atributos: Aspecto del cielo: {soleado, cubierto, lluvioso}. Temperatura: medida en grados. Humedad: medida en % Viento: {si, no} Juega al tenis: {si, no} Se dispone de datos recogidos durante 14 días distintos, y el objetivo es determinar cuál es la relación entre las condiciones del tiempo y la decisión de jugar o no al tenis. EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A La base de datos (archivo .arff) está incluida en el programa EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A Para cargar la base de datos se utilizará el botón OPEN FILE del interfaz Explorer (pestaña Preprocess), se seleccionará el directorio data y dentro de él, el fichero weather.arff. Se muestra información sobre cada atributo en la parte derecha de la ventana. En el caso de atributos discretos se indica el número de instancias que toman cada uno de los valores posibles; y en el caso de atributos reales se muestran los valores máximo, mínimo, medio y la desviación estándar. Asimismo, se muestra un gráfico EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A Para generar gráficos con los datos del ejemplo, se seleccionará la pestaña Visualize. Por defecto, se muestran gráficos para todas las combinaciones de atributos tomadas dos a dos, de modo que se pueda estudiar la relación entre dos atributos cualesquiera EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A ALGORITMOS DE CLASIFICACIÓN WEKA cuenta con una gran variedad de algoritmos de clasificación entre los que destacan los métodos bayesianos (AODE, Bayes Net, Naive Bayes, Naive Bayes Simple, Naive Bayes Multinomial, etc.), las reglas de clasificación (Tablas de Decisión, Nnge, OneR, PART, Ridor, ZeroR, etc.), los métodos de regresión (Regresión Lineal, Regresión Logística, etc.) y los árboles de decisión (ADTree, Decisión Stump, ID3, J48, LMT, Random Forest, Random Tree, REP Tree, etc.). EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A EL ALGORITMO J48 El algoritmo J4.8 induce árboles de decisión. Es la implementación en WEKA del algoritmo C4.5 revisión 8, la cual fue la última versión pública de esta familia de algoritmos, posteriormente apareció la primera implementación comercial, es decir, el algoritmo C5.0. Dentro de las opciones que J4.8 soporta están: • La poda de árboles • La especificación de factores de confianza para la poda • La especificación de un mínimo de instancias en las hojas • La poda de árboles con error reducido • La especificación del número de datos en podas con error reducido • El uso de particiones binarias en atributos nominales EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A GENERACIÓN DE UN ÁRBOL DE DECISIÓN Se seleccionará la pestaña Classify y se elegirá un clasificador pulsando el botón Choose. Aparecerá una estructura de directorios en la que se seleccionará el directorio trees y dentro del él el algoritmo J48. Se mantendrán las opciones por defecto del clasificador EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A El resto de opciones para el experimento también se mantendrán en los valores por defecto: activa la opción de test ‘cross validation’ e inactivas las restantes. Para generar el árbol se pulsará Start. EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A En primer lugar, se muestra información sobre el tipo de clasificador utilizado (algoritmo J48), la base de datos sobre la que se trabaja (weather) y el tipo de test (cross validation). EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A A continuación se muestra el árbol que se ha generado y el número de instancias que clasifica cada nodo: EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A Y por ultimo se muestran los resultados del test (indican la capacidad de clasificación esperable para el árbol y la matriz de confusión): EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A También es posible visualizar el árbol de decisión de una forma más legible. Para ello se debe hacer clic con el botón derecho en la ventana de resultados, sobre el resultado de la generación del árbol. Aparecerá un menú desplegable: Y dentro de ese menú se deberá seleccionar la opción ‘Visualize tree’. EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A EJERCICIO PROPUESTO Crear un fichero para WEKA con datos sobre la posibilidad de fallo de una máquina en función de ciertos atributos medidos: vibraciones, temperatura, tiempo desde la última revisión y horas de funcionamiento. EJEMPLO DE UTILIZACIÓN DE WEKA

W E K A EJERCICIO PROPUESTO Crear un fichero para WEKA con datos sobre la posibilidad de fallo de una máquina en función de ciertos atributos medidos: vibraciones, temperatura, tiempo desde la última revisión y horas de funcionamiento. Crear un fichero con los datos anteriores en formato WEKA y guardarlo con la extensión .arff En la cabecera del fichero debe aparecer la línea: @relation XXXX_YYYY_ZZZZ… donde XXXX, YYYY y ZZZZ deben ser el nombre y apellidos del alumno. Abrir el fichero .arff creado desde WEKA y generar un árbol de decisión sobre esos datos. Copiar en el informe tanto el resultado ofrecido en modo texto como la representación gráfica del árbol de decisión. EJEMPLO DE UTILIZACIÓN DE WEKA