Introducción a las Redes Neuronales DESARROLLO DE SOLUCIONES INTELIGENTES Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz

Mapa Conceptual del Curso Sistemas Inteligentes Reconocimiento de Patrones Agentes Inteligentes Visión Artificial Redes neuronales

Tabla de Contenido Neuronas Naturales Neuronas Artificiales Clasificación de las Redes Neuronales Aplicaciones

Mapa Conceptual de la Sesión Método de Trabajo Reconocimiento de Patrones No Recurrentes Red Perceptron Aprendizaje Aprendizaje supervisado Arquitectura de las redes neuronales Neuronas Naturales Neuronas Artificiales Red de retro-propagación Aprendizaje no supervisado Recurrentes Aplicaciones

Objetivo de la Sesión Exponer los aspectos básicos de las redes neuronales. Exponer los conceptos acerca de las redes neuronales. Exponer los conceptos del aprendizaje natural y automático. Exponer los conceptos de reconocimiento de patrones. Plantear el modelo de redes neuronales artificiales. Exponer las arquitecturas de las redes neuronales.

NEURONAS NATURALES

El Cerebro Humano Gran velocidad de proceso Trata gran cantidad de información Los sentidos Memoria almacenada Capacidad de tratar situaciones nuevas Capacidad de aprendizaje Almacenamiento redundante. No binario, no estable y no síncrono. Poder desconocido 1011 Neuronas (procesadores) 1000 – 10000 conexiones por neurona Capacidad basada en las conexiones. Cada neurona es muy compleja.

La Neurona Dendritas de entradas Un axón de salida Sinapsis de conexión. 104 sinapsis por neurona Comunicación mediante Potenciales de Acción (PA) Generación de conexiones. Consolidación de conexiones. dendrita neurona núcleo axón nódulo de Ravier envoltura de mielina célula de schwann axón terminal

La Neurona

Conexiones Neuronales Dendritas Axon Señal (Información) Cuerpo Sinapsis

Sinapsis Impulso eléctrico que viaja por el axón Liberación de neurotransmisores Apertura/cierre de canales iónicos Integración de entradas en soma Si se supera umbral de disparo se genera un PA Variación potencial en dendrita

Los Potenciales de Acción Es una onda de descarga eléctrica que viaja a lo largo de la membrana de la neurona. Se utilizan para llevar información entre neuronas. Se generan en las células y en las neuronas. Periodo refractario de 10-3 segundos entre PAs

Los Potenciales de Acción

NEURONAS ARTIFICIALES 1 2 3 4 5 7 6 Wij1 Wij2 u1 u2 y1 y2 Wij3

Inspiración Biológica ¿Qué modelar? Inclinación a adquirir conocimiento desde la experiencia Conocimiento almacenado en conexiones sinápticas Gran plasticidad neuronal y tolerancia a fallos (muerte neuronal) Comportamiento altamente no-lineal

Red Neuronal Artificial (RNA) Es un sistema de procesamiento de información que tiene propiedades inspiradas en las redes neuronales biológicas: El procesamiento de información ocurre en muchos elementos simples llamados neuronas. Las señales son transferidas entre neuronas a través de enlaces de conexión. Cada conexión tiene un peso asociado representando la sinapsis. Cada neurona aplica una función de activación a su entrada de red (suma de entradas pesadas) para determinar su salida, representando la generación de potenciales de acción.

Modelo Neuronal Xi net u Yu Wiu net u= Xi Wiu Yu = f (netu) Elemento Procesador Xi net u Yu Wiu net u= Xi Wiu Yu = f (netu) Yu = f ( Xi Wiu )

. Modelado Neuronal Entradas (X) Salida (Y) 1 Pesos sinápticos (W) Función suma (net) Función de activación (f) Funcionamiento en modo aprendizaje o ejecución n k 1 u . X1 Xk Xn W1u Wku Wnu Yu net u= Xi Wiu Yu = f (netu) Yu = f ( Xi Wiu )

Neurona Natural vs. Artificial Neurona = Unidad de procesamiento Dendritas = entradas (X) Axón = salidas (Y) Conexiones sinápticas = Conexiones con pesos (W) Efectividad sináptica = Peso sináptico (Wij) Excitación / Inhibición = Pesos Wij (+) ó Wij (-) Potencial = Valores de entradas o salidas Combinado de PAs = Función de propagación (Σ) Potencial de acción = Función de transferencia (f)

Función de Transferencia Función de Propagación Permite obtener el valor del potencial post-sinaptico (net) a partir de las entradas (X) y los pesos (W) Es posible utilizar otro tipos de función de propagación, tales como mínimo, máximo, mayoría, producto, etc. Función de Transferencia. Permite obtener la salida (Y) del elemento procesador ante un estímulo (net). En el modelo más simple la f obtiene la salida Y comparando la entrada net con un umbral. Si net > umbral  señal. Si net < umbral  sin señal. Yu = f (netu) netu= Xi Wiu

Ejercicio 7 Dado la siguiente red neuronal de 1 capa, determine la salida para los siguientes registros de datos: n1 n2 n3 X1 X2 Y 0.25 0.35 Xnxk = x1 0.50 -0.35 -0.70 0.22 x2 1.50 0.45 0.33 -0.85 Y1xk =  

Ejercicio 7

CLASIFICACIÓN DE LA REDES NEURONALES

Topología En función del patrón de conexiones que presenta. Redes no recurrentes. Propagación hacia delante o acíclicas. Las señales van de la capa de entrada a la salida sin ciclos. Monocapa. perceptrón, Adaline. Multicapa. perceptrón multicapa. Redes recurrentes. Presentan al menos un ciclo cerrado de activación neuronal. Elman, Hopfield, Máquina de Bolzman. Aprendizaje Supervisado Aprendizaje no Supervisado

Tipo de Aprendizaje Si necesita o no un conjunto de entrenamiento supervisado Aprendizaje supervisado: necesitan datos clasificado perceptrón simple, red Adaline, perceptrón multicapa y memoria asociativa bidireccional. Aprendizaje no supervisado o autoorganizado: no necesitan de tal conjunto previo. Memorias asociativas, redes de Hopfield, máquina de Bolzman y máquina de Cauchy, redes de aprendizaje competitivo, redes de Kohonen, redes de resonancia adaptativa (ART) Redes híbridas: son un enfoque mixto en el que se utiliza una función de mejora para facilitar la convergencia. Redes de base radial.

Tipo de Entrada Redes analógicas: procesan datos de entrada con valores continuos y habitualmente acotados. Hopfield, Kohonen y las redes de aprendizaje competitivo. Redes discretas: procesan datos de entrada de naturaleza discreta habitualmente valores lógicos booleanos. Máquinas de Bolzman y Cauchy y red discreta de Hopfield. rango 1 rango 2 rango 3

Algoritmos de Aprendizaje Algoritmos de aprendizaje más comunes: Perceptrón multicapa o Backpropagation (BPN) Aprendizajes supervizados bajo corrección de error Mapas Auto-organizados (SOM) Aprendizajes competitivo no supervizados Wij(t+1) = Wij(t) - η ∂ J ∂Wij(t) Wv(t +1) = Wv(t) + Θ (v, t) α(t)(D(t) - Wv(t)),

APLICACIONES

Aplicaciones Se usan para el reconocimiento de patrones. Problemas donde más importante es el patrón que los datos exactos. Aplicaciones: Clasificación. Predicción Clustering (Agrupamiento) Aproximación de curvas

1. Clasificación Clasifica objetos en un número finito de clases, dado sus propiedades. Busca una función de mapeo que permita separar la clase 1 de la clase 2 y esta de la clase 3… El número de clases es finito. Árboles de decisión. Reglas de Asociación. Redes Neuronales. Clasificador Bayesiano. Razonamiento basado en casos

2. Predicción Intenta determinar la función que mapea un conjunto de variables de entrada en una (o más) variables de salida. Es básicamente numérica. Está basada en supuestos estadísticos. Ejemplos: Monitoreo la reserva de plazas en empresas de aviación. Predicciones financieras a corto plazo

3. Clustering (Clasificación no supervisada) Intenta agrupar una serie de objetos en grupos. Cada objeto es representado por un vector de atributos n-dimensional. Los objetos que forman cada grupo deben ser disimilares. La similaridad es medida del grado de proximidad. Luego cada grupo es etiquetado. K-means (agrupamiento exclusivo) Fuzzy C-means (agrupamiento con traslape) Angulo de distribución mínima Método de autoorganización (SOM) Razonamiento Adaptativo

4. Aproximación de curvas Reconocer el patrón de curvas entregadas como una secuencia de puntos.

Otras Aplicaciones Financial Stock Market Prediction Credit Worthiness Credit Rating Bankruptcy Prediction Property Appraisal Fraud Detection Price Forecasts Economic Indicator Forecasts Medical Medical Diagnosis Detection and Evaluation of Medical Phenomena Patient's Length of Stay Forecasts Treatment Cost Estimation Industrial Process Control Quality Control Temperature and Force Prediction Science Chemical Compound Identification Physical System Modeling Polymer Identification Recognizing Genes Botanical Classification Signal Processing: Neural Filtering Biological Systems Analysis Ground Level Ozone Prognosis Odor Analysis and Identification Educational Teaching Neural Networks Neural Network Research College Application Screening Predict Student Performance Data Mining Energy Electrical Load Forecasting Energy Demand Forecasting Short and Long-Term Load Estimation Predicting Gas/Coal Index Prices Power Control Systems Hydro Dam Monitoring Prediction Classification Change and Deviation Detection Knowledge Discovery Response Modeling Time Series Analysis Sales and Marketing Sales Forecasting Targeted Marketing Service Usage Forecasting Retail Margins Forecasting Operational Analysis Retail Inventories Optimization Scheduling Optimization Managerial Decision Making Cash Flow Forecasting HR Management Employee Selection and Hiring Employee Retention Staff Scheduling Personnel Profiling http://www.alyuda.com/products/neurofusion/neural-network-applications.htm

Aplicaciones ¿Qué tipo de problemas puede resolver una RN? Se requiere tener respuestas en tiempo real. Se trata de predecir el futuro. Todo problema donde se requiere aprender para luego actuar en situaciones parecidas. ¿Qué tipo de problemas puede no resolver una RN? No se dispone de datos históricos. Explicar lo que hace un sistema sin fuentes. Procesar datos más rápidamente. Todo problema que puede ser resuelto usando sistemas de información o procedimiento de BD transaccionales

Referencias Pattern Classification. R. O.Duda,P. E. Hart, and D.G.Stork. John Wiley & Sons, 2nd ed., 2001. Pattern Recognition and Machine Learning, C. M. Bishop, Springer, 2006. (An additional useful book)

PREGUNTAS

soporto@wiphala.net http://www.wiphala.net/oporto Mg. Samuel Oporto Díaz soporto@wiphala.net http://www.wiphala.net/oporto