Redes Neuronales Artificiales Conferencia 10 Redes Neuronales Artificiales

Tópicos Introducción a las Redes Neuronales Artificiales La computadora convencional y el cerebro Breve introducción biológica Atributos a ser emulados

Tópicos Modelo de la Red Neuronal Perceptrón Simple. Neurona, Capa, Red Definición Perceptrón Simple. Perceptrón Multicapa.

Computadora VS Cerebro ¿Por qué todavía existen tareas que las computadoras convencionales no han logrado resolver con suficiente eficacia? Tareas como: la visión humana y el sonar del murciélago requieren un esfuerzo computacional enorme, atendiendo al volumen inmenso de datos que las componen.

Computadora VS Cerebro Datos son redundantes e imprecisos y las computadoras están orientadas a ejecutar en serie datos precisos. El cerebro puede abordar la solución de ciertos problemas como los mencionados por su capacidad de procesamiento paralelo y adaptativo

Computadora VS Cerebro Aspectos Cerebro Computadora Velocidad de proceso 100 Hz 3 GHz Estilo de procesamiento paralelo secuencial Número de procesadores 1011 - 1014 pocos Conexiones 10 000 por procesador pocas Almacenamiento del conocimiento distribuido Direcciones fijas Tolerancia a fallas amplia nula Tipo del control de proceso autoorganizado centralizado

Computadora VS Cerebro Por tanto, las Redes Neuronales Artificiales son modelos inspirados en sistemas biológicos, adaptados y simulados en computadoras convencionales.

Introducción biológica reciben señales de otras células procesa y emite señales (soma) envía impulsos a otras células unión entre dos neuronas

Atributos a ser emulados Los 3 conceptos claves a emular en las RNAs son: paralelismo memoria distribuida adaptabilidad al entorno Por tanto puede decirse que las RNAs son sistemas paralelos, distribuidos y adaptativos.

Modelo de la Red Neuronal Los elementos básicos de un sistema neuronal biológico son las neuronas que se agrupan en millones para constituir un sistema con funcionalidad propia. En la realización de un sistema neuronal artificial puede establecerse una estructura jerárquica similar. El punto final

Neurona Dispositivo simple de cálculo que, a partir de un vector de entrada, procedente del exterior o de otras neuronas, proporciona una única respuesta o salida, al igual que el modelo biológico. Poner las comas, y quitar la y. No queda mas completo el concepto de este modo? Y

Capas Una Capa Multicapa

Tipos de Neuronas Las que reciben estímulos externos, tomando la información de entrada. Las que procesan la información recibida y hacen una representación interna de la información. Debido a que no tienen relación directa con la información de entrada, se les denomina unidades ocultas. Cuando ha terminado el proceso, la información llega a las unidades de salida, cuyo objetivo es dar la respuesta del sistema.

Modelo de neurona . f(Σwijxj ) Σwijxj sinapsis x1 wi1 cuerpo celular entradas x1 x2 xn -1 xj sinapsis Σwijxj Θi dendritas umbral f(Σwijxj ) yi axón salida cuerpo celular wi2 wi1 . Función de activación

wij xj - i yi(t)= fi(wij xj - i) Umbral Parámetro adicional i, que se denomina umbral (tendencia o bias), que se resta del potencial sináptico. Por tanto, la regla de propagación quedaría como: wij xj - i El modelo simple de neurona quedaría: yi(t)= fi(wij xj - i)

Funciones de Activación Función identidad y=x f(x) x

Funciones de Activación Función escalón o Heaviside: H(x) 1 si x  0 H(x)= 0 si x<0 f(x) 1 x

Funciones de Activación Función sigmoide y=1/(1+e-x) f(x) x 1

xi={0,1} y Escalón yi(t)= fi(wij xj - i) yi= 0 si wij xj < i Como el modelo de neurona es: yi(t)= fi(wij xj - i) Si las entradas son binarias y la función de activación es la escalón, entonces quedaría: 1 si wij xj  i yi= 0 si wij xj < i

Definición de Red Neuronal Grafo: conjunto de nodos más un conjunto de conexiones entre ellos. Grafo dirigido: conexiones tienen asignadas un sentido. Representación del grafo: gráficamente, mediante matriz de conexiones y mediante lista de conexiones. Ellos por aquellos, y a traves de listas

Definición de Red Neuronal Una red neuronal es un grafo dirigido con las siguientes propiedades: A cada nodo i se asocia una variable de estado xi. A cada conexión (i,j) de los nodos i y j se asocia un peso wij. A cada nodo i se asocia un umbral i.

Definición de Red Neuronal Para cada nodo i se define una función fi(xj , wij , i), que depende de los pesos de sus conexiones, del umbral y de los estados de los nodos j a él conectados. Esta función proporciona el nuevo estado del nodo. Subíndice

Construcción de una RNA Definir el modelo de la neurona Definir la arquitectura de red Establecer los pesos sinápticos iniciales Hacer el entrenamiento a partir del Modo de Aprendizaje definido (usualmente iterativo) Fase de Ejecución

Aprendizaje o Entrenamiento El modo de aprendizaje o entrenamiento es una característica fundamental de una RNA. Las RNA son sistemas entrenables, capaces de realizar un determinado tipo de procesamiento o computo aprendiéndolo a partir de un conjunto de patrones de aprendizaje o ejemplos.

Aprendizaje de las RNAs Proceso por el que se produce el ajuste de los parámetros libres de la red a partir de un proceso de estimulación desde el entorno que rodea a la red. El tipo de aprendizaje se determina por la forma en que esos parámetros se ajustan.

Clasificación de los modelos

Perceptrón Simple El perceptrón simple es un modelo unidireccional, compuesto por dos capas de neuronas, una sensorial o de entradas, y otra de salida.

Perceptrón Simple Las neuronas de entrada únicamente envían la información. Entradas binarias {0,1}. La función de activación de las neuronas de la capa de salida es de tipo escalón. La operación sería: yi(t)= H(wij xj - i)

Perceptrón Simple El perceptrón puede utilizarse tanto como clasificador, como para la representación de funciones booleanas, pues su neurona es esencialmente de salida binaria.

Perceptrón Simple Función NAND y=H(w1x1+w2x2-)=H(-2x1-2x2+3) w2=-2  =-3 H(x) X1 X2

Perceptrón Simple Si se dan valores binarios a x1 y x2, se puede construir la tabla de verdad de esta neurona, que corresponde a la función lógica NAND de 2 entradas. x1 x2 y 1

Perceptrón Simple Una neurona tipo perceptrón solamente permite discriminar entre dos clases linealmente separables, es decir, cuyas regiones de decisión pueden ser separadas mediante una única condición lineal o hiperplano.

Perceptrón Simple

Perceptrón Simple Consideremos la función lógica or-exclusivo o XOR, su salida es el 0 lógico si las variables de entrada son iguales y 1 si son diferentes.

Perceptrón Simple

Perceptrón Simple

Desventaja del PS Discrimina solo entre clases linealmente separables. Se pueden implementar variantes no lineales con una sola capa de neuronas. La experiencia indica que se obtienen mejores generalizaciones a partir de redes neuronales con más de una capa.

Perceptrón Multicapa (MLP) Capa de entrada Capa Oculta Un Perceptrón Multicapa Contiene unidades de procesamiento ocultas a niveles intermedios entre las unidades de entrada y las de salida. Capa de Salida

Definición de MLP Los MLP son redes dirigidas hacia adelante con una o más capas de nodos entre los nodos de entrada y los nodos de salida (Ocultas). Cada neurona es tipo perceptrón. Actualmente se conoce que dos capas ocultas son suficientes para formar superficies de decisión de cualquier forma, aunque esta cantidad de capas ocultas no es necesaria en todos los casos.

Conclusiones Atributos a ser emulados Tipos de Neuronas paralelismo memoria distribuida adaptabilidad al entorno Tipos de Neuronas Entrada Salida Ocultas

Conclusiones . f(Σwijxj ) Σwijxj sinapsis x1 wi1 cuerpo celular axón entradas x1 x2 xn -1 xj sinapsis Σwijxj Θi dendritas umbral f(Σwijxj ) yi axón salida cuerpo celular wi2 wi1 . Función de activación

Conclusiones Perceptrón Simple: Multilayer Perceptron Discriminador Lineal Multilayer Perceptron Capas Ocultas

Bibliografía Curso introductorio a las Redes Neuronales Artificiales. Dr. Rafael Bello. UCLV. 1993. (Cap. 3y4) Redes Neuronales y Sistemas Difusos. Bonifacio Martín del Brío, Alfredo Sanz Molina. (P. 63-66 MLP Aproximador de Funciones) An introduction to Neural Networks. Ben Krose and Patrick van der Smagt.1996 (P.18-20 Notación y Terminología)

Redes Neuronales Artificiales Conferencia 10 Redes Neuronales Artificiales