Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

No espere entender bien estas redes despues de leer este ejemplo Objetivos Consideraremos un problema de reconocimiento de patrones simple Mostraremos como puede ser resuelto usando tres arquitecturas diferentes de redes neuronales. No espere entender bien estas redes despues de leer este ejemplo Este ejemplo es simplemente para tener una idea de lo que se puede hacer con las redes neuronales Octubre 2006 PIAI Unicauca

Clasificador de manzanas/Bananos Octubre 2006 PIAI Unicauca

Vectores de prototipos Octubre 2006 PIAI Unicauca

Tres aproximaciones Feedforward network Competitive network El perceptron Rosenblatt, 1958 Competitive network La red de Hamming Lippman, 1987 Recurrent network La red de Hopfield Hopfield, 1982 F. Rosenblatt, ÒThe perceptron: A probabilistic model for information storage and organization in the brain,Ó Psycho-logical Review, Vol. 65, pp. 386Ð408, 1958. J. J. Hopfield, ÒNeural networks and physical systems with emergent collective computational abilities,Ó Proceedings of the National Academy of Sciences, Vol. 79, pp. 2554Ð 2558, 1982. Octubre 2006 PIAI Unicauca

Primera aproximacion El preceptron

Perceptron: una sola capa Red Feedforward Perceptron: una sola capa El objetivo del perceptron es clasificar un conjunto de estimulos externos x1, x2, … , xp en una de dos clases C1, C2. Octubre 2006 PIAI Unicauca

Separabilidad lineal del perceptron Red Feedforward Separabilidad lineal del perceptron Vemos que la salida del combinador lineal es (la entrada al hard limiter): Tenemos dos regiones de decision separadas por el hiper-plano definido por Octubre 2006 PIAI Unicauca

Caso de dos entradas Frontera de decision Red Feedforward Octubre 2006 PIAI Unicauca

El problema del reconocer una manzana o un banano ¿Cuanto valen los pesos? Octubre 2006 PIAI Unicauca

El problema del reconocer una manzana o un banano La frontera de decision debe separar los vectores prototipo El vector de pesos es ortogonal a la frontera de decision, y debe apuntar en la direccion del vector que produce una salida de 1 Octubre 2006 PIAI Unicauca

Prueba de la red perceptron Red Feedforward Prueba de la red perceptron Banana: Apple: “Rough” Banana: Octubre 2006 PIAI Unicauca

Segunda aproximacion Red Hamming

Red Hamming Red competitiva It was designed explicitly to solve binary pattern recognition problems (where each element of the input vector has only two possible values Ñ in our example 1 or -1). The number of neurons in the first layer is the same as the number of neurons in the second layer. The objective of the Hamming network is to decide which prototype vector is closest to the input vector. Octubre 2006 PIAI Unicauca

Capa feedforward Red competitiva The feedforward layer performs a correlation, or inner product, between each of the prototype patterns and the input pattern. By adding R to the inner product we guarantee that the outputs of the feedforward layer can never be negative. This is required for proper operation of the recurrent layer. Octubre 2006 PIAI Unicauca

Capa recurrente Red competitiva The recurrent layer of the Hamming network is what is known as a “competitive” layer. The neurons in this layer are initialized with the outputs of the feedforward layer, which indicate the correlation between the prototype patterns and the input vector. Octubre 2006 PIAI Unicauca

Tercera aproximacion Red Hopfield

Red Hopfield ss Recurrent network the Hopfield network actually produces the selected prototype pattern at its output. Octubre 2006 PIAI Unicauca

Conclusiones Las tres aproximaciones de redes pueden clasificar la entrada: Feedforward: la salida se calcula directamente de la entrada, sin realimentacion Competitivas: Se efectua una competicion para determinar cual neurona representa el patron mas cercano a la entrada Recurrentes: La salida de la red es realimentada Octubre 2006 PIAI Unicauca

Conclusiones: Quedan algunas preguntas El preceptron: ¿Si las categorias a reconocer no son linealmente separables, ¿como resolver el problema? Red de Haming: ¿Podemos aprender los pesos de la red de Hamming cuando no conocemos los vectores prototipo? Red de Hopfield ¿Cómo sabemos que la red de Hopfield converge? Octubre 2006 PIAI Unicauca

Conclusiones El ejemplo mostrado es trivial El reconocimiento de patrones es un area de aplicación importante de las NNs Sin embargo, en control las NNs son usadas sobretodo como aproximadores de funciones Octubre 2006 PIAI Unicauca

Fuente M.T. Hagan, H.B. Demuth, and M. Beale, Neural Network Design, PWS Publishing Co., 1995 Octubre 2006 PIAI Unicauca