Un ejemplo ilustrativo

Presentación del tema: "Un ejemplo ilustrativo"— Transcripción de la presentación:

1 Un ejemplo ilustrativo
Clasificador de frutas (After Hagan, 1994)

2 No espere entender bien estas redes despues de leer este ejemplo
Objetivos Consideraremos un problema de reconocimiento de patrones simple Mostraremos como puede ser resuelto usando tres arquitecturas diferentes de redes neuronales. No espere entender bien estas redes despues de leer este ejemplo Este ejemplo es simplemente para tener una idea de lo que se puede hacer con las redes neuronales Octubre 2006 PIAI Unicauca

3 Clasificador de manzanas/Bananos
Octubre 2006 PIAI Unicauca

4 Vectores de prototipos
Octubre 2006 PIAI Unicauca

5 Tres aproximaciones Feedforward network Competitive network
El perceptron Rosenblatt, 1958 Competitive network La red de Hamming Lippman, 1987 Recurrent network La red de Hopfield Hopfield, 1982 F. Rosenblatt, ÒThe perceptron: A probabilistic model for information storage and organization in the brain,Ó Psycho-logical Review, Vol. 65, pp. 386Ð408, 1958. J. J. Hopfield, ÒNeural networks and physical systems with emergent collective computational abilities,Ó Proceedings of the National Academy of Sciences, Vol. 79, pp. 2554Ð 2558, 1982. Octubre 2006 PIAI Unicauca

6 Primera aproximacion El preceptron

7 Perceptron: una sola capa
Red Feedforward Perceptron: una sola capa El objetivo del perceptron es clasificar un conjunto de estimulos externos x1, x2, … , xp en una de dos clases C1, C2. Octubre 2006 PIAI Unicauca

8 Separabilidad lineal del perceptron
Red Feedforward Separabilidad lineal del perceptron Vemos que la salida del combinador lineal es (la entrada al hard limiter): Tenemos dos regiones de decision separadas por el hiper-plano definido por Octubre 2006 PIAI Unicauca

9 Caso de dos entradas Frontera de decision Red Feedforward Octubre 2006
PIAI Unicauca

10 El problema del reconocer una manzana o un banano
¿Cuanto valen los pesos? Octubre 2006 PIAI Unicauca

11 El problema del reconocer una manzana o un banano
La frontera de decision debe separar los vectores prototipo El vector de pesos es ortogonal a la frontera de decision, y debe apuntar en la direccion del vector que produce una salida de 1 Octubre 2006 PIAI Unicauca

12 Prueba de la red perceptron
Red Feedforward Prueba de la red perceptron Banana: Apple: “Rough” Banana: Octubre 2006 PIAI Unicauca

13 Segunda aproximacion Red Hamming

14 Red Hamming Red competitiva
It was designed explicitly to solve binary pattern recognition problems (where each element of the input vector has only two possible values Ñ in our example 1 or -1). The number of neurons in the first layer is the same as the number of neurons in the second layer. The objective of the Hamming network is to decide which prototype vector is closest to the input vector. Octubre 2006 PIAI Unicauca

15 Capa feedforward Red competitiva
The feedforward layer performs a correlation, or inner product, between each of the prototype patterns and the input pattern. By adding R to the inner product we guarantee that the outputs of the feedforward layer can never be negative. This is required for proper operation of the recurrent layer. Octubre 2006 PIAI Unicauca

16 Capa recurrente Red competitiva
The recurrent layer of the Hamming network is what is known as a “competitive” layer. The neurons in this layer are initialized with the outputs of the feedforward layer, which indicate the correlation between the prototype patterns and the input vector. Octubre 2006 PIAI Unicauca

17 Tercera aproximacion Red Hopfield

18 Red Hopfield ss Recurrent network
the Hopfield network actually produces the selected prototype pattern at its output. Octubre 2006 PIAI Unicauca

19 Conclusiones Las tres aproximaciones de redes pueden clasificar la entrada: Feedforward: la salida se calcula directamente de la entrada, sin realimentacion Competitivas: Se efectua una competicion para determinar cual neurona representa el patron mas cercano a la entrada Recurrentes: La salida de la red es realimentada Octubre 2006 PIAI Unicauca

20 Conclusiones: Quedan algunas preguntas
El preceptron: ¿Si las categorias a reconocer no son linealmente separables, ¿como resolver el problema? Red de Haming: ¿Podemos aprender los pesos de la red de Hamming cuando no conocemos los vectores prototipo? Red de Hopfield ¿Cómo sabemos que la red de Hopfield converge? Octubre 2006 PIAI Unicauca

21 Conclusiones El ejemplo mostrado es trivial
El reconocimiento de patrones es un area de aplicación importante de las NNs Sin embargo, en control las NNs son usadas sobretodo como aproximadores de funciones Octubre 2006 PIAI Unicauca

22 Fuente M.T. Hagan, H.B. Demuth, and M. Beale, Neural Network Design, PWS Publishing Co., 1995 Octubre 2006 PIAI Unicauca