Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)

Presentación del tema: "Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)"— Transcripción de la presentación:

1 Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)

2 AGOSTO 20092 REDES ADALINE Y MADALINE b Desarrolladas en 1960 por Bernie Widrow y Marcian Hoff en la Universidad de Stanford. b ADALINE: ADAptive LINear Element b ADALINE: Una única Neurona de Salida. b MADALINE: Varias Neuronas de Salida. b MADALINE (Multiple ADALINE)

3 AGOSTO 20093 Bernard Widrow Professor Adaptive Systems. Widrow concentrates on adaptive signal processing, adaptive control systems, and adaptive neural networks. Adaptive systems have the ability to learn and improve their behavior through contact with their environments. Applications include signal processing, control systems, and pattern recognition. Sc.D. MIT 1956 Department of Electrical Engineering Durand Bldg., Rm. 139 723-4949 widrow@isl.stanford.edu

4 AGOSTO 20094 Marcian E. Hoff Marcian E. Hoff was born in 1937 in Rochester N.Y. and graduated with a degree in Electrical Engineering from Rensselaer Polytechnic Institute in 1958. He received his Ph.D. from Stanford University in 1962 and stayed on as a research associate in computer area until 1968. Hoff joined Intel as Manager of Application Research in 1968, became an Intel fellow in 1980 and remained in this position until 1983. After a year at Atari, Marcian E. Hoff became a consultant with time for independent technical projects. Dr. M. E. Hoff is a recipient of the Stuart Ballantine award of the Franklin Institute, the Cledo Brunetti Award and holds an IEEE Centennial Medal. Dr. Hoff is a member of Sigma Xi and is an IEEE Fellow.

5 Características

6 AGOSTO 20096 Diferencias con el PERCEPTRON b Algoritmo de aprendizaje: Regla del Mínimo Error Cuadrado Medio (LMS), o regla Delta, o regla de Widrow-Hoff b Su función de transferencia es lineal, (pureline ) b Procesamiento de información analógica, tanto de entrada como de salida, utilizando una función de Activación Lineal o Sigmoidal. b También puede resolver problemas linealmente separables.

7 AGOSTO 20097 Diferencias con el PERCEPTRON b El algoritmo LMS minimiza el error cuadrático medio y trata de mover la frontera de decisión tan lejos como sea posible de los patrones de entrenamiento b La red ADALINE es menos sensible al ruido b Las redes ADALINE y MADALINE tiene usos prácticos en el procesamiento de señales digitales.

8 Arquitectura

9 AGOSTO 20099 Arquitectura de ADALINE X 0 =1 X1X1 W0W0 XNXN X2X2 X3X3 W1W1 W2W2 W3W3 WNWN S sSalida Lineal Salida y Combinador Adaptativo Lineal Conmutador linear s y

10 AGOSTO 200910 Arquitectura de ADALINE b Formada por un elemento denominado: Combinador Adaptativo Lineal (ALC). b La salida lineal obtenida del ALC se aplica a un Conmutador Bipolar. b El Umbral de la F. de T. se representa a través de una conexión ficticia de peso Wo (b)

11 AGOSTO 200911 Arquitectura de ADALINE

12 Aplicaciones

13 AGOSTO 200913 Aplicaciones de ADALINE  Procesamiento de Señales. Filtros que eliminen el ruido en señales portadoras de información.Filtros que eliminen el ruido en señales portadoras de información. Filtros de ecualización adaptativos en Módems de alta velocidad.Filtros de ecualización adaptativos en Módems de alta velocidad. Cancelación del ruido materno de grabaciones ECG del latido del feto humano.Cancelación del ruido materno de grabaciones ECG del latido del feto humano.

14 AGOSTO 200914 Aplicaciones (continuación) Eliminación de ecos en circuitos telefónicos.Eliminación de ecos en circuitos telefónicos. Canceladores adaptativos del eco para el filtrado de señales en comunicaciones telefónicas de larga distancia y comunicaciones vía satélite.Canceladores adaptativos del eco para el filtrado de señales en comunicaciones telefónicas de larga distancia y comunicaciones vía satélite.

15 AGOSTO 200915 Filtros Adaptativos Tapped Delay LineAdaptive Filter

16 AGOSTO 200916 Ejem. : Cancelación de Ruido

17 AGOSTO 200917 Cancelación de ruido, Filtro Adaptativo

18 Algoritmo de Aprendizaje

19 AGOSTO 200919 Aprendizaje en la Red ADALINE Aprendizaje OFF-LINE con Supervisión LMS LMS trata de minimizar una diferencia entre el valor obtenido y el deseado; como en el PERCEPTRON, sólo que ahora la salida considerada es la salida obtenida al aplicar una función de activación lineal.

20 AGOSTO 200920 Aprendizaje en ADALINE (continuación) b El entrenamiento de la red consiste en adaptar los pesos a medida que se vayan presentando los patrones de entrenamiento y salidas deseadas para cada uno de ellos. b Para cada combinación E/S se realiza un proceso automático de pequeños ajustes en los valores de los pesos hasta que se obtienen las salidas correctas.

21 AGOSTO 200921 Ecuaciones Principales En forma de Matriz :  es la velocidad de aprendizaje determinada por Donde : max : es el eigenvalor más grande de la matriz Hessiana R

22 AGOSTO 200922 Algoritmo de Aprendizaje en ADALINE 1. Se aplica un patrón de entrada P. 2. Se obtiene la salida del ALC y se calcula la diferencia con respecto a la deseada (error). 3. Se actualizan los pesos. 4. Se repiten pasos 1 a 3 con todos los vectores de entrada. 5. Si el Error es un valor aceptable, detenerse, si no repetir algoritmo.

23 AGOSTO 200923 Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error Regla de Widrow-Hoff

24 AGOSTO 200924 La derivada de la suma del error cuadrático con respecto a un peso W(i,j) (de la entrada j a la neurona i) para un solo vector de entrada p y vector objetivo t, es:

25 AGOSTO 200925 La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr. En forma de matriz: Transformando a la expresión del umbral (considerando que en el umbral es un peso con entradas de 1):

26 Superficie de Error

27 AGOSTO 200927 a) ADALINE b) PERCEPTRÓN Superficies de error

28 AGOSTO 200928 Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal Superficies de Error

29 AGOSTO 200929 Función de error. |Para un ALC con solo dos pesos, la superficie de error es un paraboloide. Los pesos que minimizan el error se tienen en el fondo de la superficie paraboloidal

30 Ejercicios

31 AGOSTO 200931 Ejemplo 1 BananaManzana

32 AGOSTO 200932 Iteración Uno Banana

33 AGOSTO 200933 Iteración dos Manzana

34 AGOSTO 200934 Iteración Tres

35 Simulación de ADALINE en Neural Network Toolbox de Matlab

36 AGOSTO 200936 Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b na a = purelin(w*p+b) a = w*p+b 0 0 1 a a b/w p n a = purelin(n)

37 AGOSTO 200937 ADALINE Network  w i w i1  w i2  w iR  =

38 AGOSTO 200938  [W,b]=initlin(P,T) b crea un conjunto de pesos y umbrales aleatorios iniciales positivos y negativos para una red Adaline. b Toma una matriz de de vectores de entrada P, y de salida TS, regresando los valores de W y b correspondientes a las dimensiones de la red.

39 AGOSTO 200939  [W,b]=solvelin(P,T);  W=solvelin(P,T);  Diseña redes Adaline directamente si se conocen sus vectores de entrada y objetivo, calculando los valores de los pesos y el bias sin necesidad de entrenamiento.

40 AGOSTO 200940  [W,b,ep,tr]= trainwh(W,b,P,T,tp)  tp=[disp_freq max-epoch err-goal lr] b Entrena una red Adaline, hasta alcanzar el minimo error eepecificado en sus parametros iniciales.

41 AGOSTO 200941  A=simulin(P,W,b) b Simula la red Adaline con los parametros calculados en el entrenamiento y prueba cada uno de los patrones clasificandolos.

42 AGOSTO 200942 Entrenamiento Paso a Paso A = simulin (P,W,b) E = T - A [dW,db] = learnwh (P,E,lr) W = W + dW b = b + dW

43 AGOSTO 200943 E = T - A; [ dW, db ] = learnwh( P, E, lr ) lr es la tasa de aprendizaje. Si es grande, el aprendizaje es rápido, pero si es demasiado grande, el aprendizaje es inestable y puede incrementarse el error. lr = maxlinlr( P ); % si se utiliza bias lr = maxlinlr( P, ‘bias’ ); %si no se utiliza bias W = W + dW; b = b + db;

44 AGOSTO 200944 Ejemplo de Codificación  P = [ 1 1; 1 -1 ];  T= [ 1 0];  [W,b] = initlin ( P,T )  [W,b] = solvelin ( P,T )  plotpv ( P,T )  plotpc ( W,b )

45 AGOSTO 200945 Dudas ???

46 AGOSTO 200946 Hasta la próxima !!!