ADALINE — The Adaptive Linear Element

Presentación del tema: "ADALINE — The Adaptive Linear Element"— Transcripción de la presentación:

1 ADALINE — The Adaptive Linear Element
12/04/2017 Control inteligente ADALINE — The Adaptive Linear Element

2 Agenda Estructura de la Adaline Aproximacion lineal de una funcion
12/04/2017 Agenda Estructura de la Adaline Aproximacion lineal de una funcion Regla de aprendizaje Widrow-Hoff Adaline como un filtro lineal adaptativo Identificacion de sistemas adaptativo Cancelacion adaptativa de ruido Nov 2005

3 Estructura de la Adaline
12/04/2017 Estructura de la Adaline

4 ADALINE (Adaptive Linear Element)
12/04/2017 ADALINE (Adaptive Linear Element) Desarrollada por Widrow & Hoff (1960) La Adaline puede ser vista como el bloque de construccion lineal mas pequeño de las redes neuronales artificiales. Similar al perceptron, es capaz de clasificar patrones linealmente separables La principal diferencia aqui esta en como se crea la señal de error. Nov 2005

5 Estructura de la Adaline
12/04/2017 Estructura de la Adaline w0 w1 wn x0 x1 xn + sgn(s) . s Algoritmo Adaptivo - d e = d – wTx y Aquí no se considera la salida s Nov 2005

6 Estructura de la Adaline
x1 x2 xn w1 w2 wn .  b 1 funcion de activacion lineal un peso mas, b=0? Nov 2005

7 Salida de la Adaline La salida de la neurona es la suma pesada de sus entradas Estimado de la neurona de la salida deseada vector de entrada Vector de pesos El proposito del aprendizaje es minimizar la discrepancia entre la salida deseada y la salida de la neurona Nov 2005

8 Una posible implementacion
Una posible implementacion con ADALINE v1 vn G1 Gn i Input: voltages Output: current Nov 2005

9 Una posible implementacion
El problema El problema consiste en encontrar un conjunto de conductancias tales que la conducta de entrada-salida de la ADALINE se acerque a un conjunto de datos de entrada-salida dados conductancias Nov 2005

10 Comparacion del perceptron y la Adaline
Nov 2005

11 Aproximacion lineal de una funcion
12/04/2017 Aproximacion lineal de una funcion

12 El problema y = f(x) p × N matrix 1 × N matrix
Sea una funcion de p variables, y una salida La funcion a ser aproximada linealmente se conoce en N puntos (patrones de entrenamiento). y = f(x) p × N matrix 1 × N matrix Nov 2005

13 Solucion con Adaline Para aproximar la funcion consideremos una Adaline de p entradas y una salida Caracterizada por un vector de pesos w, 1×p, 1×p weight vector Nov 2005

14 Salida de la Adaline p × N matrix 1 × N matrix
Para cada vector de entrada, x(n), la Adaline calcula la salida real N puntos (patrones de entrenamiento) p × N matrix 1 × N matrix Nov 2005

15 Salida de la Adaline 1× N matrix ¿Como medir las discrepancias?
El conjunto completo de salida 1, .., N puede ser calculada matricialmente: 1× N matrix ¿Como medir las discrepancias? Nov 2005

16 El indice de desempeño Definimos el error
El indice de desempeño, puede ser el error cuadratico medio para los N valores de entrenamiento: Nov 2005

17 El indice de desempeño El indice de desempeño puede expresarse como:
donde e es el vector N × 1 de todos los errores Nov 2005

18 Un problema de optimizacion
El problema de la aproximacion es el de minimizar el indice de desempeño Diferentes metodos LMS (Least Mean Squares) Algoritmos basados en el gradiente Nov 2005

19 El indice de desempeño El indice de desempeño puede calcularse de la manera siguiente: Nov 2005

20 El indice de desempeño Denotados como
q = (D · XT )/N the 1 × p vector de correlacion cruzada R = (X · XT )/N the p × p matriz de correlacion de entrada Nov 2005

21 El indice de desempeño El objetivo es hallar w tal que se minimize J
Nov 2005

22 Solucion por minimos cuadrados
A fin de hallar el vector de pesos optimo se calcula el gradiente de J con respecto a w: igualando a cero Nov 2005

23 Solucion por minimos cuadrados
La solucion, si existe, puede encontrarse facilmente, y es igual a: X es la matriz de N datos de entrada El modelo Adaline puede encontrarse usando el metodo de los minimos cuadrados Nov 2005

24 Ejemplo Aproximar una pequeña seccion de la superficie no lineal 2-D
con un plano, el cual es especificado por un vector de pesos de una neurona lineal. Nov 2005

25 Ejemplo Ver adln1.m funcion Adaline Nov 2005

26 Regla de aprendizaje Widrow-Hoff
12/04/2017 Regla de aprendizaje Widrow-Hoff

27 Aprendizaje Widrow-Hoff
Sin embargo, el metodo MLS puede ser lento (requiere de demasiados calculos!) si p es grande, por lo tanto Widrow & Hoff propone el descenso por el gradiente Para minimizar f , se esoge w =   J Nov 2005

28 El indice de desempeño El indice de desempeño puede expresarse como:
donde e es el vector N × 1 de todos los errores Nov 2005

29 El indice de desempeño El indice de desempeño puede expresarse como:
donde e es el error cometido en la muestra n Nov 2005

30 Descenso por el gradiente
Calculando el gradiente de la funcion de costo (por muestra) Nov 2005

31 Aprendizaje Widrow-Hoff
El algoritmo del descenso por el gradiente es Conocido tambien como Ley de aprendizaje de Widrow-Hoff Regla Delta Nov 2005

32 Adaline como un filtro lineal adaptativo
12/04/2017 Adaline como un filtro lineal adaptativo

33 Vectores de señales En el procesamiento de señales en tiempo real una señal analoga pasa por un conversor A/D, el cual produce muestras de la señal Estas muestras pueden agruparse en un vector de p elementos de la señal de entrada, Nov 2005

34 Vectores de señales Este vector, de la muestra actual y las p-1 pasadas, es creado por una linea de retardo Nov 2005

35 La Adaline como un filtro adaptativo FIR
Si conectamos las salidas de los elementos de retardo a las sinapsis de una Adaline, resultra en una estructura de procesamiento de señales conocida como Filtro digital lineal de orden p FIR (Finite-Impulse-esponse) Nov 2005

36 La Adaline como un filtro adaptativo FIR
Diagrama de bloques La salida del filtro, y(n) seguira la salida deseada, d(n). Nov 2005

37 Ejemplo En este ejemplo se configura una Adaline para predecir una señal 1-D (serie de tiempo) Ver adlpr.m Nov 2005

38 Identificacion de sistemas adaptativo
12/04/2017 Identificacion de sistemas adaptativo

39 Sistema MA desconocido
Considere una señal de tiempo-discreto x(n), la cual es procesada por un sistema Moving-Average (MA) desconocido Tal sistema tiene la misma estructura de una Adaline con parametros (pesos) desconocidos, siendo b un vector de p elementos Nov 2005

40 Identificacion de sistemas adaptativo
Es posible usar otra Adaline para observar las entradas y salidas del sistemas y adaptar sus pesos Nov 2005

41 Ejemplo Ver adsid.m Nov 2005

42 Cancelacion adaptativa de ruido
12/04/2017 Cancelacion adaptativa de ruido

43 La situacion Una señal util, u(n), es perturbada por un ruido, x(n). por ejemplo, la voz de un piloto en un avion perturbada por el ruido originado por ejemplo desde el motor El ruido es coloreado por un filtro FIR desconocido El problema consiste en filtrar el ruido con el fin de obtener un estimado de la señal original Nov 2005

44 Cancelacion adaptativa de ruido
Considere el sistema Nov 2005

45 Resultados Ver adlnc.m Nov 2005

46 Aplicaciones Nov 2005

47 Cancelación de Ruido Nov 2005

48 Cancelación de Ruido Potencia de ruido de salida
Numero de adaptaciones (cientos) Nov 2005

49 Cancelación de la interferencia de 60hz en un ECG
Nov 2005

50 Cancelación de la interferencia de 60hz en un ECG
Nov 2005

51 Cancelación del ECG Materno durante un ECG Fetal
Nov 2005

52 Cancelación del ECG Materno durante un ECG Fetal
Nov 2005

53 Cancelación del ECG Materno durante un ECG Fetal
Nov 2005

54 12/04/2017 Fuentes Andrew P. Paplinski, CSE5301 Neuro-Fuzzy Computing (Neural Networks and Fuzzy Systems). Lecture Notes. Monash University, Australia. 1 June 2005. Martin Hagan, Neural Network Design Demonstrations. PWS Publishing Company. 1994 Heikki Koivo, Neuro-Fuzzy Computing in Automation, course material. Control Engineering Laboratory. Helsinki University of Technology. Spring 2002. Jeen-Shing Wang, Course: Introduction to Neural Networks. Lecture notes. Department of Electrical Engineering. National Cheng Kung University. Fall, 2005 Wen Yu, Advanced Fuzzy neural networks. Lecture notes. Departamento de Control Automatico. CINVESTAV-IPN. 2005 Nov 2005

55 12/04/2017 Sources J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997. Djamel Bouchaffra. Soft Computing. Course materials. Oakland University. Fall 2005 Lucidi delle lezioni, Soft Computing. Materiale Didattico. Dipartimento di Elettronica e Informazione. Politecnico di Milano. 2004 Handbook of Neural Computation. release 97/1. IOP Publishing Ltd and Oxford University Press. 1997 A. S. Hodel, Neural Networks, notes of ELEC 6240 course. Dept. ECE, Auburn University. November 19, 2003. Nov 2005