ADALINE — The Adaptive Linear Element 12/04/2017 Control inteligente ADALINE — The Adaptive Linear Element

Agenda Estructura de la Adaline Aproximacion lineal de una funcion 12/04/2017 Agenda Estructura de la Adaline Aproximacion lineal de una funcion Regla de aprendizaje Widrow-Hoff Adaline como un filtro lineal adaptativo Identificacion de sistemas adaptativo Cancelacion adaptativa de ruido Nov 2005

Estructura de la Adaline 12/04/2017 Estructura de la Adaline

ADALINE (Adaptive Linear Element) 12/04/2017 ADALINE (Adaptive Linear Element) Desarrollada por Widrow & Hoff (1960) La Adaline puede ser vista como el bloque de construccion lineal mas pequeño de las redes neuronales artificiales. Similar al perceptron, es capaz de clasificar patrones linealmente separables La principal diferencia aqui esta en como se crea la señal de error. Nov 2005

Estructura de la Adaline 12/04/2017 Estructura de la Adaline w0 w1 wn x0 x1 xn + sgn(s) . s Algoritmo Adaptivo - d e = d – wTx y Aquí no se considera la salida s Nov 2005

Estructura de la Adaline x1 x2 xn w1 w2 wn .  b 1 funcion de activacion lineal un peso mas, b=0? Nov 2005

Salida de la Adaline La salida de la neurona es la suma pesada de sus entradas Estimado de la neurona de la salida deseada vector de entrada Vector de pesos El proposito del aprendizaje es minimizar la discrepancia entre la salida deseada y la salida de la neurona Nov 2005

Una posible implementacion Una posible implementacion con ADALINE v1 vn G1 Gn i Input: voltages Output: current Nov 2005

Una posible implementacion El problema El problema consiste en encontrar un conjunto de conductancias tales que la conducta de entrada-salida de la ADALINE se acerque a un conjunto de datos de entrada-salida dados conductancias Nov 2005

Comparacion del perceptron y la Adaline Nov 2005

Aproximacion lineal de una funcion 12/04/2017 Aproximacion lineal de una funcion

El problema y = f(x) p × N matrix 1 × N matrix Sea una funcion de p variables, y una salida La funcion a ser aproximada linealmente se conoce en N puntos (patrones de entrenamiento). y = f(x) p × N matrix 1 × N matrix Nov 2005

Solucion con Adaline Para aproximar la funcion consideremos una Adaline de p entradas y una salida Caracterizada por un vector de pesos w, 1×p, 1×p weight vector Nov 2005

Salida de la Adaline p × N matrix 1 × N matrix Para cada vector de entrada, x(n), la Adaline calcula la salida real N puntos (patrones de entrenamiento) p × N matrix 1 × N matrix Nov 2005

Salida de la Adaline 1× N matrix ¿Como medir las discrepancias? El conjunto completo de salida 1, .., N puede ser calculada matricialmente: 1× N matrix ¿Como medir las discrepancias? Nov 2005

El indice de desempeño Definimos el error El indice de desempeño, puede ser el error cuadratico medio para los N valores de entrenamiento: Nov 2005

El indice de desempeño El indice de desempeño puede expresarse como: donde e es el vector N × 1 de todos los errores Nov 2005

Un problema de optimizacion El problema de la aproximacion es el de minimizar el indice de desempeño Diferentes metodos LMS (Least Mean Squares) Algoritmos basados en el gradiente Nov 2005

El indice de desempeño El indice de desempeño puede calcularse de la manera siguiente: Nov 2005

El indice de desempeño Denotados como q = (D · XT )/N the 1 × p vector de correlacion cruzada R = (X · XT )/N the p × p matriz de correlacion de entrada Nov 2005

El indice de desempeño El objetivo es hallar w tal que se minimize J Nov 2005

Solucion por minimos cuadrados A fin de hallar el vector de pesos optimo se calcula el gradiente de J con respecto a w: igualando a cero Nov 2005

Solucion por minimos cuadrados La solucion, si existe, puede encontrarse facilmente, y es igual a: X es la matriz de N datos de entrada El modelo Adaline puede encontrarse usando el metodo de los minimos cuadrados Nov 2005

Ejemplo Aproximar una pequeña seccion de la superficie no lineal 2-D con un plano, el cual es especificado por un vector de pesos de una neurona lineal. Nov 2005

Ejemplo Ver adln1.m funcion Adaline Nov 2005

Regla de aprendizaje Widrow-Hoff 12/04/2017 Regla de aprendizaje Widrow-Hoff

Aprendizaje Widrow-Hoff Sin embargo, el metodo MLS puede ser lento (requiere de demasiados calculos!) si p es grande, por lo tanto Widrow & Hoff propone el descenso por el gradiente Para minimizar f , se esoge w =   J Nov 2005

El indice de desempeño El indice de desempeño puede expresarse como: donde e es el vector N × 1 de todos los errores Nov 2005

El indice de desempeño El indice de desempeño puede expresarse como: donde e es el error cometido en la muestra n Nov 2005

Descenso por el gradiente Calculando el gradiente de la funcion de costo (por muestra) Nov 2005

Aprendizaje Widrow-Hoff El algoritmo del descenso por el gradiente es Conocido tambien como Ley de aprendizaje de Widrow-Hoff Regla Delta Nov 2005

Adaline como un filtro lineal adaptativo 12/04/2017 Adaline como un filtro lineal adaptativo

Vectores de señales En el procesamiento de señales en tiempo real una señal analoga pasa por un conversor A/D, el cual produce muestras de la señal Estas muestras pueden agruparse en un vector de p elementos de la señal de entrada, Nov 2005

Vectores de señales Este vector, de la muestra actual y las p-1 pasadas, es creado por una linea de retardo Nov 2005

La Adaline como un filtro adaptativo FIR Si conectamos las salidas de los elementos de retardo a las sinapsis de una Adaline, resultra en una estructura de procesamiento de señales conocida como Filtro digital lineal de orden p FIR (Finite-Impulse-esponse) Nov 2005

La Adaline como un filtro adaptativo FIR Diagrama de bloques La salida del filtro, y(n) seguira la salida deseada, d(n). Nov 2005

Ejemplo En este ejemplo se configura una Adaline para predecir una señal 1-D (serie de tiempo) Ver adlpr.m Nov 2005

Identificacion de sistemas adaptativo 12/04/2017 Identificacion de sistemas adaptativo

Sistema MA desconocido Considere una señal de tiempo-discreto x(n), la cual es procesada por un sistema Moving-Average (MA) desconocido Tal sistema tiene la misma estructura de una Adaline con parametros (pesos) desconocidos, siendo b un vector de p elementos Nov 2005

Identificacion de sistemas adaptativo Es posible usar otra Adaline para observar las entradas y salidas del sistemas y adaptar sus pesos Nov 2005

Ejemplo Ver adsid.m Nov 2005

Cancelacion adaptativa de ruido 12/04/2017 Cancelacion adaptativa de ruido

La situacion Una señal util, u(n), es perturbada por un ruido, x(n). por ejemplo, la voz de un piloto en un avion perturbada por el ruido originado por ejemplo desde el motor El ruido es coloreado por un filtro FIR desconocido El problema consiste en filtrar el ruido con el fin de obtener un estimado de la señal original Nov 2005

Cancelacion adaptativa de ruido Considere el sistema Nov 2005

Resultados Ver adlnc.m Nov 2005

Aplicaciones Nov 2005

Cancelación de Ruido Nov 2005

Cancelación de Ruido Potencia de ruido de salida Numero de adaptaciones (cientos) Nov 2005

Cancelación de la interferencia de 60hz en un ECG Nov 2005

Cancelación de la interferencia de 60hz en un ECG Nov 2005

Cancelación del ECG Materno durante un ECG Fetal Nov 2005

Cancelación del ECG Materno durante un ECG Fetal Nov 2005

Cancelación del ECG Materno durante un ECG Fetal Nov 2005

12/04/2017 Fuentes Andrew P. Paplinski, CSE5301 Neuro-Fuzzy Computing (Neural Networks and Fuzzy Systems). Lecture Notes. Monash University, Australia. 1 June 2005. Martin Hagan, Neural Network Design Demonstrations. PWS Publishing Company. 1994 Heikki Koivo, Neuro-Fuzzy Computing in Automation, course material. Control Engineering Laboratory. Helsinki University of Technology. Spring 2002. Jeen-Shing Wang, Course: Introduction to Neural Networks. Lecture notes. Department of Electrical Engineering. National Cheng Kung University. Fall, 2005 Wen Yu, Advanced Fuzzy neural networks. Lecture notes. Departamento de Control Automatico. CINVESTAV-IPN. 2005 Nov 2005

12/04/2017 Sources J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997. Djamel Bouchaffra. Soft Computing. Course materials. Oakland University. Fall 2005 Lucidi delle lezioni, Soft Computing. Materiale Didattico. Dipartimento di Elettronica e Informazione. Politecnico di Milano. 2004 Handbook of Neural Computation. release 97/1. IOP Publishing Ltd and Oxford University Press. 1997 A. S. Hodel, Neural Networks, notes of ELEC 6240 course. Dept. ECE, Auburn University. November 19, 2003. Nov 2005