Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)

Slides:



Advertisements
Presentaciones similares
Silvana Arias Carla Espinosa Livia Loaiza INGENIERIA EN SISTEMAS
Advertisements

6. Sistemas Autoorganizados
7. Máquinas Estocásticas
REDES NEURONALES Universidad Autónoma del estado de hidalgo
K-NN: K vecinos más cercanos
MATLAB MAYO 5 DEL 2005 IMPLEMENTACION DE LA FUNCION LOGICA XOR, MEDIANTE UN MODELO NEURONAL Y EL ALGORITMO BACKPROPAGATION EXPOSITORES: ANDRES FELIPE RESTREPO.
Redes neuronales2 José Edinson Aedo Cobo Depto. de Ing. Electrónica.
EL ALGORITMO ADAPTATIVO MINIMO CUADRADO RECURSIVO RLS
APRENDIZAJE WIDROW- HOFF
El Perceptrón  El psicólogo Frank Ronsenblant desarrolló un modelo simple de neurona basado en el modelo de McCulloch y Pitts que utilizaba.
Juan Andrés Negreira 22 de febrero de 2007
Redes Neuronales Adaline y Madaline
Filtros adaptativos Implementación en DSP
Introducción Calculabilidad clásica Computación celular
Redes Neuronales Monocapa
ADALINE — The Adaptive Linear Element
Ejemplo de aplicación de las ANN
Image Processing Using FL and ANN Chapter 10 Dr. Mario Chacón DSP & Vision Lab.
1 Problema no separable linealmente Se busca obtener un algoritmo más general que permita integrar el aprendizaje entre las dos capas.
Un ejemplo ilustrativo
Redes Asociativas.
Contenido Identificación de sistemas con redes neuronales Modelado de dinámica temporal de las manchas solares.
Redes Neuronales Artificiales
Aprendizaje de Agentes II Alberto Reyes Ballesteros Programa ITESM-IIE Doctorado en Ciencias Computacionales.
ALGORITMOS GEN É TICOS: DETECCI Ó N DE BORDES EN IM Á GENES Daniel Mej í as Pinto Luis Manuel Merino Su á rez.
Modelos Computacionales
Redes Competitivas.
REDES NEURONALES.
La estimacion de parametros
Redes Neuronales Artificiales
Aprendizaje Automatizado
Redes Neuronales Artificiales 2 - Aprendizaje
CARPLATE Reconocimiento del marco de la matrícula de un coche
Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica
Introduccion a las Redes de Funciones de Base Radial
REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES
Control Directo del Par sin Sensores de Velocidad par MI.
Una Estructura en Cascada para Prediccion Lineal Adaptiva Presentado por: Guillermo Dalla Vecchia ) Martes 14 de Setiembre, 2003.
Redes Neuronales BPN - Backpropagation Networks
Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI.
Redes neuronales feed-forward
Realimentacion de estado
L A ESTIMACION DE PARAMETROS 1. /31 CONTENIDO Principio fundamental de la estimación de parámetros Un metodo grafico para la estimacion de parametros.
Realimentacion de estado
Identificacion con redes neuronales
/47 Sistemas dinamicos Realimentacion de la salida 1.
/52 Sistemas dinamicos Realimentacion de estado 1.
Realimentacion de la salida
Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas.
Ángel Berihuete Francisco Álvarez
OPTIMIZACION DEL DESEMPEÑO DE ERROR
Realimentacion de la salida
Tópicos en Inteligencia Artificial I Universidad Católica San Pablo.
Detecccion de caras1 Deteccion de caras-2 A fast and accurate face detector based on neural networks, R. Feraud, O.J. Bernier, J.E. Viallet, M. Collobert,
Support Vector Machines.  Vocabulario básico: ◦ Repositorio de datos ◦ Atributos y Instancias ◦ Aprendizaje supervisado  Clasificación (Clase) ◦ Aprendizaje.
1 Unidad de Aprendizaje Redes Neuronales Artificiales Supervisadas Red Neuronal Tipo Retropropagación (Backpropagation) Presenta: M en C José Antonio Castillo.
Republica Bolivariana de Venezuela Ministerio del Poder Popular para la Defensa UNEFA- Ingeniería en telecomunicaciones. 5to Semestre.- sección 03 Profesora:
MODELOS LINEALES ALGEBRA DE MATRICES Uso de MatLab.
Digitalización de la información. La digitalización consiste en la transformación de la información analógica, propia de la naturaleza en información digital.
Los GPS y las Coordenadas Esféricas Análisis Real y Complejo. Luis Bayón. Universidad de Oviedo.
Robótica Móvil CC5316 Clase 13: EKF y UKF Semestre Primavera 2012 Profesor: Pablo Guerrero.
MICROBIOLOGÍA DE ALIMENTOS DR. IVÁN SALMERÓN I.Q DANIA ARELY QUEZADA QUIROZ.
Visually guided movements: learning with modular neural maps in robotics Jean-Luc Buessler, Jean Philippe Urban Neural Networks 11(1998)
Índice 1.El problema del movimiento 2.La posición de los cuerpos 3.La velocidad de los cuerpos 4.La aceleración de los cuerpos X. CINEMÁTICA 2.
Redes Neuronales Perceptron, Backpropagation, Adaline, Hopfield.
Redes Neuronales Artificiales (ANN)
Unidad 9. Fuentes de Alimentación lineales. MODULO I. MONTAJE DE COMPONENTES ELECTRÓNICOS.

Controladores PID Controladores PID
C ÁLCULO I NTEGRAL Profesor: Manuel Guillermo López Félix Multiversidad Latinoamericana Hermosillo Norte Repaso primero parcial Sexto semestre Competencias.
Transcripción de la presentación:

Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)

AGOSTO REDES ADALINE Y MADALINE b Desarrolladas en 1960 por Bernie Widrow y Marcian Hoff en la Universidad de Stanford. b ADALINE: ADAptive LINear Element b ADALINE: Una única Neurona de Salida. b MADALINE: Varias Neuronas de Salida. b MADALINE (Multiple ADALINE)

AGOSTO Bernard Widrow Professor Adaptive Systems. Widrow concentrates on adaptive signal processing, adaptive control systems, and adaptive neural networks. Adaptive systems have the ability to learn and improve their behavior through contact with their environments. Applications include signal processing, control systems, and pattern recognition. Sc.D. MIT 1956 Department of Electrical Engineering Durand Bldg., Rm

AGOSTO Marcian E. Hoff Marcian E. Hoff was born in 1937 in Rochester N.Y. and graduated with a degree in Electrical Engineering from Rensselaer Polytechnic Institute in He received his Ph.D. from Stanford University in 1962 and stayed on as a research associate in computer area until Hoff joined Intel as Manager of Application Research in 1968, became an Intel fellow in 1980 and remained in this position until After a year at Atari, Marcian E. Hoff became a consultant with time for independent technical projects. Dr. M. E. Hoff is a recipient of the Stuart Ballantine award of the Franklin Institute, the Cledo Brunetti Award and holds an IEEE Centennial Medal. Dr. Hoff is a member of Sigma Xi and is an IEEE Fellow.

Características

AGOSTO Diferencias con el PERCEPTRON b Algoritmo de aprendizaje: Regla del Mínimo Error Cuadrado Medio (LMS), o regla Delta, o regla de Widrow-Hoff b Su función de transferencia es lineal, (pureline ) b Procesamiento de información analógica, tanto de entrada como de salida, utilizando una función de Activación Lineal o Sigmoidal. b También puede resolver problemas linealmente separables.

AGOSTO Diferencias con el PERCEPTRON b El algoritmo LMS minimiza el error cuadrático medio y trata de mover la frontera de decisión tan lejos como sea posible de los patrones de entrenamiento b La red ADALINE es menos sensible al ruido b Las redes ADALINE y MADALINE tiene usos prácticos en el procesamiento de señales digitales.

Arquitectura

AGOSTO Arquitectura de ADALINE X 0 =1 X1X1 W0W0 XNXN X2X2 X3X3 W1W1 W2W2 W3W3 WNWN S sSalida Lineal Salida y Combinador Adaptativo Lineal Conmutador linear s y

AGOSTO Arquitectura de ADALINE b Formada por un elemento denominado: Combinador Adaptativo Lineal (ALC). b La salida lineal obtenida del ALC se aplica a un Conmutador Bipolar. b El Umbral de la F. de T. se representa a través de una conexión ficticia de peso Wo (b)

AGOSTO Arquitectura de ADALINE

Aplicaciones

AGOSTO Aplicaciones de ADALINE  Procesamiento de Señales. Filtros que eliminen el ruido en señales portadoras de información.Filtros que eliminen el ruido en señales portadoras de información. Filtros de ecualización adaptativos en Módems de alta velocidad.Filtros de ecualización adaptativos en Módems de alta velocidad. Cancelación del ruido materno de grabaciones ECG del latido del feto humano.Cancelación del ruido materno de grabaciones ECG del latido del feto humano.

AGOSTO Aplicaciones (continuación) Eliminación de ecos en circuitos telefónicos.Eliminación de ecos en circuitos telefónicos. Canceladores adaptativos del eco para el filtrado de señales en comunicaciones telefónicas de larga distancia y comunicaciones vía satélite.Canceladores adaptativos del eco para el filtrado de señales en comunicaciones telefónicas de larga distancia y comunicaciones vía satélite.

AGOSTO Filtros Adaptativos Tapped Delay LineAdaptive Filter

AGOSTO Ejem. : Cancelación de Ruido

AGOSTO Cancelación de ruido, Filtro Adaptativo

Algoritmo de Aprendizaje

AGOSTO Aprendizaje en la Red ADALINE Aprendizaje OFF-LINE con Supervisión LMS LMS trata de minimizar una diferencia entre el valor obtenido y el deseado; como en el PERCEPTRON, sólo que ahora la salida considerada es la salida obtenida al aplicar una función de activación lineal.

AGOSTO Aprendizaje en ADALINE (continuación) b El entrenamiento de la red consiste en adaptar los pesos a medida que se vayan presentando los patrones de entrenamiento y salidas deseadas para cada uno de ellos. b Para cada combinación E/S se realiza un proceso automático de pequeños ajustes en los valores de los pesos hasta que se obtienen las salidas correctas.

AGOSTO Ecuaciones Principales En forma de Matriz :  es la velocidad de aprendizaje determinada por Donde : max : es el eigenvalor más grande de la matriz Hessiana R

AGOSTO Algoritmo de Aprendizaje en ADALINE 1. Se aplica un patrón de entrada P. 2. Se obtiene la salida del ALC y se calcula la diferencia con respecto a la deseada (error). 3. Se actualizan los pesos. 4. Se repiten pasos 1 a 3 con todos los vectores de entrada. 5. Si el Error es un valor aceptable, detenerse, si no repetir algoritmo.

AGOSTO Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error Regla de Widrow-Hoff

AGOSTO La derivada de la suma del error cuadrático con respecto a un peso W(i,j) (de la entrada j a la neurona i) para un solo vector de entrada p y vector objetivo t, es:

AGOSTO La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr. En forma de matriz: Transformando a la expresión del umbral (considerando que en el umbral es un peso con entradas de 1):

Superficie de Error

AGOSTO a) ADALINE b) PERCEPTRÓN Superficies de error

AGOSTO Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal Superficies de Error

AGOSTO Función de error. |Para un ALC con solo dos pesos, la superficie de error es un paraboloide. Los pesos que minimizan el error se tienen en el fondo de la superficie paraboloidal

Ejercicios

AGOSTO Ejemplo 1 BananaManzana

AGOSTO Iteración Uno Banana

AGOSTO Iteración dos Manzana

AGOSTO Iteración Tres

Simulación de ADALINE en Neural Network Toolbox de Matlab

AGOSTO Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b na a = purelin(w*p+b) a = w*p+b a a b/w p n a = purelin(n)

AGOSTO ADALINE Network  w i w i1  w i2  w iR  =

AGOSTO  [W,b]=initlin(P,T) b crea un conjunto de pesos y umbrales aleatorios iniciales positivos y negativos para una red Adaline. b Toma una matriz de de vectores de entrada P, y de salida TS, regresando los valores de W y b correspondientes a las dimensiones de la red.

AGOSTO  [W,b]=solvelin(P,T);  W=solvelin(P,T);  Diseña redes Adaline directamente si se conocen sus vectores de entrada y objetivo, calculando los valores de los pesos y el bias sin necesidad de entrenamiento.

AGOSTO  [W,b,ep,tr]= trainwh(W,b,P,T,tp)  tp=[disp_freq max-epoch err-goal lr] b Entrena una red Adaline, hasta alcanzar el minimo error eepecificado en sus parametros iniciales.

AGOSTO  A=simulin(P,W,b) b Simula la red Adaline con los parametros calculados en el entrenamiento y prueba cada uno de los patrones clasificandolos.

AGOSTO Entrenamiento Paso a Paso A = simulin (P,W,b) E = T - A [dW,db] = learnwh (P,E,lr) W = W + dW b = b + dW

AGOSTO E = T - A; [ dW, db ] = learnwh( P, E, lr ) lr es la tasa de aprendizaje. Si es grande, el aprendizaje es rápido, pero si es demasiado grande, el aprendizaje es inestable y puede incrementarse el error. lr = maxlinlr( P ); % si se utiliza bias lr = maxlinlr( P, ‘bias’ ); %si no se utiliza bias W = W + dW; b = b + db;

AGOSTO Ejemplo de Codificación  P = [ 1 1; 1 -1 ];  T= [ 1 0];  [W,b] = initlin ( P,T )  [W,b] = solvelin ( P,T )  plotpv ( P,T )  plotpc ( W,b )

AGOSTO Dudas ???

AGOSTO Hasta la próxima !!!