Portafolio de evidencias Universidad Autónoma del estado de hidalgo Portafolio de evidencias Aprendizaje Supervisado y No Supervisado de Redes Neuronales Facilitador: Dr. Joel Suarez Autor: Ing. Henry P. Paz Arias enero de 2019

INDICE 4.- Evidencias 5.- Conclusiones 6.- Referencias 1.- Introducción 2.- Objetivos 3.- Descripción del contenido 3.1.- Aprendizaje 3.1.1.- Aprendizaje Supervisado 3.1.1.1.- Perceptron Simple 3.1.1.2.- Asociador Lineal 3.1.1.2.1.- Expansión 3.1.1.2.2.- Pseudo-Inversa 3.1.1.3.- Perceptron Multicapa 3.1.1.4.- Base Radial 3.1.2.- Aprendizaje no Supervisado 3.1.2.1.- Aprendizaje Asociativo 3.1.2.2.- Redes Competitivas 3.1.2.3.- Redes Auto-organizadas 4.- Evidencias 5.- Conclusiones 6.- Referencias

1.- INTRODUCCIÓN En este portafolio de evidencias se presenta diferentes temas para entender el comportamiento aprendizaje de las redes neuronales, tanto de manera supervisada como no supervisada.

2.- OBJETIVOS Entender los diferentes tipos de métodos para aprendizaje no Supervisado. Codificar en matlab los métodos. Entender los métodos de reconocimiento Supervisado.

3.- DESCRIPCIÓN DEL CONTENIDO

Error cuadrático parcial 3.1 Aprendizaje La principal característica para que exista aprendizaje es la modificación de los pesos, pero para modificar los pesos el error cuadrático parcial debe ser mínimo: X Not Integración Error parcial Error cuadrático parcial 1 - θ 1- (- θ ) (1 + θ)^2 w – θ 0 – (w - θ) (w - θ)^2

3.1.1 Aprendizaje Supervisado

3.1.1.1 Perceptron simple: W i,nuevo = (W i, viejo) + (di – hardlim((W i, viejo)*X ^t))* X X -1 w1 1 θ wi i θ wm m θ

Ejemplo: x not 1 W inicial = (0,0) Wnuevo = (0,0)+(1-1)(0,-1) = (0,0) W2 nuevo = (0,0)+(0-1)(1-1) = (-1,1) W3 nuevo = (-1,1) +(1-0)(0,-1) = (-1,0) W4 nuevo = (-1,0)+(0,0)(1,-1) = (-1,0) W5 nuevo = (-1,0)+(1-1)(0,-1) = (-1,0)

Posibilidades acerca de X 3.1.1.2 Asociador lineal Ecuación a resolver: Posibilidades acerca de X q < n Rango(X) = q Todos los estímulos son l.i. Tratar con pseudoinversa. Las filas de X son ortogonales. Se puede también con expansión. 2. q = n Rango(X) = n Todos los estímulos son l.i. Tratar con pseudoinversa. 3. q > n Rango(X) < n No todos los estímulos son l.i. Tratar descomposición. Rango(X) = n No todos los estímulos son l.i. Tratar con pseudoinversa. Rango(X) > n !Imposible más vectores l.i. que dimensionalidad de ellos!

3.1.1.2.1 Expansión El caso mas simple se presenta cuando son ortogonales: Se aplica la regla de Hebb supervisada

Ejemplo

3.1.1.2.2 Pseudoinversa. 1. Si rango de X es igual al numero de estímulos pero menor o igual que dimensionalidad de estos (q <= n) Ejemplo

2. Número de columnas linealmente independientes de X menor que número de estímulos Ejemplo:

3.1.1.3 Perceptron Multicapa El perceptrón multicapa es una red neuronal artificial (RNA) formada por múltiples capas, esto le permite resolver problemas que no son linealmente separables.

Entrenamiento El entrenamiento de una red neuronal multicapa se realiza mediante un proceso de aprendizaje supervisado. Topología: Número de neuronas en la capa de entrada. Cantidad de capas ocultas y número de neuronas de cada una de ellas. Número de neuronas en la capa de salida. Funciones de transferencia.

Neurona básica en backpropagation Se desarrolla el algoritmo Backpropagation como un mecanismo de aprendizaje para perceptrones multicapas.

Arquitectura

COMO AJUSTA LOS PESOS DE LA CAPA DE SALIDA

COMO AJUSTA LOS PESOS ENTRE CAPAS OCULTAS

COMO SE DERIVA LAS FORMULAS Minimiza el cuadrado de las diferencias entre las valores calculados y deseados de las salidas sumados sobre todas las unidades de salida y todo los pares, entradas y salidas, del conjunto de entrenamiento. Para un par p de entrenamiento (entrada y salidas) y n unidades de salida, El error total sobre todo los patrones sería

3.1.1.4 Base Radial Broomhead y Lowe, 1988, introducen un método alternativo al perceptrón multicapa. Esto es clasificación no lineal: las redes RBF. A diferencia de las MLP, el modelo clásico de las redes RBF está construido con una arquitectura rígida de tres capas: la de entrada, la oculta y la de salida.

FUNCIONAMIENTO A diferencia de la red usando backpropagation, ésta es solamente hacia delante. Los nodos de la capa de entrada simplemente propagan los valores a los nodos de la capa oculta. La función de activación es una función de base radial para la capa oculta. La salida de los nodos de la capa de entrada están completamente conectados con los nodos de la capa oculta.

De acuerdo a Broomhead y Lowe el proceso de aprendizaje de la red RBF puede ser visto en dos fases: Fase de Entrenamiento. Fase de Generalización: Interpolación entre datos. donde la función F(x) está involucrada con la función lineal G(•) y la combinación lineal con los pesos.

Los pesos podrían ser calculados mediante la inversa de G Los pesos podrían ser calculados mediante la inversa de G. Es decir Y si no se puede calcular la inversa se calcula la pseudo-inversa:

3.1.2 Aprendizaje no Supervisado

3.1.2.1 Aprendizaje Asociativo Estímulo no condicionado: Estímulo que produce una conducta automática que no requiere de un proceso de aprendizaje. Estímulo condicionado: Estímulo que inicialmente no produce una conducta pero que, al aparearse con un estímulo no condicionado, puede producir la correspondiente conducta no condicionada.

Estímulos Condicionados y no Condicionados

3.1.2.2 Redes Competitivas Una red neuronal competitiva consiste en una capa de neuronas en la que todas reciben la misma entrada. La neurona que presenta la mejor salida (la máxima o la mínima según el criterio) es declarada vencedora. Este sistema se denomina a menudo winner-take- all (el ganador lo consigue todo)

Arquitectura Las redes competitivas son usualmente bi-capa. La función de la primera capa es hacer de sensor, por ella entran los patrones a la red y por tanto debe tener el mismo tamaño que la longitud del patrón. Ambas capas están interconectadas, esto es todas las neuronas de la capa de sensores estarán interconectadas con todas las neuronas capa de salida.

Arquitectura (cont…)

Algoritmo de Aprendizaje El algoritmo de aprendizaje comienza inicializando los pesos (wij) con valores aleatorios bajos. A continuación se presenta a la red una información de entrada en forma de vector (x1, x2, ..., xn) que activará a una sola de las neuronas de la capa de salida. A la neurona activada se le denomina ganadora. La neurona ganadora de la capa de salida es aquella cuyo vector de pesos sea más parecido al patrón de entrada (x1, x2, ..., xn). Se modifican los pesos de la neurona ganadora Wnuevos = Wviejos + α(Xi-Wviejos) donde α = Tasa de aprendizaje. [0 a 1] El proceso se repite hasta que la variación de los pesos sea insignificante.

Ejemplo x = (x1,x2) = (-1,0) The initial weight vectors: w1 = (1,0), w2 = (0,1) and w3 = (-0.707,-0.707). The outputs of the three neurons are calculated as follows: (w.x’) s1 = 1 * (-1) + 0 * 0 = -1 s2 = 0 * (-1) + 1 * 0 = 0 s3 = (-0.707) * (-1) + (-0.707) * 0 = 0.707 The winner is S3 Assuming learning α =0.3, the weight vector is updated as follows: w3 = (-0.707,-0.707) + 0.3 * [ (-1,0) - (-0.707,-0.707) ] = (-0.707,-0.707) + 0.3 * [ (-0.293,0.707) ] = (-0.795,-0.495) In other to continue training of the network the weight vector has to be normalized: c = 1.0 / sqrt( wg2 + wg2 ) = 1.0 / sqrt( (-0.795)2 + (-0.495)2 ) = 1.0 / 0.9365 = 1.0678 w'3 = c * w3 = ( 1.0678 * (-0.795), 1.0678 * (-0.495)) = (-0.849,-0.529)

MATLAB function w = ncom(x,w,n) tamx = size(x); tamw = size(w); for i = 1: tamx(1) for j = 1:tamw(1) s(j) = w(j,:)*x(i,:)'; end [val winner] = max(s); pes = w(winner,:)+n*(x(i,:)-w(winner,:)); nor = (1/sqrt(sum(pes.^2)))*pes; w(winner,:) = nor;

3.1.2.3 Redes Auto-organizadas

Arquitectura Cada neurona tiene un vector de pesos W de entrada asociado y la neurona con el vector de peso más cercano a la entrada P se activará.

Caracteristicas Es una red no supervisada, se entrena solo con patrones de entrada Las entradas se conectan a una única capa de neuronas donde cada nodo se conecta a su vecino y solo puede haber una neurona activa La conexión puede ser lineal, cuadrada, hexagonal, irregular, etc.

Convergencia

Algoritmo de Aprendizaje

Entrenamiento En los SOFM (Self-organizing Feature Map ), no solo se actualiza los pesos de la neurona que resulta ganadora en el aprendizaje, sino que se actualizan también los de la vecindad.

Procedimiento 1. Asignar valores iniciales aleatorios pequeños a los pesos wij 2. Escoger un vector de entrada x del espacio de muestras y aplicarlo como entrada. 3. Encontrar el nodo de salida ganador (el producto punto máximo)

Procedimiento (cont…) 4. Ajustar los vectores de peso de acuerdo a la siguiente formula de actualización: wnuevos= wviejos + α [xi- wviejos ] h(|i-g|,R(t)) donde α es la tasa de aprendizaje y h(|i-g|,t) es la función de vecindad.

Procedimiento (cont…) Modificación de los parámetros T0 es el numero total de iteraciones α0 es la razón inicial de aprendizaje y t va desde 1,2,…. T0

Procedimiento (cont…) 5. Repetir pasos 2 a 4 hasta que no ocurran cambios significativos en los pesos.

4.- EVIDENCIAS

Algoritmos en MATLAB

Expansion function [w] = Expan(x,y) %x = (get(handles.edit1,'String'));%matrix de estimulos %y = (get(handles.edit2,'String'));%matrix de conductas %establecer una condicion si es ortogonal o no tamx = size(x); tamy = size(y); colx = tamx(2); filx = tamx(1); fily = tamy(1); coly = tamy(2); w = zeros(coly,colx); for j = 1:fily vectorconducta = (y(j,:))'; %vector conducta filaestimulos = (x(j,:)); %fila estimulo norma = (filaestimulos*filaestimulos'); if norma ~= 0 w = w+((vectorconducta*filaestimulos)*(1/norma)); end

Pseudo-Inversa function w = Pseudo(x,y) %x = x'; %y = y'; tamx = size(x); tamy = size(y); filx = tamx(1); colx = tamx(2);%numero de estimulos r = rank(x); xps = [0]; %1er caso rango = numero estimulos <= filas if(r==filx && filx<=colx) xps = (inv(x*x'))*x; w = y'*xps; display('caso 1') elseif(r<filx) %2do caso rango < numero de estimulos xps = x*(inv(x'*x)); display('caso 2') elseif(r>filx&&r~=filx&&r>colx) %3do caso rango < numero de estimulos errordlg('Este problema se resuelve por SVD',' Problema de Pseudo-Inversa '); end

Utilizando el comando newp de matlab function [w,net] = Newpp(x,y) tamy = size(y); n = tamy(2); %x= eye(3,3); %y = [0 0;0 1;1 1]'; tamx = size(x); rango = zeros(tamx(2),2); for i=1:tamx(2) auxx = x(:,1); rango(i,1) = min(auxx); rango(i,2) = max(auxx); end net = newp(rango,n); %Y = sim(net,P) net.trainParam.epochs = 100; net = train(net,x',y'); Y = sim(net,x'); w = net.iw{1};

Base Radial function [w,zfinal] = fbr(x,y,tipoAlg) tamx = size(x); tamy = size(y); if(((strcmp(tipoAlg,'Perceptron- Base-Radial-IM'))==1)) for j=1:tamx(1) xj=x(j,:); for i=1:tamx(1) xaux = (xj-x(i,:)); tamxaux = size(xaux); xcua = 0; for k=1:tamxaux(2) xcua = (xaux(1,k)-xcua).^2; end fii(j,i)= 1/((((xcua))+1).^0.5); %fiii = ((inv(fii*fii')*fii)*y); w = (inv(fii))*y; zfinal = fii*w; %plot (fii,w,'r'); elseif(((strcmp(tipoAlg,'Perceptr on-Base-Radial-M'))==1)) fii(j,i)= ((((xcua))+1).^0.5); elseif(((strcmp(tipoAlg,'Perceptr on-Base-Radial-G'))==1)) fii(j,i)= exp(-(xcua)/2);

Aplicacion de Redes Neuronales Artificiales

RECONOCIMIENTO DE PATRONES A PARTIR DE IMÁGENES AÉREAS.

La idea radica en construir una Red Neuronal que permita clasificar estas porciones (patrones) en forma automática dentro de un número dado de clases. 

Para esto, es necesario encontrar unas características medibles que posibiliten la diferenciación de clases.

Arquitectura de la Red 

NAIRA

5.- CONCLUSIONES La modificación de los pesos de una red hace posible el aprendizaje. Podemos aplicar el aprendizaje supervisado como el no supervisado a un problema, dependiendo si se conoce o no su salida. Existen mucho métodos de aprendizaje para redes neuronales, lo que tenemos que conocer son sus estímulos (entradas) y sus salidas en el caso de aprendizaje supervisado.

6.- REFERENCIAS Redes neuronales auto organizadas, ventajas, desventajas, aplicaciones paper rna-ultimo.pdf, rodrigo pesantez, luis cuenca Apuntes de clases http://platon.esceturic.es http://alojamientos.us.es/gtocoma/pid/pid10/RedesNeuronales.htm#Aplicaciones