Tipos de redes neuronales Perceptrón multicapa Redes de respuesta radial Competitivas Clasificación Mapa topológico.

Presentación del tema: "Tipos de redes neuronales Perceptrón multicapa Redes de respuesta radial Competitivas Clasificación Mapa topológico."— Transcripción de la presentación:

1 Tipos de redes neuronales Perceptrón multicapa Redes de respuesta radial Competitivas Clasificación Mapa topológico

2 Objetivos Para cada uno de los tipos de red: Idea básica de estructura Cómo calcular su respuesta Ideas básicas de diseño de la arquitectura Proceso de aprendizaje o ajuste de pesos Tipo de respuesta que ofrece

3 Tipos de redes neuronales Perceptrón multicapa Redes de respuesta radial Competitivas

4 Perceptrón multicapa - Idea

5

6 Procesadores Capa de salida Capa oculta

7 Perceptrón multicapa - Idea Conexiones

8 Perceptrón multicapa - Cálculo Cada procesador recibe una serie de entradas Puede considerarse asociado a y 0  1 y calcula su salida Afín a la logística

9 Perceptrón multicapa - Cálculo -0.7930.521-0.055 0.5 0.7 -0.4 -0.1 -0.9

10 Perceptrón multicapa - Cálculo -0.7930.521-0.055 -0.1 -0.9 0.3 0.6 -0.2 -0.6 -0.092

11 Perceptrón multicapa - Diseño Diseño: Genérico: nº de grados de libertad, búsqueda y selección Constructivo: procesador a procesador, añadir y comparar Destructivo: grande y eliminar

12 Perceptrón multicapa - Respuesta 1

13 Perceptrón multicapa - Respuesta 0 1 01 1,1 1,-1 -1,-1 -1,1 1

14 Perceptrón multicapa - Respuesta 0 1 01 1 1 1 1 1 1 1 1

15 Perceptrón multicapa - Respuesta

16 Perceptrón multicapa - Aprendizaje Con ciertos pesos la red da una salida. Esa salida tiene un error Buscamos los pesos que nos dan el error más pequeño

17 Perceptrón multicapa - Aprendizaje Ajuste de pesos: optimización basada en gradiente Con error cuadrático y activación tangente hiperbólica Métodos: Descenso gradiente Gradiente conjugado Levenberg-Marquardt Métrica variable...etc...

18 Perceptrón multicapa - Aprendizaje -0.092

19 Perceptrón multicapa - Aprendizaje -0.793

20 Tipos de redes neuronales Perceptrón multicapa Redes de respuesta radial Competitivas

21 Base radial - Idea

22 Base radial - Cálculo Cada procesador oculto recibe una serie de entradas y calcula su salida Es una expresión de una gaussiana con varianza unitaria. Podría haber una matriz de varianzas diagonal ( ancho de respuesta ) o incluso una matriz completa El procesador de salida da una combinación lineal de los ocultos

23 Base radial - Cálculo 0.009 0.5 0.7 -0.4 -0.1 -0.9 0.7 -0.5 0.6 -0.3 -0.1

24 Base radial - Cálculo 0.009 -0.5 1.7 -1.3 -0.1 -0.9 0.7 -0.5 0.6 -2.9 0.1 0.011 0.225 0.878 -2.685

25 Base radial - Diseño Diseño: Constructivo: procesador a procesador cuando la respuesta baja de un umbral

26 Base radial - Aprendizaje Ajuste de pesos: normalmente dos fases 1.Entrada-oculta 2.Oculta-salida Los pesos de entrada a capa oculta se ajustan buscando agrupamiento de entradas, sin tener en cuenta la salida 1.Valores iniciales: puntos de la muestra 2.Nuevo valor de pesos: media de las entradas para las que este procesador ha sido el de respuesta mayor Los pesos de salida son lineales: regresión

27 Base radial - Aprendizaje 0.5 0.7 -0.4 -0.3 -0.1 -0.065-0.292-0.3150.6650.5 -0.15-0.25-0.450.80.5 -0.2-0.5-0.30.750.55 0-0.35-0.50.650.5 -0.05-0.25-0.30.750.6 -0.1-0.3-0.40.70.5 -0.1-0.25-0.40.550.6 -0.05-0.27-0.10.650.3 -0.05-0.3-0.10.550.5 0.05-0.2-0.350.650.4 0-0.25 0.60.55 Puntos para los que ha sido el máximo Nuevos

28 Base radial - Respuesta

29

30

31 Tipos de redes neuronales Perceptrón multicapa Redes de respuesta radial Competitivas

32 Competitivas - Idea Los procesadores pueden estar ordenados en retícula (mapa topológico autoorganizativo: MA), con coordenadas

33 Competitivas - Cálculo Cada procesador recibe una serie de entradas y calcula su salida Los pesos definen un centroide de un grupo de entradas En MA es más usual

34 Competitivas - Cálculo -0.072 -0.65 0.505 -0.361 0.433 0.5 0.7 -0.4 -0.3 -0.1

35 Competitivas - Cálculo -0.628 -0.072 -0.65 0.505 -0.361 0.433 0.5 0.7 -0.4 -0.3 -0.1

36 Competitivas - Cálculo -0.6280.0520.3310.677 -0.072 -0.65 0.505 -0.361 0.433

37 Competitivas - Cálculo 0001 -0.072 -0.65 0.505 -0.361 0.433

38 Competitivas - Diseño Diseño: Constructivo: procesador a procesador cuando la respuesta baja de un umbral Destructivo: eliminación de procesadores que no dan respuesta

39 Competitivas - Aprendizaje Ajuste de pesos normalmente no supervisado En competitivas a secas: En MA:

40 Competitivas - Aprendizaje 0001 -0.072 -0.65 0.505 -0.361 0.433 (0,0) (0,1) (1,0) (1,1) 10.011 0.0001T(n=3) 0111.414Dist 0.5 0.7 -0.4 -0.3 -0.1

41 Competitivas - Respuesta

42 Mapas topológicos autoorganizativos - Respuesta