Introduccion a las Redes de Funciones de Base Radial

Presentación del tema: "Introduccion a las Redes de Funciones de Base Radial"— Transcripción de la presentación:

1 Introduccion a las Redes de Funciones de Base Radial
Tomado de Tai-Wen Yue

2 Contenido Modelo de un aproximador de funciones
La redes de funciones de base radial Las redes RBF para aproximar funciones

3 Introduccion a las Redes de Funciones de Base Radial
Modelo de un aproximador de funciones

4 Aproximacion de una funcion
Desconocida f Aproximadora ˆ f

5 Las redes neuronales como aproximadoras universales
Las redes feed-forward con una sola capa oculta de neuronas sigmoidales son capaces de aproximar uniformemente cualquier funcion continua multivariable, con cualquier grado de precision. Hornik, K., Stinchcombe, M., and White, H. (1989). "Multilayer Feedforward Networks are Universal Approximators," Neural Networks, 2(5),

6 Las redes neuronales como aproximadoras universales
Tambien se demuestra que las redes RBF (Radial Basis Function) son aproximadores universales. Park, J. and Sandberg, I. W. (1991). "Universal Approximation Using Radial-Basis-Function Networks," Neural Computation, 3(2), Park, J. and Sandberg, I. W. (1993). "Approximation and Radial-Basis-Function Networks," Neural Computation, 5(2),

7 El Modelo Lineal Pesos Funciones base fijas

8 Salida pesada linealmente
El modelo lineal y 1 2 m x1 x2 xn w1 w2 wm x = Salida pesada linealmente Unidades de salida Descomposicion Extracion de caract. Transformacion Unidades ocultas Entradas Vector de caracteristicas

9 Salida pesada linealmente
El Modelo Lineal ¿Ejemplo de algunas bases? y Salida pesada linealmente Unidades de salida w1 w2 wm Descomposicion Extracion de caract. Transformacion Unidades ocultas 1 2 m Entradas Vector de caracteristicas x = x1 x2 xn

10 Ejemplo de modelos lineales
¿Son estas bases ortogonales? Polinomial Series de Fourier

11 Perceptron de una sola capa como aproximador universal
y 1 2 m x1 x2 xn w1 w2 wm x = Con un numero suficiente de unidades sigmoidales, puede construirse un aproximador universal. Unidades ocultas

12 Red de funciones de base radial como aproximador universal
y 1 2 m x1 x2 xn w1 w2 wm x = Con un numero suficiente de funciones de base radial, puede construirse un aproximador universal. Unidades ocultas

13 Introduccion a las Redes de Funciones de Base Radial
La redes de funciones de base radial

14 Funciones de base radial
Tres parametros para una funcion radial: i(x)= (||x  xi||) xi Centro Medida de distancia Forma r = ||x  xi|| 

15 Funciones radiales Tipicas
Gausiana Multicuadratica Multicuadratica inversa

16 Funcion base Gausiana (=0.5,1.0,1.5)

17 Multicuadratica inversa

18 Basis {i: i =1,2,…} is `near’ orthogonal.
RBF mas general + + +

19 Topologia de la RBF x1 x2 xn y1 ym Como un aproximador de funciones
Unidades de salida Interpolacion Unidades ocultas Proyeccion entradas Vector de caracteristicas

20 Topologia de la RBF Como clasificador x1 x2 xn y1 ym
Unidades de salida Clases Unidades ocultas Subclases entradas Vector de caracteristicas

21 Introduccion a las Redes de Funciones de Base Radial
Las redes RBF para aproximar funciones

22 Datos de entrenamiento
La idea y Funcion desconocida a aproximar Datos de entrenamiento x

23 La idea y x Funcion desconocida a aproximar Datos de entrenamiento
Funciones base (Kernels)

24 Funciones base (Kernels)
La idea y Funcion aprendida x Funciones base (Kernels)

25 Funciones base (Kernels)
La idea Muestra no aprendida y Funcion aprendida x Funciones base (Kernels)

26 La idea Muestra no aprendida y Funcion aprendida x

27 Redes RBF como Aproximadoras universales
Conjunto de entrenamiento x1 x2 xn w1 w2 wm x = objetivo for all k

28 Aprendizaje del vector de pesos optimo
Conjunto de entrenamiento x1 x2 xn x = objetivo for all k w1 w2 wm

29 Regularizacion Conjunto de entrenamiento
Si no se necesita regularizacion objetivo for all k

30 Aprendizaje del vector de pesos optimo
Minimizar

31 Aprendizaje del vector de pesos optimo
Definir

32 Aprendizaje del vector de pesos optimo
Definir

33 Aprendizaje del vector de pesos optimo

34 Aprendizaje del vector de pesos optimo
Matriz de diseño Matriz de variancia

35 Conjunto de entrenamiento
Resumen

36 Reconocimiento Diapositivas tomadas de Tai-Wen Yue
“Artificial Neural Networks” course slides Tatung University. Taipei, Taiwan. 5th june 2006