Introduccion a las Redes de Funciones de Base Radial Tomado de Tai-Wen Yue http://aimm02.cse.ttu.edu.tw

Contenido Modelo de un aproximador de funciones La redes de funciones de base radial Las redes RBF para aproximar funciones

Introduccion a las Redes de Funciones de Base Radial Modelo de un aproximador de funciones

Aproximacion de una funcion Desconocida f Aproximadora ˆ f

Las redes neuronales como aproximadoras universales Las redes feed-forward con una sola capa oculta de neuronas sigmoidales son capaces de aproximar uniformemente cualquier funcion continua multivariable, con cualquier grado de precision. Hornik, K., Stinchcombe, M., and White, H. (1989). "Multilayer Feedforward Networks are Universal Approximators," Neural Networks, 2(5), 359-366.

Las redes neuronales como aproximadoras universales Tambien se demuestra que las redes RBF (Radial Basis Function) son aproximadores universales. Park, J. and Sandberg, I. W. (1991). "Universal Approximation Using Radial-Basis-Function Networks," Neural Computation, 3(2), 246-257. Park, J. and Sandberg, I. W. (1993). "Approximation and Radial-Basis-Function Networks," Neural Computation, 5(2), 305-316.

El Modelo Lineal Pesos Funciones base fijas

Salida pesada linealmente El modelo lineal y 1 2 m x1 x2 xn w1 w2 wm x = Salida pesada linealmente Unidades de salida Descomposicion Extracion de caract. Transformacion Unidades ocultas Entradas Vector de caracteristicas

Salida pesada linealmente El Modelo Lineal ¿Ejemplo de algunas bases? y Salida pesada linealmente Unidades de salida w1 w2 wm Descomposicion Extracion de caract. Transformacion Unidades ocultas 1 2 m Entradas Vector de caracteristicas x = x1 x2 xn

Ejemplo de modelos lineales ¿Son estas bases ortogonales? Polinomial Series de Fourier

Perceptron de una sola capa como aproximador universal y 1 2 m x1 x2 xn w1 w2 wm x = Con un numero suficiente de unidades sigmoidales, puede construirse un aproximador universal. Unidades ocultas

Red de funciones de base radial como aproximador universal y 1 2 m x1 x2 xn w1 w2 wm x = Con un numero suficiente de funciones de base radial, puede construirse un aproximador universal. Unidades ocultas

Introduccion a las Redes de Funciones de Base Radial La redes de funciones de base radial

Funciones de base radial Tres parametros para una funcion radial: i(x)= (||x  xi||) xi Centro Medida de distancia Forma r = ||x  xi|| 

Funciones radiales Tipicas Gausiana Multicuadratica Multicuadratica inversa

Funcion base Gausiana (=0.5,1.0,1.5)

Multicuadratica inversa

Basis {i: i =1,2,…} is `near’ orthogonal. RBF mas general + + +

Topologia de la RBF x1 x2 xn y1 ym Como un aproximador de funciones Unidades de salida Interpolacion Unidades ocultas Proyeccion entradas Vector de caracteristicas

Topologia de la RBF Como clasificador x1 x2 xn y1 ym Unidades de salida Clases Unidades ocultas Subclases entradas Vector de caracteristicas

Introduccion a las Redes de Funciones de Base Radial Las redes RBF para aproximar funciones

Datos de entrenamiento La idea y Funcion desconocida a aproximar Datos de entrenamiento x

La idea y x Funcion desconocida a aproximar Datos de entrenamiento Funciones base (Kernels)

Funciones base (Kernels) La idea y Funcion aprendida x Funciones base (Kernels)

Funciones base (Kernels) La idea Muestra no aprendida y Funcion aprendida x Funciones base (Kernels)

La idea Muestra no aprendida y Funcion aprendida x

Redes RBF como Aproximadoras universales Conjunto de entrenamiento x1 x2 xn w1 w2 wm x = objetivo for all k

Aprendizaje del vector de pesos optimo Conjunto de entrenamiento x1 x2 xn x = objetivo for all k w1 w2 wm

Regularizacion Conjunto de entrenamiento Si no se necesita regularizacion objetivo for all k

Aprendizaje del vector de pesos optimo Minimizar

Aprendizaje del vector de pesos optimo Definir

Aprendizaje del vector de pesos optimo Definir

Aprendizaje del vector de pesos optimo

Aprendizaje del vector de pesos optimo Matriz de diseño Matriz de variancia

Conjunto de entrenamiento Resumen

Reconocimiento Diapositivas tomadas de Tai-Wen Yue “Artificial Neural Networks” course slides Tatung University. Taipei, Taiwan. 5th june 2006