Perceptrón Multicapa Aplicaciones

Perceptrón Multicapa MLP Latitud Longitud... Altitud Radiación solar Aproximación de funciones MLP Estado de un reactor nuclear Peligro Calma Clasificación Compresión MLP Datos originales Datos comprimidos MLP -1 Datos originales ¿Para qué se puede usar un perceptrón multicapa?

A New Compression Technique Using an Artificial Neural Network Objetivo: presentar un método basado en Redes Neuronales para compresión de imágenes Problemática: transmisión de imágenes como proceso costoso  reducir la cantidad de bits  aumentar el volumen de datos transmitidos en un lapso Superioridad de las redes neuronales frente a datos incompletos o con ruido B. Verma, M. Blumenstein, S. Kulkarni Griffith University - Australia

Compresión de imágenes por encoder/decoder Entrada=salida (autoasociador) M << N

Compresión de imágenes por encoder/decoder Entrada: ventanas de 8x8 de la imagen (blanco y negro). Las entradas similares fueron eliminadas Parámetros: –Cantidad de neuronas en la capa oculta: 20 –Pares del conjunto de entrenamiento: entre 100 y 400 –Velocidad de aprendizaje: 0.2 –Momentum: 0.2

Compresión de imágenes con wavelets “Improving Wavelet Image Compression with Neural Networks”, Christopher Burges, Patrice Simard y Henrique Malvar Transferencia de imágenes comprimidas con wavelets –Wavelet es una transformada, como Taylor o Fourier señal = a f 1 (x) + b f 2 (x) + c f 3 (x) +... –Se transmiten los coeficientes (a,b,c) discretizados y codificados Si se consigue codificarlos con menos bits, la imagen ocupa menos.

Con un MLP se intenta predecir el siguiente coeficiente a partir de los anteriores Se logra que el residuo (lo que se transmite) sea mucho más chico, y pueda ser codificado con menos bits Compresión de imágenes con wavelets

-Predictor -Una capa oculta (20 unidades) y una unidad de salida, sigmoideas -Las unidades de entrada corresponden al contexto del coeficiente a predecir (24 / 42 unidades). -Valores de velocidad de aprendizaje: 0.1; Se entrena una red por cada subbanda de detalle de resolución 0 y 1 -Entrenamiento con un conjunto fijo de16 imágenes. Testeo 7 imágenes -Conjunto de entrenamiento para LH0: patrones (con más patrones el resultado no mejoraba) -Medida de error: Error Cuadrático Medio Compresión de imágenes con wavelets

Resultados -Buena calidad de la imagen reconstruida -Mejora la tasa de compresión para la misma calidad de imagen -El uso del predictor incorpora un tiempo adicional de procesamiento Compresión de imágenes con wavelets

Modelo más usado: Hidden Markov Model Un Modelo de Markov es un Autómata Finito, con probabilidades asignadas a las transiciones Reconocimiento de voz En un Hidden Markov Model no podemos saber en qué estado estamos. A partir de algunos datos tenemos una distribución de probabilidad sobre los estados. S i : estado i a ij : transición entre el estado i y el estado j

q i : estado i P(q i |q j ): probabilidad de pasar del estado i al estado j u: emisión b i (u): probabilidad de obtener la emisión u en el estado i Reconocimiento de voz Fonema Probabilidad de que el fonema j aparezca después del fonema i Sonido Probabilidad de que el fonema i sea pronunciado con el sonido u

“"An Introduction to HMM/Connectionist Continuous Speech Recognition", Nelson Morgan and Hervé Bourland Modelos híbridos: Utilizan un MLP para estimar la probabilidad de que un sonido x corresponda a un fonema i –Entrada: Características del sonido –Salida: Fonema que representa el sonido {0,0,...,1,...,0} Se puede demostrar que entrenando de esta manera se consigue una red cuya salida es la probabilidad de que la entrada pertenezca a cada una de las clases {0.2, 0.4, 0.1,...}  = 1. Nelson Morgan 1988 (Paper original): Precisión 30% 1995: Precisión 70% 9 x 26 entradas 500 – 4000 unidades en la capa oculta 61 salidas Reconocimiento de voz

Características importantes –Actualización on-line –Cross validation para mejorar la generalización y evitar el sobreentrenamiento Conjunto de 10%-20% de los patrones de entrenamiento para validación Después de cada época se calcula el error en ese conjunto. Si el error no mejoró en ese conjunto, se reduce la velocidad de aprendizaje –Es muy importante la representación de la entrada Características dinámicas (que dependen de la secuencia de frames) Más de un frame por vez (información de contexto) –Función de energía: entropía o Kullback-Leibler Reconocimiento de voz

Calibración de cámara de video A partir de una imagen de video, un robot tiene que deducir la distancia y la orientación respecto de un objeto Características: No paramétrico –No requiere estimación de parámetros (distorsión de la lente, distancia focal, etc) Método aproximado –La precisión aumenta con el tamaño del conjunto de entrenamiento A Non-parametric Method for Video Camera Calibration Using a Neural Network", Enrique Segura

Calibración de cámara de video f(x,y) = (d,θ,h) x,ycoordenadas de la cámara (CCD) d,θdistancia y ángulo al objeto htamaño del objeto Se utiliza un MLP para aproximar la función f. Una capa oculta, unidades sigmoideas, aprendizaje con el algoritmo SAGA (simulated annealing + gradient descent + adaptative growing)