Ejemplo de aplicación de las ANN

Presentación del tema: "Ejemplo de aplicación de las ANN"— Transcripción de la presentación:

1 Ejemplo de aplicación de las ANN
Objetivo Mostrar qué cosas se pueden hacer con las ANN. Mostrar que diferentes tipos de redes se pueden usar para resolver un problema dado. Veremos tres tipos de redes: de conexión hacia adelante (representadas por el perceptrón), redes competitivas (representadas por la red Hamming) y las redes de memorias asociativas recurrentes (representadas por la red Hopfield).

2 Ejemplo de aplicación de las ANN
Problema: Una persona tiene un galpón donde almacena frutas. Las frutas se almacenan en forma desordenada. Se desea una máquina que ordene las frutas de acuerdo a su tipo. Hay una correa transportadora a través de la cual se transportan las frutas. Esta cinta pasa por una serie de sensores que miden tres propiedades de las frutas: forma, textura y peso. El sensor de forma sacará un 1 si la fruta es aproximadamente redonda, un –1 si es más elíptica. El sensor de la textura sacará 1 si la superficie es suave y –1 si es rugosa. El sensor de peso sacará 1 si la fruta pesa más de 1 Kg y –1 si es menor.

3 Ejemplo de aplicación de las ANN
Las salidas de los sensores constituyen las entradas a la red neural. El propósito de la red es decidir qué clase de fruta está sobre la correa transportadora, para dirigirla a su lugar de almacenamiento correcto. Para simplificar el problema, supongamos que solo hay manzanas y naranjas. Cada fruta pasa a través de los tres sensores, por lo que las representaremos por un vector tridimensional. El primer elemento representa la forma, el segundo la textura y el tercero el peso.

4 Ejemplo de aplicación de las ANN
Forma P = Textura Peso Un prototipo de naranja sería: Un prototipo de manzana sería: 1 -1 P1 = P2 = La red neural recibirá un vector de entrada por cada fruta y deberá decidir si la fruta es una naranja (P1) o una manzana (P2).  Se trata de un problema de reconocimiento de patrones.

5 Red de perceptrones Una neurona perceptrónica de dos entradas.
W b + a n p 1 1x2 1x1 2x1 Una neurona perceptrónica puede clasificar vectores de entradas en dos categorías. Ejemplo: sea W= [-1 1] y a = hardlims(n) = hardlims([-1 1]P + b)

6  Red de perceptrones Si el producto interno de la matriz de pesos con el vector de entrada P es mayor o igual a –b, la salida será 1 de lo contrario será –1. Se divide el espacio de entradas en dos partes. p1 p2 1 -1 n < 0 n≥ 0 W En la gráfica, la línea azul representa todos los puntos para los cuales la entrada de red n es igual a 0. Cuando b=-1, n = [-1 1]P-1 -p1+p2-1 = 0  

7  Red de perceptrones n es la frontera de decisión, siempre ortogonal a la matriz de pesos. La frontera de decisión se puede desplazar cambiando b. En general W es una matriz que consiste de vectores filas, con una frontera de decisión para cada fila. En este caso, tenemos una región con vectores de entrada que producen una salida 1 en la red y otra región con vectores de entrada que producen un –1. La propiedad clave de una neurona perceptrónica, es que puede separar los vectores de entrada en dos categorías.

8  Red de perceptrones La frontera de decisión entre las categorías está determinada por la ecuación Wp+b=0. Como la frontera es lineal, un perceptrón solo puede reconocer patrones que sean linealmente separables.

9 Reconocimiento de patrones de las frutas
Como hay dos categorías, se puede usar una neurona perceptrónica. R=3, es decir, los vectores de entrada son tridimensionales. La ecuación del perceptrón será:

10 Reconocimiento de patrones de las frutas
Debemos escoger el sesgo y los elementos de la matriz de pesos para que el perceptrón sea capaz de distinguir entre manzanas y naranjas. Podemos establecer que la salida sea 1 cuando una manzana es la entrada y –1 cuando se trata de una naranja. Hay que encontrar una frontera lineal que pueda separar la ocurrencia de los vectores representativos de las naranjas y de las manzanas.

11 Los dos vectores prototipos se muestran en la figura.
p2 (manzana) p1 (naranja) Los dos vectores prototipos se muestran en la figura. La frontera lineal que divide a esos dos vectores simétricamente, es el plano P1,P3. También podemos describir la frontera de decisión como P2=0 ó como : p1 p3 [0 1 0] p = 0

12 Reconocimiento de patrones de las frutas
Puesto que la matriz de pesos es ortogonal a la frontera de decisión. La frontera de decisión pasa por el origen y no tiene componente en P2. La frontera lineal que divide a esos dos vectores simétricamente, es el plano P1,P3.

13 Reconocimiento de patrones de las frutas
Resolviendo con p1 y p2 prototipos tenemos: 1 -1 [0 1 0] = n = -1 < 0 luego a = -1 [0 1 0] = n = 1 > 0 luego a = 1 La región que contiene al patrón p2 (manzanas) producirá un 1, es decir, la salida del perceptrón para los vectores de esa región será 1 y –1 para la región que contiene los vectores que representan las naranjas. 

14 Reconocimiento de patrones de las frutas
¿Qué sucede si ponemos en el clasificador una naranja no tan perfecta?. Digamos una naranja con una forma elíptica. El vector de entrada sería: P = -1

15 REDES HAMMING La red Hamming fue diseñada explícitamente para resolver problemas de reconocimiento de patrones binarios, (en el ejemplo, 1 y –1). Este tipo de red contiene capas de conexión hacia adelante y recurrentes (de retroalimentación).  La red Hamming estandar: + D p 1 Sx1 Rx1 SxS S W1 W2 b1 SxR

16 REDES HAMMING Capa Recurrente
El número de neuronas en la segunda capa es el mismo que el de la primera capa. La red Hamming decide cual vector prototipo es más parecido al vector de entrada. Capa Recurrente Hay una neurona en la capa recurrente para cada patrón prototipo. Cuando la capa recurrente converge habrá una sóla neurona con salida no cero. Esta neurona indica el patrón prototipo que está más cercano al vector de entrada.

17 REDES HAMMING Capa hacia delante:
Esta capa realiza una correlación o producto interno entre cada patrón prototipo y el patrón de entrada. En esta operación, las filas de la matriz de pesos están formadas por los patrones prototipos.  Para el ejemplo de las manzanas y naranjas: = =

18 REDES HAMMING Esta capa usa una función de transferencia lineal y cada elemento del vector de sesgo es igual a R, donde R es el número de elementos en el vector de entrada. 3 = El vector de sesgo de nuestro ejemplo: Con esos pesos y esos sesgos, la salida de la capa es: p + 3 = p = p = p + 3

19 REDES HAMMING Las salidas de la capa de conexión hacia delante son el producto interno de cada vector prototipo con el vector de entrada, más R. Para dos vectores de igual longitud (norma), su producto interno será mayor cuando los vectores apuntan a la misma dirección y más pequeño cuando apuntan en dirección opuesta. Al agregar R al producto interno se garantiza que las salidas de la capa no sean negativas (se requiere para la operación adecuada de la capa recurrente).

20 REDES HAMMING La red se llama Hamming debido a que la neurona con la mayor salida, en esta capa, corresponderá al patrón prototipo más cercano en distancia Hamming al patrón de entrada. La distancia Hamming entre dos vectores es igual al número de elementos que son diferentes (definida para vectores binarios). 

21 REDES HAMMING Capa recurrente
 Esta capa es conocida como una capa “competitiva”. Las neuronas de esta capa se inicializan con las salidas de la capa de conexión hacia delante, las cuales indican la correlación entre los patrones prototipos y el vector de entrada. Las neuronas compiten con las otras para determinar una ganadora. Después de la competencia, solo una neurona tiene salida distinta de cero. La ganadora indica cual categoría fue presentada como entrada (categoría de manzanas o naranjas).

22 REDES HAMMING Las ecuaciones que describen la competencia:
a2 (0) = a1 (condición inicial) y a2(t+1) = poslin(W2a2(t)) La función de transferencia poslin es lineal para valores positivos y cero para los negativos. W2 es de la forma:

23 REDES HAMMING S es el número de neuronas en la capa recurrente.
Una iteración de la red recurrente será: Cada elemento se reduce en la misma fracción del otro. El mayor elemento será reducido menos y el menor será reducido más, por lo tanto la diferencia entre el grande y el pequeño se incrementa.

24 REDES HAMMING La respuesta de la red sería :
a = hardlims [0 1 0] = -1 (Naranja) -1 Cualquier vector que sea mas cercano al vector prototipo de naranja que al vector prototipo de manzana, en el sentido de la distancia euclidiana, será clasificado como una naranja y viceversa. Se ha diseñado gráficamente una red, al escoger una frontera de decisión que separa claramente los patrones.

25 REDES HAMMING ¿Qué pasará con los problemas donde hay espacios de entrada multidimensionales?. La característica clave de un perceptrón es que crea fronteras de decisión lineales para separar categorías de vectores de entrada. ¿Qué pasa si tenemos categorías que no pueden ser separadas por regiones lineales? El efecto de la capa recurrente es poner cero en las salidas de sus neuronas a excepción de aquella con el valor inicial más grande (la cual corresponde al patrón prototipo que está más cerca en distancia Hamming a la entrada).

26 REDES HAMMING La salida de la capa de conexión hacia adelante:
Para ilustrar la red Hamming, consideremos la naranja alargada:  La salida de la capa de conexión hacia adelante: = = = (-1+3) 1 –1 – (1+3) Esta es la condición inicial para la capa recurrente. 

27 REDES HAMMING Con є < ½ (cualquier número menor que 1 trabajaría) la primera iteración de la capa recurrente produce: la segunda iteración produce:

28 REDES HAMMING Las iteraciones sucesivas producen las mismas salidas, es decir la red converge. El patrón prototipo número 1 es seleccionado como la fruta correcta, la naranja dado que la neurona número 1 tiene la única salida no cero. Esta es la selección correcta, dado que la distancia Hamming del prototipo naranja al patrón de entrada es 1, y la distancia Hamming del prototipo manzana al patrón de entrada es 2.

29 REDES HAMMING Hay un tipo de redes cuya operación está basada en el principio de la red Hamming, es decir, realizan una operación de producto interno seguido por una capa dinámica competitiva. Esas son las redes auto-organizantes, las cuales aprenden a ajustar sus vectores prototipos a partir de las entradas que le son presentadas.

30 REDES HOPFIELD Esta es una red recurrente similar en algunos aspectos a la capa recurrente de la red Hamming, pero que realiza las operaciones de las dos capas de esa red. + D p 1 SxS Sx1 S W b Sx1

31 REDES HOPFIELD Las ecuaciones que describen la operación:
a(0) = p (condición inicial) a(t+1) = satlins(Wa(t)+b) Las neuronas en esta red se inicializan con el vector de entrada. Se itera hasta que la salida converge. Si la red opera correctamente, la salida es uno de los vectores prototipos (en la red Hamming la neurona con salida no cero indica el patrón prototipo escogido).

32 REDES HOPFIELD El problema de reconocimiento de naranjas y manzanas
La Hopfield produce el prototipo seleccionado como su salida. La función de transferencia es líneal en el rango [-1, 1] y se satura en 1 para entradas > 1 y en –1 para entradas <-1. El problema de reconocimiento de naranjas y manzanas Supongamos, W = b =

33 REDES HOPFIELD Se desea que la salida de la red converja al patrón naranja p1 o al patrón manzana p2. En los dos patrones, el primer elemento es 1 y el tercer elemento es –1. Las diferencias entre los patrones ocurre en el segundo elemento. Sin importar el patrón de entrada, queremos que el primer elemento del patrón de salida converja a 1, el tercer elemento converja a –1, y el segundo elemento sea 1 ó –1, lo que esté más cercano al segundo elemento del vector de entrada.

34 REDES HOPFIELD Ecuaciones de operación de la red Hopfield:
 a1(t+1) = satlins(0.2a1(t) + 0.9) a2 (t+1) = satlins(1.2a2(t)) a3(t+1) = satlins(0.2a3(t) - 0.9) Independientemente de los valores iniciales, ai(0), el primer elemento se incrementará hasta saturarse en 1, y el tercer elemento se decrementará hasta saturarse en –1.

35 REDES HOPFIELD El segundo elemento se multiplica por un número mayor que 1. Por lo tanto si es inicialmente negativo, eventualmente se saturará a –1, y si es inicialmente positivo se saturará a 1.

36 REDES HOPFIELD a(0) = - 1 a(1) = - 1 a(2) = - 1 a(3) = -1
Trabajando con la naranja ovalada. Las salidas para las tres primeras iteraciones: a(3) = -1 - 1 a(0) = a(1) = 0.7 1 a(2) =

37 REDES HOPFIELD La red converge al patrón naranja como lo hicieron las redes perceptrónica y la Hamming.

38 RESUMEN La red perceptrónica tiene una única salida, que toma valores
–1 (naranja) o 1 (manzana). En la red Hamming, la neurona cuya salida es no cero indica el patrón prototipo más cercano al vector de entrada. Si la primera neurona tiene salida no cero, se tiene una naranja, y si la segunda neurona tiene salida no cero, se tiene una manzana. En la Hopfield, el patrón prototipo aparece en la salida de la red.  Las redes recurrentes pueden oscilar y tener comportamiento caótico.

39 RESUMEN El perceptrón es un ejemplo de las redes de conexión hacia adelante. En esas redes la salida se calcula directamente de la entrada, es decir, no hay realimentación. Las redes de conexión hacia adelante se utilizan para reconocimiento de patrones y para aproximación de funciones. Las aplicaciones de aproximación de funciones están en las áreas de filtraje adaptativo y control automático.

40 RESUMEN Las redes competitivas representadas por las Hamming tienen dos propiedades: Calculan una medida de distancia entre los patrones prototipos almacenados y el patrón de entrada. Luego realizan una competencia para determinar cual neurona representa el prototipo más cercano a la entrada. En las redes competitivas, los patrones prototipos se ajustan en la medida que se aplican nuevas entradas a la red. Esas redes adaptativas aprenden a agrupar las entradas en diferentes categorías.

41 RESUMEN Las redes recurrentes como la de Hopfield fueron inspiradas originalmente por mecanismos estadísticos. Se han usado como memorias asociativas, en las cuales los prototipos almacenados se recuperan por asociación con los datos de entrada.