TRANSFORMACIONES LINEALES PARA REDES NEURALES ARTIFICIALES Objetivo: Determinar características fundamentales de algunas transformaciones lineales generales. La multiplicación de un vector de entrada por una matriz de pesos es un ejemplo de una transformación lineal. Transformación lineal Una transformación consiste de tres partes: 1.- Un conjunto de elementos X={Xi} llamado dominio. 2.- Un conjunto de elementos Y={Yi} llamado rango. 3.- Una regla que relaciona cada Xi  X a un elemento Yi  Y.   Una transformación A es lineal si: 1.- Para todo X1 ,X2  X , A(X1 + X2) = A(X1) + A(X2) 2.- Para todo X  X, a  R, A(aX) = aA(X).

Ejemplo: Transformación obtenida al rotar vectores en R2 por un ángulo . X X1 X2 X1+X2 A(X1+X2) A(X1) A(X2) aX A(X) A(aX)=aA(X)     A(X) La transformación de rotación se muestra en la primera figura. La segunda figura muestra que se satisface la primera propiedad: si se quiere rotar la suma de dos vectores, se puede rotar primero cada vector y después sumarlos. La tercera figura ilustra la propiedad 2: si se quiere rotar un vector escalado, se puede rotar primero el vector y luego escalarlo. Por lo tanto la rotación es una transformación lineal.

Representación matricial Cualquier transformación lineal entre dos espacios vectoriales finito dimensionales, se puede representar por una matriz (cualquier vector general de un espacio vectorial finito dimensional puede representarse por una columna de números).   Sea {v1, v2, ... , vn} una base del espacio vectorial X, y sea {u1, u2, ... , um} una base para el espacio vectorial Y. Entonces para dos vectores cualquiera x  X e y  Y x = xivi e y = yiui Sea A una T.L. con dominio X y rango Y (A:X  Y) Entonces A(x) = y se puede escribir como A( xjvj ) = yiui Como A es un operador lineal, entonces podemos escribir

xjA(vj) = yiui   Como los vectores A(vj) son elementos de Y, se pueden escribir como una combinación lineal de los vectores de la base de Y: A(vj) = aijui Luego xj aijui = yiui Revirtiendo el orden de la suma ui aijxj = yiui reacomodando ui ( aijxj - yi) = 0 Como los ui forman una base, son independientes, por lo tanto los coeficientes que multiplican a ui son cero: aijxj = yi Esto lleva a la multiplicación matricial siguiente:

a11 a12 ... a1n x1 y1 a21 a22 ... a2n x2 y2 ...................................... ........ =   am1 am2 ... amn xn ym     Para cualquier transformación lineal entre dos espacios vectoriales finito dimensionales hay una representación matricial (no es única, como no lo es la representación columna de un vector general. Si se cambia el conjunto base del dominio o del rango, la representación matricial cambiará).   Ejemplo de representación matricial utilizando la transformación de rotación. Se busca una representación matricial para esa transformación. Se transforma cada vector base del dominio y se expande en términos de los vectores base del rango. Trabajando con el dominio y el rango iguales, X=Y=R2 y con las bases estándares ui = vi = si

Usamos A(vj) = aijui. Los coeficientes de cada expansión generan una columna de la matriz.  A(s1) A(s2) Sen() -Sen() cos() A(s1) = cos() s1 + sen()s2 = ai1si = a11s1 + a21s2 A(s2) = - sen()s1 + cos()s2 = ai2si = a12s1 + a22s2

La representación matricial será cos() -sen() A = sen() cos() Cuando se multiplica un vector por la matriz, el vector rota por un ángulo . Cambio de Base La representación matricial cambia cuando cambia la base de la transformación.   Sea la T.L. A:X-->Y. Sea {v1, v2, ... , vn} una base de X y {u1, u2, ... , um} una base para el espacio vectorial Y. Para dos vectores cualquiera x  X e y  Y x = xivi e y = yiui Entonces si A(x) = y, la representación de la transformación será

Supongamos que ahora usamos otros conjuntos bases para X y para Y. 11 12 ¼ 1 n 221 22 2 m x y = Ax = y Supongamos que ahora usamos otros conjuntos bases para X y para Y. sea {t1, t2, ... , tn} la nueva base de X y {w1, w2, ... , wm} la nueva base para Y. Con estas nuevas bases x = xniti e y = yniwi xn y yn son los vectores de coeficientes en las nuevas expansiones. Esto produce una nueva representación matricial A*xn = yn ¿Cuál es la relación entre A y A*? Para encontrarla hay que encontrar la relación entre los dos conjuntos de bases. Cada ti es un elemento de X, se puede expandir en términos de la base original para X:

Se define una matriz cuyas columnas son los ti ti = tjivj y wi = wjiuj por lo tanto los vectores base se pueden escribir como columnas de números ¼ t i 1 2 n = ¼ w i 1 2 m =     Se define una matriz cuyas columnas son los ti B t 1 2 ¼ n = Podemos escribir en forma matricial x = Xn1t1 + Xn2t2 + ... + Xnntn = BtXn Se define una matriz cuyas columnas son los wi y = BwYn Ahora sustituyendo x e y en Ax =y obtenemos ABtXn = BwYn

Si multiplicamos ambos lados de esta ecuación por (Bw)-1 [(Bw)-1A Bt]xn = yn que al compararla con A*xn = yn da lugar al cambio de base siguiente: A* = [(Bw)-1A Bt] Transformación similar Este resultado, que describe la relación entre dos representaciones matriciales cualquiera de una transformación lineal dada, se llama transformación similar. La escogencia correcta de la base permite obtener una representación matricial que revela las características claves de la transformación lineal. Autovalores y autovectores Son dos propiedades de las transformaciones lineales (dan información de estabilidad redes como la Hopfield). Sea A: X --> X una transformación lineal (dominio igual al rango). Los vectores z  X distintos del cero y esos escalares  que satisfacen A(z) = z se llaman autovectores (z) y autovalores ().

El término autovector es un poco incómodo, puesto que no se trata realmente de un vector sino de un espacio vectorial, dado que si z satisface la ecuación anterior, entonces az también lo hace. Un autovector de una transformación representa una dirección, tal que cualquier vector en esa dirección, al ser transformado, continuará apuntando a la misma dirección pero estará escalado por el autovalor.   Cálculo de los autovectores y de los autovalores: Supongamos una base para el espacio vectorial n-dimensional X. Entonces la representación matricial de A(z) = z se puede escribir como AZ = Z o [A-I]Z = 0 Las columnas de [A-I] son dependientes (los Z son distintos de cero), y por lo tanto el determinante de esta matriz será cero: |[A-I]| = 0 Este determinante es un polinomio de orden n, por lo tanto la ecuación anterior siempre tendrá n raíces, algunas de las cuales complejas y repetidas. Para el caso de la rotación del vector: Habrá cualquier vector que cuando se rote 30 grados continúe apuntando en la misma dirección?. NO.

= 0 Ese es un caso cuando no hay autovalores reales. La matriz de la transformación para la base estandar es: cos() -sen() A = sen() cos() por lo que obtenemos el determinante: cos()- -sen() = 0 sen() cos() -  o 2 - 2 cos() + ((cos() )2 + (sen()2) = 2 - 2 cos() + 1 = 0 las raíces de esta ecuación son: 1 = cos() + j sen() 2 = cos() - j sen() Esta transformación no tiene autovalores reales (si sen() # 0).

Esto significa que cuando cualquier vector real es transformado, éste apuntará en una nueva dirección. Otro ejemplo: -1 1 -1- 1 A = = 0 0        0 –2 0 -2- 2 + 3 + 2 = ( +1)(  + 2) = 0 y los autovalores son 1 = -1 2 = -2   para encontrar los autovectores -1- 1 0 Z = 0                         0 -2- 0 Resolviendo con 1 = -1 se obtiene Z11 = cualquiera, Z21 = 0, por lo tanto es el primer autovector será [1 0] ó cualquier escalar múltiplo.

Resolviendo con 2 = -2 Z22 = -Z21 , Z21 = 1, Z22 = -1 es el segundo autovector o cualquier escalar múltiplo.   Diagonalización matricial Cuando hay n autovalores distintos se puede garantizar encontrar n autovectores independientes. Por lo tanto los autovectores constituyen una base para el espacio vectorial de la transformación. Busquemos la matriz de la transformación precedente usando los autovectores como una base. De A* = [(Bw)-1A Bt] 1 1 -1 1 1 1 -1 0 A* = [B-1A B] = = 0 -1 0 -2 0 -1 0 -2 Esta es una matriz diagonal, con los autovalores en la diagonal. Cuando se tiene autovalores distintos se puede diagonalizar la representación matricial usando los autovectores como base.

Aprendizaje del Rendimiento El proceso es como sigue: Sea B = [z1 z2 ... zn] donde { z1 , z2 , ... , zn } son los autovectores de una matriz A. Entonces 1 0.…...0 0 2 0….0 [B-1AB] = 0…..........0 0....….0n   donde { 1 , 2 , ... , n } son los autovalores de la matriz A. Aprendizaje del Rendimiento