Componentes Principales

Karl Pearson

Objetivo: dada una matriz de datos de dimensiones nxp que representa los valores de p variables en n individuos, investigar si es posible representar los individuos mediante r variables (r<p) con poca (o ninguna si es posible) pérdida de información.

Nos gustaría encontrar nuevas variables Z, combinación lineal de las X originales, tales que: r de ellas contengan toda la información las restantes p-r fuesen irrelevantes

Primera interpretación de componentes principales: Representación gráfica óptima de los datos

Proyección de un punto en una dirección: maximizar la varianza de la proyección equivale a minimizar las distancias ri xi zi xiT xi = riT ri+ zTi zi a

Minimizar las distancias a la recta es lo mismo que maximizar la varianza de los puntos proyectados (estamos suponiendo datos de media cero)

Segunda interpretación de componentes: Predicción óptima de los datos Encontrar una variable zi =a’Xi que sea capaz de prever lo mejor posible el vector de variables Xi en cada individuo. Generalizando, encontrar r variables, zi =Ar Xi , que permitan prever los datos Xi para cada individuo lo mejor posible, en el sentido de los mínimos cuadrados Puede demostrarse que la solución es que zi =a’Xi tenga varianza máxima.

Tercera interpretación: Ejes del elipsoide que contiene a la nube de puntos Recta que minimiza las distancias ortogonales, proporciona los ejes del elipsoide que contiene a la nube de puntos Coincide con la idea de regresión ortogonal de Pearson

Ejemplo. Datos de gastos de familias EPF

Segundo componente

Ejemplo gastos EPF

Propiedades de los CP

Propiedades Conservan la varianza generalizada Conservan la varianza efectiva

Propiedades La variabilidad explicada es la proporción del valor propio a la suma

Propiedades La covarianza entre los componentes y las variables es proporcional al vector propio que define el componente Y como

Propiedades Las covarianzas entre los componentes y las variables son proporcionales al vector propio y el factor de proporcionalidad es el valor propio

Propiedades

Propiedades

CP como predictores óptimos Queremos prever cada fila de la matriz Mediante un conjunto de variables Con el mínimo error

CP como predictores óptimos Dado el vector a el coeficiente c se obtiene por regresión Con lo que Para obtener a tenemos que minimizar

CP como predictores óptimos

CP como predictores óptimos El resultado de la aproximación es

CP como predictores óptimos Y en general, la mejor aproximación de la matriz con otra de Rango r<p es

Los CP son los predictores óptimos de las variables originales La aproximación de CP puede aplicarse a cualquier matriz aunque tengamos más variables que observaciones

Propiedades En lugar de trabajar con la matriz de varianzas podemos hacerlo con la de correlaciones Esto equivale a trabajar con variables estandarizadas

CP sobre correlaciones

Ejemplo Inves

Ejemplo Inves

Ejemplo Medifis

Ejemplo mundodes

Ejemplo Mundodes

Ejemplos para análisis de imagenes

En lugar de tener que transmitir 16 matrices de N2 Pixeles transmitimos un vector 16x3 con los valores de los componentes y una matriz 3xN2 con los vectores propios De esta manera ahorramos: Ahorramos el 70% . Si en lugar de 16 imágenes tenemos 100 el ahorro puede ser del 95%

Generalización Buscar direcciones de proyección interesantes desde algun punto de vista. Esta es la idea de Projection Pursuit. Buscar proyecciones que produzcan distribuciones de los datos tan alejadas de la normalidad como sea posible.