Propiedades curiosas de los espacios de alta dimensión propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Introduccion Utiliza la geometria euclidea y cartesiana para examinar las propiedades de los espacios de alta dimensión, como varían respecto de nuestras intuiciones en baja dimensión y como afecta esto al análisis de los datos propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension contenidos Propiedades geometricas, asimptoticas y estadísticas Propiedades asintóticas de las estadisticas de primer y segundo orden Implicaciones para la clasificacion supervisada experimentos propiedades curiosas de los espacios de alta dimension

El volumen de un hipercubo se concentra en las esquinas El volumen de una hiperesfera de radio r en dimension d, y de un hipercubo de lado r en dimensión d. La fraccion de volumen ocupada por la hiperesfera inscrita en el hipercubo tiende a cero cuando crece la dimension. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Deducción: el volumen de los hipercubos se concentra en las esquinas al aumentar la dimensión. propiedades curiosas de los espacios de alta dimension

El volumen de una hiperesfera se concentra en la costra exterior Fracción del volumen de una hiperesfera ocupado por una hiperesfera inscrita de radio infinitesimalmente menor propiedades curiosas de los espacios de alta dimension

El volumen de una hiperelipsoide se concentra en la costra exterior Ecuación de la hiperelipsoide volumen Fraccion del volumen inscrito propiedades curiosas de los espacios de alta dimension

Conclusiones para datos de alta dimensión El espacio de alta dimension esta casi vacio: los datos están en un subespacio. Los datos pueden proyectarse al subespacio sin pérdida de información significativa Concentración de los datos con distribución normal en la cola, y con distribución uniforme en las esquinas Se dificulta la estimación porque los vecindarios están vacios propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Experimento: generación de datos multidimensionales y examen de su histograma propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

Conclusiones del experimento Se muestran los histogramas de las distancias a cero y de los cuadrados de las distancias a cero. Se observa que los datos en alta dimensión se alejan de cero y se concentran en capas externas de la distribución. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Las diagonales son casi ortogonales a todos los ejes (en alta dimension) Coseno del angulo de la diagonal a un eje. Importancia de este resultado: cualquier proyección de un cluster de datos en una diagonal destruirá información discriminante. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension El numero de muestras necesario para el entrenamiento crece con la dimensión Para clasificadores lineales crece linealmente con la dimension, cuadraticamente para los cuadráticos y exponencialemente para los no paramétricos (redes neuronales). Fenómeno de hughes: el rendimiento del clasificador decrece con la dimensión a menos que el numero de muestras sea infinito. propiedades curiosas de los espacios de alta dimension

Las proyecciones lineales tienden a seguir distribuciones normales propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Experimento: examina el histograma de una proyección en un eje arbitrario de datos simulados a partir de una distribución uniforme y datos de una clase de AVIRIS hiperespectral. Otros experimentos muestran que distribuciones mezcla de gausianas se colapsan en una unica normal. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Lo mismo para datos que provienen de dos clases, se observa que se pierde la discriminación en dos clases. propiedades curiosas de los espacios de alta dimension

Propiedades asintoticas de los estadisticos de primer y segundo orden Basada en la distancia de Battharyya, que bajo la asunción de normalidad toma la forma propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Experimento 1 Datos de dos clases, 500 ptos por clase. Predominio de los segundos momentos propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Al aumentar la dimensión aumenta la importancia de la componente de covarianza de la distancia de Bhattaryya. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Experimento 2 El enfasis discriminante esta en las medias, por tanto el clasificador basado en el más cercano funciona mejor. Se refleja en la distancia de Bhattaryya en la influencia creciente con la dimensión para el componente de la media. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Derivacion de cotas de importancia de las componentes de la distancia de Bhattaryya Caso 1: mayor influencia de las varianzas propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Componente de las medias en la distancia de Bhattaryyya propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Componente de covarianzas en la dist. Bhatt. Define una cota superior del ratio de los componentes: propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Tomando el limite cuando crece la dimensión propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Caso 2: dominan los componentes de diferencia de las medias propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Experimento real Datos de AVIRIS en Indian Pines. Descarta las bandas de absorción atmosferica y procesa 200 bandas. Datos tomados en el comienzo de la estación, las plantas sólo cubren el 5% del area. El arado puede dejar mucho, moderado o poco residuo del año pasado. Los tipos de suelo cambian bastante. Por todo ello el 95% del area presenta bastante variabilidad mientras que las plantas tienen una signatura muy similar. propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Reduccion de dimensiones de 200 a 22 Metodo basado en la frontera de decisión Analisis discriminante 2 metodos de projection pursuit Extracción de características mediante decision boundary o analisis discriminante. Clasificadores Maxima verosimilitud Idem con umbral de 2% ECHO propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension Experimento 2 Define 4 clases Realiza dos tipos de reducciones de dimensiones: DA de 200 a3 PP de 200 a 22 seguido de DA de 22 a 3 propiedades curiosas de los espacios de alta dimension

propiedades curiosas de los espacios de alta dimension