Propiedades curiosas de los espacios de alta dimensión

Presentación del tema: "Propiedades curiosas de los espacios de alta dimensión"— Transcripción de la presentación:

1 Propiedades curiosas de los espacios de alta dimensión
propiedades curiosas de los espacios de alta dimension

2 propiedades curiosas de los espacios de alta dimension
Introduccion Utiliza la geometria euclidea y cartesiana para examinar las propiedades de los espacios de alta dimensión, como varían respecto de nuestras intuiciones en baja dimensión y como afecta esto al análisis de los datos propiedades curiosas de los espacios de alta dimension

3 propiedades curiosas de los espacios de alta dimension
contenidos Propiedades geometricas, asimptoticas y estadísticas Propiedades asintóticas de las estadisticas de primer y segundo orden Implicaciones para la clasificacion supervisada experimentos propiedades curiosas de los espacios de alta dimension

4 El volumen de un hipercubo se concentra en las esquinas
El volumen de una hiperesfera de radio r en dimension d, y de un hipercubo de lado r en dimensión d. La fraccion de volumen ocupada por la hiperesfera inscrita en el hipercubo tiende a cero cuando crece la dimension. propiedades curiosas de los espacios de alta dimension

5 propiedades curiosas de los espacios de alta dimension
Deducción: el volumen de los hipercubos se concentra en las esquinas al aumentar la dimensión. propiedades curiosas de los espacios de alta dimension

6 El volumen de una hiperesfera se concentra en la costra exterior
Fracción del volumen de una hiperesfera ocupado por una hiperesfera inscrita de radio infinitesimalmente menor propiedades curiosas de los espacios de alta dimension

7 El volumen de una hiperelipsoide se concentra en la costra exterior
Ecuación de la hiperelipsoide volumen Fraccion del volumen inscrito propiedades curiosas de los espacios de alta dimension

8 Conclusiones para datos de alta dimensión
El espacio de alta dimension esta casi vacio: los datos están en un subespacio. Los datos pueden proyectarse al subespacio sin pérdida de información significativa Concentración de los datos con distribución normal en la cola, y con distribución uniforme en las esquinas Se dificulta la estimación porque los vecindarios están vacios propiedades curiosas de los espacios de alta dimension

9 propiedades curiosas de los espacios de alta dimension
Experimento: generación de datos multidimensionales y examen de su histograma propiedades curiosas de los espacios de alta dimension

10 propiedades curiosas de los espacios de alta dimension

11 propiedades curiosas de los espacios de alta dimension

12 Conclusiones del experimento
Se muestran los histogramas de las distancias a cero y de los cuadrados de las distancias a cero. Se observa que los datos en alta dimensión se alejan de cero y se concentran en capas externas de la distribución. propiedades curiosas de los espacios de alta dimension

13 propiedades curiosas de los espacios de alta dimension
Las diagonales son casi ortogonales a todos los ejes (en alta dimension) Coseno del angulo de la diagonal a un eje. Importancia de este resultado: cualquier proyección de un cluster de datos en una diagonal destruirá información discriminante. propiedades curiosas de los espacios de alta dimension

14 propiedades curiosas de los espacios de alta dimension
El numero de muestras necesario para el entrenamiento crece con la dimensión Para clasificadores lineales crece linealmente con la dimension, cuadraticamente para los cuadráticos y exponencialemente para los no paramétricos (redes neuronales). Fenómeno de hughes: el rendimiento del clasificador decrece con la dimensión a menos que el numero de muestras sea infinito. propiedades curiosas de los espacios de alta dimension

15 Las proyecciones lineales tienden a seguir distribuciones normales
propiedades curiosas de los espacios de alta dimension

16 propiedades curiosas de los espacios de alta dimension
Experimento: examina el histograma de una proyección en un eje arbitrario de datos simulados a partir de una distribución uniforme y datos de una clase de AVIRIS hiperespectral. Otros experimentos muestran que distribuciones mezcla de gausianas se colapsan en una unica normal. propiedades curiosas de los espacios de alta dimension

17 propiedades curiosas de los espacios de alta dimension
Lo mismo para datos que provienen de dos clases, se observa que se pierde la discriminación en dos clases. propiedades curiosas de los espacios de alta dimension

18 Propiedades asintoticas de los estadisticos de primer y segundo orden
Basada en la distancia de Battharyya, que bajo la asunción de normalidad toma la forma propiedades curiosas de los espacios de alta dimension

19 propiedades curiosas de los espacios de alta dimension
Experimento 1 Datos de dos clases, 500 ptos por clase. Predominio de los segundos momentos propiedades curiosas de los espacios de alta dimension

20 propiedades curiosas de los espacios de alta dimension
Al aumentar la dimensión aumenta la importancia de la componente de covarianza de la distancia de Bhattaryya. propiedades curiosas de los espacios de alta dimension

21 propiedades curiosas de los espacios de alta dimension
Experimento 2 El enfasis discriminante esta en las medias, por tanto el clasificador basado en el más cercano funciona mejor. Se refleja en la distancia de Bhattaryya en la influencia creciente con la dimensión para el componente de la media. propiedades curiosas de los espacios de alta dimension

22 propiedades curiosas de los espacios de alta dimension

23 propiedades curiosas de los espacios de alta dimension
Derivacion de cotas de importancia de las componentes de la distancia de Bhattaryya Caso 1: mayor influencia de las varianzas propiedades curiosas de los espacios de alta dimension

24 propiedades curiosas de los espacios de alta dimension

25 propiedades curiosas de los espacios de alta dimension
Componente de las medias en la distancia de Bhattaryyya propiedades curiosas de los espacios de alta dimension

26 propiedades curiosas de los espacios de alta dimension
Componente de covarianzas en la dist. Bhatt. Define una cota superior del ratio de los componentes: propiedades curiosas de los espacios de alta dimension

27 propiedades curiosas de los espacios de alta dimension
Tomando el limite cuando crece la dimensión propiedades curiosas de los espacios de alta dimension

28 propiedades curiosas de los espacios de alta dimension
Caso 2: dominan los componentes de diferencia de las medias propiedades curiosas de los espacios de alta dimension

29 propiedades curiosas de los espacios de alta dimension

30 propiedades curiosas de los espacios de alta dimension

31 propiedades curiosas de los espacios de alta dimension
Experimento real Datos de AVIRIS en Indian Pines. Descarta las bandas de absorción atmosferica y procesa 200 bandas. Datos tomados en el comienzo de la estación, las plantas sólo cubren el 5% del area. El arado puede dejar mucho, moderado o poco residuo del año pasado. Los tipos de suelo cambian bastante. Por todo ello el 95% del area presenta bastante variabilidad mientras que las plantas tienen una signatura muy similar. propiedades curiosas de los espacios de alta dimension

32 propiedades curiosas de los espacios de alta dimension

33 propiedades curiosas de los espacios de alta dimension
Reduccion de dimensiones de 200 a 22 Metodo basado en la frontera de decisión Analisis discriminante 2 metodos de projection pursuit Extracción de características mediante decision boundary o analisis discriminante. Clasificadores Maxima verosimilitud Idem con umbral de 2% ECHO propiedades curiosas de los espacios de alta dimension

34 propiedades curiosas de los espacios de alta dimension

35 propiedades curiosas de los espacios de alta dimension
Experimento 2 Define 4 clases Realiza dos tipos de reducciones de dimensiones: DA de 200 a3 PP de 200 a 22 seguido de DA de 22 a 3 propiedades curiosas de los espacios de alta dimension

36 propiedades curiosas de los espacios de alta dimension