Datos multivariados: Análisis Clásicos y Nuevas Tecnologías

Datos multivariados: Análisis Clásicos y Nuevas Tecnologías
Curso-Taller Datos multivariados: Análisis Clásicos y Nuevas Tecnologías Tema 2: Ordenamiento

análisis multivariado / conceptos generales
Ordenamiento análisis multivariado / conceptos generales Notación mas utilizada Las propiedades, condiciones, atributos o características observadas se denominan genéricamente variables. Cada una de estas variables se mide, se observa, se calcula, o se estima en unidades de observación que se denominan genéricamente individuos. Se dice que la base de datos tiene p  1 variables tomados para cada uno de los n individuos estudiados. Arreglo de la información en una matriz de datos La matriz de datos se denomina X y tiene elementos xij i-ésima observación de la j-ésima variable i = 1, … , n y j = 1, ... , p

Ordenamiento análisis multivariado / conceptos generales Matriz de datos ________________________variables (columnas)_______________ individuos V V Vj Vp _(filas)__________________________________________________ 1 x11 x x1j x1p 2 x21 x x2j x2p 3 x31 x x3j x3p .. n xn1 xn xnj xnp ________________________________________________________

Ordenamiento análisis multivariado / conceptos generales Ejemplo Variables en el espacio de las observaciones 2 variables 3 observaciones Obs Altura Peso 1 2 3 Observaciones en el Espacio de las variables

Ordenamiento análisis multivariado / conceptos generales Medidas Resumen I: los datos Supongamos dos variables: 1) altura de plántula (en cm) 2) cantidad de flores observadas en 4 plantas p = n = 4 Datos: Variable 1: Variable 2: X: es una matriz de datos n × p o bien p × n

Ordenamiento análisis multivariado / conceptos generales Medidas Resumen II: tendencia central y dispersión Vector de valores medios de las variables de la matriz X (n × p) Insesgado Matriz de varianzas y covarianzas entre variables de la matriz X de varianza mínima: insesgado: i Matriz de correlación entre variables de la matriz X

Ordenamiento análisis multivariado / conceptos generales media variable 2 media variable 2 media variable 1 media variable 1 Ambas variables normales con varianzas iguales y correlacionadas

Ordenamiento análisis multivariado / conceptos generales Matriz de correlaciones parciales Corresponde a las correlaciones obtenidas después de ajustar por efectos de grupos Ejemplo: Si la matriz de datos de altura y peso contiene observaciones de dos grupos de individuos y no se tiene en cuenta esta clasificación se podría obtener una correlación negativa cuando en realidad ésta es positiva en ambos grupos.

análisis exploratorio de datos multivariados
Ordenamiento análisis exploratorio de datos multivariados Métodos gráficos Gráfico de dispersión con tres variables Tamaño del punto proporcional a la variable longevidad de la hoja

Ordenamiento análisis exploratorio de datos multivariados Métodos gráficos Matriz de diagramas de dispersión Muestra correlación entre las variables observadas simultáneamente en cada individuo

Ordenamiento análisis exploratorio de datos multivariados Métodos gráficos Gráfico de estrellas Muestra un perfil radial de valores medios de las variables. Con un factor de clasificación permite comparar visualmente los promedios en los niveles

componentes principales
Ordenamiento componentes principales Definiciones de análisis multivariado El análisis multivariado remite al estudio de vectores de variables aleatorias correlacionadas (Seber, 1984). El análisis multivariado se basa en un conjunto de técnicas estadísticas que analizan simultáneamente más de dos variables en una muestra de observaciones (Kendall, 1975). El análisis multivariado estudia, interpreta y elabora el material estadístico sobre la base de un conjunto de n>1 variables, que pueden ser de tipo cuantitativo, cualitativo o una mezcla de ambos (Cuadras, 1981). El análisis multivariado es el cuerpo metodológico para estudiar medidas simultáneas de varias variables (Johnson & Wichern, 1994) Ligar exploratorio de datos, tradicionalmente hecho con gráficos y medidas resumen con la posibilidad de reducir la dimensión en que se sintetizan los resultados.

Ordenamiento componentes principales Métodos descriptivos: Aproximación a la realidad sin ninguna hipótesis previa, se observan los datos en busca de nuevos conocimientos. Análisis de cluster o agrupamientos, escalamiento multidimensional, análisis de correspondencia, análisis de componentes principales, análisis de correlación canónica. Métodos confirmatorios: Basados en un marco teórico que justifica y fundamenta hipótesis que se intentan validar empíricamente. Análisis multivariado de la varianza (MANOVA), análisis multivariado de covarianza (MANCOVA), regresión múltiple multivariada, modelos loglineales, análisis discriminante.

Ordenamiento análisis exploratorio de datos multivariados Ejemplos con software estadístico Archivos que utilizaremos lNSTALA uno.IDB2 INSTALA dos.xls URL: Di Rienzo J.A., Casanoves F., Balzarini M.G., Gonzalez L., Tablada M., Robledo C.W. InfoStat versión Grupo InfoStat, FCA, Universidad Nacional de Córdoba, Argentina. URL Cómo citar InfoStat

Ordenamiento : análisis multivariado / conceptos generales
listo

Ordenamiento componentes principales Medidas de asociación: distancias - similitudes Concepto genérico de proximidad: semejanza que existe entre individuos o variables grado de asociación que existe entre ellos Distancia: mayor cuanto más alejados están los individuos o puntos entre los que se mide (Ej. Euclídea, Manhattan, Mahalanobis, entre otras) Similitud: contrario a distancia, el valor que se obtiene es tanto mayor cuanto más próximo están los elementos (Ej. Coeficientes de correlación, índice de Jaccard, entre otras)

Ordenamiento componentes principales Matriz de varianzas y covarianzas muestrales Matriz cuadrada p  p simétrica cuyos elementos de la diagonal principal son las varianzas de cada una de las p variable, y los elementos fuera de la diagonal principal son las covarianzas entre cada par de variables

Ordenamiento componentes principales Covarianza muestral: Es una medida de la asociación lineal entre 2 variables, o de cómo varían dos variables conjuntamente. La covarianza puede ser positiva o negativa: Positiva Negativa asociación directa: a valores altos de una variable corresponden valores altos de la otra asociación indirecta: a valores altos de una variable corresponden valores bajos de la otra no diferente de cero

Ordenamiento componentes principales Matriz de correlación muestral (producto momento de Pearson) Matriz cuadrada p  p simétrica cuyos elementos de la diagonal principal son unos, y los elementos fuera de la diagonal principal son las correlaciones entre cada par de variables. El coeficiente de correlación es una medida de la magnitud de la asociación lineal entre dos variables que no depende de las unidades de medida de las variables originales.

Ordenamiento componentes principales Correlación muestral: Al igual que la covarianza puede ser positiva o negativa y a diferencia de covarianza la correlación varía entre -1 y 1. asociación directa correlación positiva asociación indirecta correlación negativa no correlacionadas correlación cercana a cero r = -0.82 r = 0.07 r = 0.93

Ordenamiento componentes principales msnm prec cob temp msnm prec cob temp msnm prec cob temp Ho: ρj,j’ = 0 Ha: ρj,j’ ≠ 0 msnm prec cob temp msnm Prec cob temp salida de InfoStat Coeficientes de correlación Correlación de Pearson: Coeficientes\probabilidades msnm prec cob temp msnm prec cob temp

Ordenamiento componentes principales Control del error tipo 1 en las pruebas de hipótesis de los elementos de la matriz correlaciones msnm prec cob temp ¿Cuántas variables tenemos en el ejemplo? ¿Cuántas hipótesis debemos probar? p = 4 ½ p (p-1) = 6 variables correlación Prob. Prob. corregida msnm-prec 0.93 0.0001 0.0006 msnm-cob 0.07 0.8516 - msnm-temp -0.82 0.0034 0.0204 prec-cob -0.12 0.7410 prec-temp -0.61 0.0632 0.3792 pob-tem -0.17 0.6317 X

componentes principales Podemos ver en 3D pero no más allá !!!!
Ordenamiento componentes principales “mirar a los datos para ver que pretenden decir” (John Tukey ,1977) Podemos ver en 3D pero no más allá !!!! ¿Cómo entender la relación entre individuos y aproximarnos a comprender a qué pueden estar asociadas las semejanzas y/o las diferencias entre ellos? Reducir de la dimensión del problema Una proyección de los datos a un espacio en el que podemos visualizarlos

Ordenamiento componentes principales Autovalores Lambda Valor Proporción Acum E Autovectores Variables e e2 msnm prec cob temp Correlaciones con las variables originales Variables CP 1 CP 2 msnm prec cob temp Primeros dos componente principales

Ordenamiento componentes principales El análisis de componentes principales (ACP) se utiliza para explicar la estructura de varianza-covarianza de un conjunto de variables mediante unas pocas combinaciones lineales de ellas. Objetivos: Generar nuevas variables que puedan expresar la información contenida en el conjunto original de datos Reducir dimensión mediante obtención de un número pequeño de variables (componentes principales) no correlacionadas que explican casi toda la información (variabilidad) presente en las variables Interpretar variables no correlacionadas

Ordenamiento componentes principales ¿Por qué utilizar un ACP? Explica la variabilidad entre observaciones e identifica las variables de mayor peso en esa diferenciación. El ACP se realiza a partir de la matriz S (la matriz de covarianzas) o de R (la matriz de correlaciones) Transforma un conjunto de variables correlacionadas (rasgos) en otro conjunto de variables no correlacionadas, denominadas componentes principales ¿En qué consiste un ACP? A partir de una matriz X de datos, con n filas (individuos) y p columnas (variables), de rango p, simétrica y definida positiva, se realiza una descomposición espectral que origina p autovalores reales y positivos. Asociado a cada autovalor se generará un autovector: un vector de coeficientes que constituye una combinación lineal de variables. La simetría de S implica que cada par de autovectores asociados a un autovalor son ortogonales entre sí

Ordenamiento componentes principales Variables observadas Componentes principales Distintos grados de asociación No correlacionadas linealmente Desde el punto de vista geométrico esto implica ángulo no recto A ≠ 90° x2 x1 A ángulo recto C = 90° c1 c2 C Los CP (combinaciones lineales de variables) constituyen un nuevo sistema de coordenadas Los ejes de este sistema representan las direcciones de máxima variabilidad y describen en forma más simple la estructura de covarianza de las variables

Ordenamiento componentes principales ¿Para qué nos ayudan en la interpretación? Visualizar, identificar asociaciones y analizar variabilidad Las componentes principales (CP) permiten obtener gráficos de dispersión de los individuos y/o de las variables con propiedades óptimas para la interpretación de la variabilidad y co-variabilidad subyacente Visualizar: las observaciones multivariadas en espacios de dos o tres dimensiones (facilitar la interpretación) Identificar: las asociaciones entre individuos, entre variables y entre individuos y variables (destacar las relaciones ) Analizar variabilidad distancia entre individuos correlación entre variables correlación entre variables y componente porcentaje de variación explicada

Ordenamiento componentes principales ¿Por qué nos ayudan en la interpretación? La CP1 permite visualizar más variabilidad en los datos que cualquier otra CP La CP2 no está correlacionada con la CP1 (aporta nueva información) y explica mayor variabilidad que cualquier otra CP que no sea la CP1 y así sucesivamente Un gráfico de dispersión construido a partir de la CP1 y la CP2 proyecta la nube de datos en el sentido de máxima variación. Ideal para estudiar variabilidad Un número k de CPs , con k mucho menor a p, puede explicar la variabilidad total con poca pérdida de información

Ordenamiento componentes principales ¿Qué miramos para interpretar? Cuando un CP tiene todos sus coeficientes (relevantes) positivos, es decir es un promedio ponderado de todas las variables que lo integran, se dice que es un factor global de tamaño. Esto ocurre, por ejemplo, con la CP1 cuando todas las variables tienen una alta correlación positiva. En este caso, individuos con valores altos del CP1 son los de mayor tamaño. Cuando un CP tiene coeficientes positivos y negativos, está comparando un grupo de variables (las que muestran coeficientes positivos) con otro grupo de variables (las que muestran coeficientes negativos). Se dice que es un factor de forma. En este caso, valores altos del CP indican valores mayores que la media en las variables con coeficientes positivos y valores menores de la media de las variables con coeficientes negativos. Un gráfico del porcentaje de variabilidad explicada por cada componente para decidir cuántos componentes interpretar.

Ordenamiento componentes principales Un ejemplo para interpretar resultados: biplot ¿qué tienen en común?

Ordenamiento componentes principales Un ejemplo para interpretar resultados: autovalores, autovectores, correlaciones Datos estandarizados Autovalores Lambda Valor Proporción Acum E Autovectores Variables e e2 msnm prec cob temp Correlaciones con las variables originales Variables CP 1 CP 2 msnm prec cob temp

Ordenamiento componentes principales Ejemplos con software estadístico Archivos que utilizaremos ACP uno.IDB2 (datos que acabamos de ver) ACP dos.IDB2 (ejemplo con datos reales) URL: Di Rienzo J.A., Casanoves F., Balzarini M.G., Gonzalez L., Tablada M., Robledo C.W. InfoStat versión Grupo InfoStat, FCA, Universidad Nacional de Córdoba, Argentina. URL Cómo citar InfoStat

Ordenamiento componentes principales CPs a guardar en el archivo Visualizar Individuos (Filas) y variables (Columnas) en un mismo plano Estandarizar Variables (ACP sobre matriz de correlación) Resumir repeticiones

Ordenamiento : componentes principales
listo

coordenadas principales
Ordenamiento coordenadas principales ¿Siempre se puede usar ACP? . . . el ACP se realiza a partir de la matriz S (la matriz de covarianzas) o de R (la matriz de correlaciones) . . . . . . distancia y similitud . . . escala de medición de las variables . . . La matriz de covarianzas se calcula a partir de variables de proporción (continuas o discretas) ¿Cómo reducimos la dimensión cuando tenemos variables en otras escalas de medición? Escalamiento multidimensional (métrico o clásico): EMD Análisis de coordenadas principales: ACoorP

Ordenamiento coordenadas principales Una proyección de los datos a un espacio en el que podemos visualizarlos Matriz de similitud Variables son: ordinales, nominales (dummy) o mixtas Matriz de disimilitud o distancia Variables nominales: Se usan medidas de asociación (similitud) Están basadas en el número de concordancias y discordancias entre objetos sobre todas las dimensiones observadas. Variables mixtas: Se usan medidas de asociación (similitud) Están basadas en el número de concordancias y discordancias entre objetos sobre todas las dimensiones observadas y en la expresión relativa a la amplitud de las variables continuas

Ordenamiento coordenadas principales Medidas de Distancia para variables dicotómicas Coeficiente simple de acuerdo obs. 2 1 a b 0 c d obs.1 0 < S < 1 Coeficiente de Jaccard 0 < S < 1 Datos V1 V2 V3 V4 V5 V6 V7 V8 1 2 obs. 2 obs.1 Simple acuerdo = 5/8 = 0.625 Jaccard = 1/4 = 0.25

Ordenamiento coordenadas principales Medidas de Distancia para mezcla de variables Que se puede transformar en una medida de distancia La medida de similitud propuesta por Gower (1971) es el promedio para las p variables de la similitud entre dos individuos Variables binarias o nominales Variables de proporción Dos individuos (i e i’) con valores iguales valor para la variable j Es la amplitud de la variable (máximo – mínimo) Dos individuos (i e i’) con valores diferentes para la variable j

Ordenamiento coordenadas principales Ejemplo 1: Es una técnica útil para mostrar distancias entre datos para los cuales las medidas Euclídeas no son apropiadas : 7 dicotómicas

Ordenamiento coordenadas principales Ejemplo 2: Es una técnica útil para mostrar distancias entre datos para los cuales las medidas Euclídeas no son apropiadas: 7 dicotómicas + 2 ordinales

Ordenamiento coordenadas principales Componentes principales o coordenadas principales Un método puede ser mas apropiado que otro ¿Un método es mejor que otro ? ¿Deben usarse todas las variables ? ¿De que dependen las respuestas a estas preguntas ? ¿Hay una regla para tomar la decisión ? ¿Son coincidentes las configuraciones ? En principio si, cómo seguir depende del resultado De la escala de medición de las variables Si, como resultado ponderado entre la teoría y los datos Podemos probarlo usando procrustes

Ordenamiento coordenadas principales Ejemplos con software estadístico Archivos que utilizaremos ACoorP uno.IDB2 (datos que acabamos de ver) ACoorP dos.IDB2 (ejemplo con datos reales) URL: Di Rienzo J.A., Casanoves F., Balzarini M.G., Gonzalez L., Tablada M., Robledo C.W. InfoStat versión Grupo InfoStat, FCA, Universidad Nacional de Córdoba, Argentina. URL Cómo citar InfoStat

Ordenamiento coordenadas principales Seleccionar la medida resumen a utilizar en caso de existir un factor de clasificación Seleccionar una medida de distancia Estandarizar Variables (efecto según la medida de distancia utilizada) Incluir en la salida la matriz de distancias Representar distancias entre Individuos (Filas) o entre variables (Columnas) CoorPs a guardar en el archivo

Ordenamiento : cordenadas principales
listo

Análisis de Correspondencia Simple
Ordenamiento correspondencia Análisis de Correspondencia Simple Es una técnica exploratoria que permite representar gráficamente filas y columnas de una tabla de contingencia Explica la asociación entre dos variables registradas sobre un conjunto de n individuos. En el AC se representan las filas y las columnas de una tabla a dos vías de variables cualitativas como puntos en un espacio Euclídeo de baja dimensión (generalmente bidimensional). Permite graficar observaciones bivariadas en planos e identificar las asociaciones de mayor peso entre las modalidades de dos variables cualitativas

Análisis de correspondencia múltiple
Ordenamiento correspondencia Análisis de correspondencia múltiple El análisis de correspondencia múltiple permite graficar observaciones multivariadas (más de dos variables) en planos e identificar las asociaciones de mayor peso entre las modalidades de varias variables cualitativas Se utilizan tablas que contienen los niveles o modalidades de cada variable categorizada tanto en las filas como en las columnas de la tabla y por tanto contienen todas las clasificaciones cruzadas a dos vías de las variables originales (conocida como tabla Burt)

Ordenamiento correspondencia Procedimiento del AC
Opera sobre la matriz de desviaciones chi-cuadrado en lugar de usar la matriz de varianza-covarianza como lo hace el ACP. Mide cuales son las combinaciones de modalidades que tiene más inercia (que más contribuyen a rechazar la hipótesis de independencia entre las dos variables) A partir de la matriz de desviaciones por celda, se obtiene un conjunto de autovectores y autovalores que son usados para construir un subespacio óptimo para la representación de los perfiles filas y columnas ponderados por sus respectivos pesos.

Ordenamiento correspondencia Procedimiento del AC
Los ejes son extraídos en relación a la desviación chi-cuadrado explicada por cada uno El primer eje principal se asocia a la contribución más alta sobre el estadístico chi-cuadrado de la tabla de contingencia. Luego este es el óptimo espacio uni-dimensional para representar los puntos filas y columnas Los primeros d ejes definen el espacio d-dimensional óptimo con d= min(I-1,J-1) La proporción de la inercia total explicada por cada eje es usada como criterio de selección del número de ejes necesarios para la representación

Ordenamiento correspondencia Ejemplo de AC simple
Tabla de Clasificación cruzada de tipos de Hogar y Tratamiento que se realiza con la Basura basura Tipo de hogar urbano Rural_1 Rural_2 Total Entierra 22 2 10 34 Tira 16 54 115 185 Quema 19 33 73 125 Quema y tira 11 17 28 56 400 ¿Cuantas entrevistas se realizaron?

Biplot resultante de un Análisis de Correspondencia
Ordenamiento correspondencia Biplot resultante de un Análisis de Correspondencia Representación de todas las modalidades de dos o más variables categorizadas en un mismo plano Contribución a la Chi cuadrado Autovalor Inercias Chi-Cuadrado (%) % acumulado

Ejemplos con software estadístico
Ordenamiento correspondencia Ejemplos con software estadístico Archivos que utilizaremos ACsimple uno.IDB2 (datos que acabamos de ver) pasturas.IDB2 (otro ejemplo con datos reales) URL: Di Rienzo J.A., Casanoves F., Balzarini M.G., Gonzalez L., Tablada M., Robledo C.W. InfoStat versión Grupo InfoStat, FCA, Universidad Nacional de Córdoba, Argentina. URL Cómo citar InfoStat

Ordenamiento correspondencia Por defecto así

Ordenamiento : correspondencias
listo

procrustes generalizado
Ordenamiento procrustes generalizado n: número de individuos (objetos) K: número de grupos de variables (conjuntos) P: número de variables por grupo (no necesariamente iguales) Objetivo: Encontrar la mejor configuración promedio Inspeccionar la heterogeneidad (variabilidad) entre individuos Inspeccionar la heterogeneidad entre grupos de variables

Ordenamiento procrustes generalizado n=3 K=4 P=2 variables Manova: Individuo 1 Variabilidad entre / variabilidad dentro Individuo 2 Individuo 3

Ordenamiento procrustes generalizado n=3 K=4 P=2 variables F2 F1 G G F3 F4 Traslación generalizada Manova: Invariancia Variabilidad entre / variabilidad dentro

n=3 K=4 P=2 variables F2 F1 G G F3 F4 Traslación generalizada Manova: Variabilidad entre / variabilidad dentro Invariancia

Ordenamiento procrustes generalizado n=3 K=4 P=2 G rotación reflexión Dimensiones del consenso Minimizar la variabilidad respecto al centroide de cada individuo

Ordenamiento procrustes generalizado Descomposición de la suma de cuadrados total Fuente de variación Suma de cuadrados Traslación Orientación Configuración promedio Desvios Total

Ordenamiento procrustes generalizado Desvios respecto a la configuración promedio Heterogeneidad entre conjuntos Heterogeneidad entre objetos

Ordenamiento procrustes generalizado n = 21 K = 5 P = (5, 3, 10, 9, 2) En el individuo 1 Conjunto 1 Individuo 21 Conjunto 2 Individuo 20 Conjunto 3 Conjunto 4 Conjunto 5

n = 21 K = 5 P = (5, 3, 10, 9, 2) En el individuo 20 Conjunto 1 Individuo 21 Conjunto 2 Individuo 20 Conjunto 3 Conjunto 4 Conjunto 5

Ordenamiento procrustes generalizado Ejemplos con software estadístico Archivos que utilizaremos ProcrustesG uno.IDB2 (datos que acabamos de ver) ProcrustesG dos.xls (ejemplo con datos reales) URL: Di Rienzo J.A., Casanoves F., Balzarini M.G., Gonzalez L., Tablada M., Robledo C.W. InfoStat versión Grupo InfoStat, FCA, Universidad Nacional de Córdoba, Argentina. URL Cómo citar InfoStat

Ordenamiento procrustes generalizado Se van identificando los conjuntos de variables seleccionadas Seleccionar las variables de cada conjunto con boton derecho del ratón Graficar en plano de coordenadas principales (dimensiones sintéticas) el consenso los individuos las configuraciones de cada conjunto de variables Seleccionar el número de dimensiones a utilizar Tildar para estandarizar Variables y/o escalar los conjuntos de variables Tildar si se desea guardar las coordenadas

Procruster generalizado
Ordenamiento listo Exploración ACP ACoorP AC Procruster generalizado

Transitamos una parte importante del camino !!

Datos multivariados: Análisis Clásicos y Nuevas Tecnologías

Presentaciones similares

Presentación del tema: "Datos multivariados: Análisis Clásicos y Nuevas Tecnologías"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

Datos multivariados: Análisis Clásicos y Nuevas Tecnologías

Presentaciones similares

Presentación del tema: "Datos multivariados: Análisis Clásicos y Nuevas Tecnologías"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback