Metodología de Ajuste y Análisis de Diagnóstico en Modelos Lineales Generalizados Diciembre 2009 MPDíaz.

Presentación del tema: "Metodología de Ajuste y Análisis de Diagnóstico en Modelos Lineales Generalizados Diciembre 2009 MPDíaz."— Transcripción de la presentación:

1 Metodología de Ajuste y Análisis de Diagnóstico en Modelos Lineales Generalizados Diciembre 2009 MPDíaz

2 METODOLOGÍA Cómo trabajar con MLG´s? (i) Formulación de modelos (ii) Ajustes de modelos (iii) Inferencia MLG´sflexibles en (i) cómputos simples en (ii) criterios razonables en (iii) secuencialmente secuencialmente 3 ETAPAS CARACTERÍSTICAS DATOS IND. (NO CORREL.) ÚNICA ESTRUCTURA ERROR

3 (i) FORMULACIÓN DE MODELOS: Analizar datos asimetría Analizar datos asimetría ptos. críticos naturaleza ptos. críticos naturaleza intervalo variación intervalo variación TRINOMIO Por ejemplo: Y v.a. fdp continua asimétrica, Gama, Normal Inversa [ 0,.......) intervalo variación Normalcontinua y IV =  C. V. constante Gamma conteos; análisis datos continuos (n grande),  Poisson Binomial datos en forma proporciones continuos con subdispersión ( <1)  V (  b¨(   Gama, Binomial Negativa Normal Inversa C. Aleatorio: C. Aleatorio:

4 * SuperdispersiónCuál elijo? DEPENDE DISPERSIÓN DE LOS DATOS B.N.V (  ) =  +  2 /k  POISSON Modelo básico para conteos con superdispersión * Sub - dispersión V (  ) <  POISSON + <1 BINOMIAL POSITIVA

5 Tabla de combinación distribución / enlace para casos especiales de MLG´s. Propiedades, interpretación. Función de enlace: Función de enlace: Predictor lineal : X v´s continuas v´s cualitativas v´s mixtas Predictor lineal : X v´s continuas v´s cualitativas v´s mixtas criterios para incluir / sacar COVARIABLES Un MLG es bueno si consigue explicar la relación media-varianza satisfactoriamente y si produce efectos ADITIVOS en la escala del ¨enlace¨. Parsimonioso

6 (ii) AJUSTE DE MODELOS: Estimar  desconocidos MMVsimple+ usado Algoritmo (Nelder & Wedderburn, 1972) Robustez (convergencia)Problemas (iii) INFERENCIA: Analizar Adecuación ¨como un todo¨. Realizar estudio detallado de discrepancias locales. » Análisis de la Precisión e Interdependencia estimaciones de  i » Construcción regiones de confianza  » Tests de hipótesis (simples y compuestas) sobre  » Análisis estadístico de residuos » Realizar prediccionescuán buenas? Depende ADECUACIÓN

7 DIAGNÓSTICO. GRÁFICOS USUALES: Residuos estandarizados vs valores ajustados OK Media / Varianza propuesta es OK Residuos vs covariables no incluidas (otros…) Residuos vs número índice (otros…) Tests: - Criterio Razón MV en relación al modelo saturado. - Estadístico de Pearson (X 2 ) Generalizado.

8 MODELO MAL AJUSTADO? Pregibon (1979) (PhD Tesis) (i) Inclusión de p covariables, p grande (ii) Contrario ( no refleja mecanismo de generación de los datos) (iii) Datos no suficientes para detectar fallas debido a mala selección de la relación Error / Enlace.

9 SELECCIÓN DEL MODELO: FUNCIÓN DE ENLACE CRÍTICO  ij ’s  CORDEIRO (1996): Se deben a priori eliminar modelos mediocres observando la estructura de los datos. En la selección del modelo SIEMPRE será realizado un balance entre el grado de complejidad y la bondad del ajuste del modelo. TIPOS DE MODELOS INSTANCIAS

10 DIAGNÓSTICO en MLG Técnicas para verificación del ajuste Formales Informales Tipos de Discrepancias SISTEMÁTICAS AISLADAS Causas de la falta de Ajuste: predictor lineal puntos discrepantes función de enlace función de varianza

11 MATERIAL BÁSICO 1) valores ajustados i estimados 2) varianza o discrepancia residual: (muestral) S 2 3) leverage: h (<2 p/m) H = W 1/2 X (X’ W X) -1 X’ W 1/2 4) RESIDUOS: R i = h i (Y i,  i ) función adecuada (fácil de interpretar) r i = h i (Y i,  i ) residuo verdadero Modelo Adecuado:* modelar bien relación media varianza * producir efectos aditivos en una escala apropiada (link)

12 TÉCNICAS FORMALES Para discrepancias sistemáticas (Se basa en parámetros extras) covariables adicionales covariables construidas Discrepancias aisladas?Variables dummy para puntos TODAS OBSERVAN CAMBIO DE DEVIANCE

13 RESIDUOS absolutos estandarizados delection Se usa H = W 1/2 X (X’ W X) -1 X’ W 1/2 Se muestra que V 1/2 (  -  )  H V 1/2 (y -  ) V = diag {V(  i )}H mide la influencia, en unidades estud., de cambios en Y sobre  i Residuos PearsonResiduos de Deviance Desventaja: r p tiene distribución asimétrica, no así los de deviance. Ventajas:  observación, cómputos simples, mayor simetría con r p. r p = r D =

14 Residuos Pearson estudentizados internamente Residuos Deviance estudentizados exter e internamente (WILLIAMS, 1987). Residuos de Anscombe

15 CUÁL ES MEJOR? 1) Deviance 2) Anscombe 3) Pearson PARA QUÉ? Desvíos sistemáticos (propiedades preferidas) 1 r D vs, información cte. PATRÓN NULO r D vs (normal), vs 2log (gama) r D vs (Poisson) r D vs(Binomial), vs –{ } -1/2 (NInv)

16 Patrón nulo indica r D  N  0,   constante) c.c.apariencia curvatura en la media un cambio sistemático de rango * mal enlace * mala escala para x’s * más covariables * omisión términos cuadráticos

17 2 r D vs X, covariable en  PATRÓN NULO si Э patrón sistemático: a) mal enlace b) escala incorrecta de X’s c) mala escala de Z 3 Gráfico Residuos Parciales (variable u omitida)  =X β  ’ = X β + γ u obtener residuos Graficar esos residuos vs u Para evaluar:- estructura omitida - heterocedasticidad (1)

18 4 Gráfico usuales de índices; res. abs. vs residuos vs X fuera modelo residuos vs X dentro modelo FUNCIÓN DE VARIANZA Plot residuos vsPATRÓN NULO tendencia > 0la ν (μ) elegida crece con μ tendencia < 0precisa menos potencia necesita incrementar su potencia

19 FUNCIÓN DE ENLACE Informal: plot vsRECTA (buen link) Enlance en flia. potencia curvatura indica mal exponente BONDAD DE AJUSTE DE LA FUNCIÓN ENLACE Asumimos  = g (μ) g* (μ) verdadera.. g (μ) = g {g * -1 (  )} = h (  ) g* -1 (  ) = μ {H o : h (  ) = , vs H A : no lineal} Expansión Taylor : g (μ) = h (  )  h (o) +  h ’ (o) + (  2 /2) h ‘‘ (o)  X β + γ  2  ajustar MLG con nueva covariable, el  2 estimado.

20 Verificar escala de covariables : Verificar escala de covariables : -usar residuos parciales para indagar si βx’ puede ser mejorado por βh(x’, λ), donde h(., λ) monótona. -MLG ajustado más residuo parcial: Plot de u versus x  debe ser lineal, si la escala de X es buena. (observa escala del predictor adicionándole la variable de interés).

21 Discrepancias Aisladas Discrepancias Aisladas, E(Y)=μ. a)Excluir punto  Deviance menor (poco afecta al estimador – pendiente). b) incluir punto  Mejora precisión de las estimaciones, sin mucho cambio. (punto consistente con el resto de datos)

22 c) El punto determina la estimación de la pendiente!, cambia deviance. (punto influyente) Necesitamos de estadísticos para establecer criterios: 1)Leverage (si modifica ) 2)Distancia de Cook (consist.) 3)Residuos jackknife (influencia) MEDIDAS DE INFLUENCIA

23 Medidas de Influencia Si h >2p/n  alto leverage (punto que tiene gran influencia en la magnitud de las estimaciones), Si h >2p/n  alto leverage (punto que tiene gran influencia en la magnitud de las estimaciones), Consistencia: un punto es inconsistente si tiene alto residuo en el modelo que NO lo incluye  usar residuos “delection” (si son pequeños, los puntos son consistentes). Consistencia: un punto es inconsistente si tiene alto residuo en el modelo que NO lo incluye  usar residuos “delection” (si son pequeños, los puntos son consistentes). Influencia: distancia de Cook  medida de la diferencia Influencia: distancia de Cook  medida de la diferencia Depende del número de parámetros.

24 Evaluación informal Gráficos de {h, r*, c i } versus índices Gráficos de {h, r*, c i } versus índices Estadísticos con comportamiento (asintótico) normal. Estadísticos con comportamiento (asintótico) normal. Normal y “Half Normal” plot (incluye en tamaño muestral) Observar cuánto se aleja de la recta de pendiente 1. No sirve si n es pequeño