Meta-análisis Ferran.Torres@uab.es

Preguntas básicas  ¿Qué es?  ¿Para qué sirve?  ¿Cómo se regula?  ¿Cómo se hace?  ¿Qué métodos?  ¿Cuándo? Ferran.Torres@uab.es

INDICE 1. Definición 2. Objetivos 3. Antecedentes históricos 4. Protocolo y desarrollo de un meta-análisis 5. Estimadores del tamaño del efecto 6. Ejemplo de meta-análisis Ferran.Torres@uab.es

Definición El meta-análisis es una revisión sistemática de un gran número de estudios que utiliza métodos estadísticos para combinar, sintetizar e integrar la información de varios estudios independientes que son considerados por el análista como “combinables” Adaptado de: - Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8. - Huque MF. Experiences with meta-analysis in NDA submissions. Proc Biopharmaceutical Section of the American Statistical Association 1988;28-33. - Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48:168-71. - D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:605-616. Ferran.Torres@uab.es

Objetivos (1) El meta-análisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes propósitos:  Incrementar la potencia estadística de los resultados procedentes de múltiples estudios individuales y posibilitar el análisis estadístico de subgrupos  Mejorar las estimaciones de la magnitud del efecto  Resolver controversias cuando hay desacuerdo entre los estudios. Ferran.Torres@uab.es

Objetivos (2)  Contestar nuevas preguntas que no se habían planteado en los estudios individuales  Confirmar hipótesis que no se habían podido confirmar en los estudios individuales  Elaborar nuevas hipótesis que deben ser contrastadas en futuros estudios  Abrir nuevos caminos de investigación o redirigir la investigación en curso  Presentar el perfil de eficacia y seguridad de los fármacos. Ferran.Torres@uab.es

Objetivos (3)  Obtención de estimadores o parámetros para estudios de farmacoeconomía, calidad de vida, etc. Adaptado de: - Fleiss JL, Gross A. Meta-analysis in epidemiology, with special reference to studies of association between exposure to environmental tobacco smoke and lung cancer: a critique. J Clin Epidemiol 1991; 127-139. Ferran.Torres@uab.es

OBJETIVOS Conclusión: Ganancia en precisión Comparación crítica de los resultados Diferencias en magnitud o sentido Posibilidad de generalizar Ferran.Torres@uab.es

EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO Período de tiempo Total Ratio articulos/mes 1950-1959 1 0.008 1960-1969 8 0.067 1970-1979 18 0.150 1980-1984 73 1.217 1985-1989 333 5.550 1990-1992 (Junio) 245 5.833 1992 (Julio)-1995 1503 36.429 Ferran.Torres@uab.es

EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO Ferran.Torres@uab.es

CARACTERÍSTICAS Areas de aplicación Ciencias de la educación Psicología Biología Medicina Ciencias medio-ambientales Química Física Economía Etc... Ferran.Torres@uab.es

CARACTERÍSTICAS Problemas preliminares Selección de material Bibliografía Búsqueda informatizada (Medline, Science Citacion Index, ...) Búsqueda manual (Citas referenciadas, conferencias) Lenguas extranjeras Estudios presentados a conferencias y congresos Calidad de los estudios Diseños distintos (estudios de cohortes, caso-control, ...) Ferran.Torres@uab.es

CARACTERÍSTICAS Datos: Tipos de medida de los efectos Escalas de medida Extensión de la información Datos originales Estadísticos de resumen Estimación del efecto y errores estándar Valores de significación Ferran.Torres@uab.es

CARACTERÍSTICAS Datos: Toda la información, a excepción de los datos originales, complica enormemente el ajuste por distinto factores de confusión potenciales Disponibilidad de los estudios: Sesgo de publicación Ferran.Torres@uab.es

CARACTERÍSTICAS No independencia de los estudios Tiempo: momento en que se realiza el estudio Centro o investigador Múltiple publicación de los resultados Mismos sujetos (en distintos estudios) Ferran.Torres@uab.es

Ventajas y limitaciones Consideración sistemática (evaluación no sesgada) Cuantificación de los resultados Aumento de precisión de los resultados Mayor capacidad de estudiar efectos en subgrupos Mayor facilidad para evaluar las discrepancias entre estudios Mayor generalización de las conclusiones Ferran.Torres@uab.es

Ventajas y limitaciones La calidad está limitada por los estudios individuales Dificultad para establecer los criterios de inclusión Sesgo de selección (publicación, lengua, calidad ...) Ferran.Torres@uab.es

Protocolo  Como en cualquier otro estudio, antes de iniciar un meta-análisis se debe elaborar un protocolo completo y detallado  El protocolo debería incluir como mínimo: - Una descripción detallada de los objetivos e hipótesis que se van a probar - Los criterios de inclusión y exclusión de los estudios - Los procedimientos que se utilizarán para probar la homogeneidad de los tamaños de los efectos entre estudios - Los métodos estadísticos que se utilizarán para estimar el tamaño del efecto global - Los métodos que se utilizarán para presentar y resumir los resultados Ferran.Torres@uab.es

Análisis de la heterogeneidad  Respuesta a la siguiente pregunta: ¿SON COMBINABLES LOS ESTUDIOS?  Pruebas de homogeneidad de los resultados de los estudios individuales: - Prueba ji-cadrado Q de Cochran - Prueba ji-cuadrado de Breslow-Day  Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidad  Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudios Ferran.Torres@uab.es

Egger et al. Systematic reviews in health care. London: BMJ books, 2001. Ferran.Torres@uab.es

Magnitud del efecto (1)  Los métodos estadísticos utilizados para estimar el tamaño del efecto global de diferentes estudios se basan en Modelos de Efectos Fijos y Efectos Aleatorios  Los Modelos de Efectos Fijos asumen un efecto constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son homogéneos o similares. - Los diferentes estudios pertenecen a una misma población - Consideran la variabilidad intra-estudio Ferran.Torres@uab.es

Magnitud del efecto (2)  Los Modelos de Efectos Aleatorios consideran que existe una variación entre estudios - Los estudios provienen de poblaciones diferentes - Consideran la variabilidad intra e inter-estudio Ferran.Torres@uab.es

Magnitud del efecto (3)  Ninguno de los dos modelos se puede considerar “correcto”: - Si los estudios son homogéneos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los resultados serán idénticos - Si los estudios no son homogéneos Es más apropiado elegir un modelo de efectos aleatorios  Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para combinarlos resultados Ferran.Torres@uab.es

Magnitud del efecto (4) Ferran.Torres@uab.es

Unbiased Hedges’ g estimate Corrections for small sample size will be made. Ferran.Torres@uab.es

Effect size interpretation Since effect sizes are non-dimensional measurements (no units), some conventions have been proposed[1],[2]: small≈0.20, medium≈0.50 large≈0.80 [1] Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum. [2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159. Ferran.Torres@uab.es

Análisis de sensibilidad (resumen) Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis  Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis Ferran.Torres@uab.es

Análisis de sensibilidad (1)  Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis  Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis  El análisis de sensibilidad permite identificar las asunciones más críticas del análisis  Conocer las asunciones críticas de un análisis puede ser utilizado para formular las prioridades para una futura investigación enfocada a resolver el problema planteado en el análisis Ferran.Torres@uab.es

Análisis de sensibilidad (2) Ferran.Torres@uab.es

Análisis se sensibilidad (3) Ferran.Torres@uab.es

Análisis de la robustez  Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos  Correlación entre la magnitud del efecto y el tamaño muestral de los estudios. Ferran.Torres@uab.es

Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (1)  La introducción del sesgo de publicación y/o inclusión selectiva de estudios positivos en un meta-análisis se debe fundamentalmente a que: - La mayoría de estudios publicados presentan resultados positivos significativos y una minoría muestran resultados negativos o no significativos - Hay una tendencia a seleccionar y, por tanto, incluir en el meta-análisis los estudios o datos no publicados con resultados positivos significativos y a guardar los que muestran resultados negativos o no significativos Ferran.Torres@uab.es

Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (2) Ferran.Torres@uab.es

Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (3) Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son: Funnel plot El análisis de la asimetria del funnel plot Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no publicados En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de publicación Ferran.Torres@uab.es

Funnel plot Ferran.Torres@uab.es

Funnel plot Ferran.Torres@uab.es

Análisis de la correlación  Una correlación significativa entre la magnitud del efecto y el tamaño de la muestra de los estudios indica que el tamaño del efecto depende del tamaño del estudio  Esta correlación puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estaría en función de su tamaño  En este caso podría no ser valido el meta-análisis Ferran.Torres@uab.es

Análisis de la correlación Ferran.Torres@uab.es

Presentación gráfica Ferran.Torres@uab.es

Conclusiones (1) 1. El meta-análisis es un herramienta valida y poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.) 2. La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son: - Sesgo de publicación y/o inclusión selectiva de estudios positivos - Heterogeneidad entre estudios - Correlación entre el tamaño del efecto y el tamaño de la muestra Ferran.Torres@uab.es

Conclusiones (2) 3. Únicamente cuando estos problemas son debidamente considerados y analizados por medio de: - Análisis de la asimetría del funnel plot - Pruebas de homogeneidad - Análisis de la correlación entre el tamaño del efecto y el tamaño de la muestra de los estudios Es posible aplicar esta técnica estadística para combinar los estudios de forma que los resultados globales sean científicamente validos Ferran.Torres@uab.es

Meta-análisis Ejemplo Ferran Torres Ferran.Torres@uab.es Ferran.Torres@uab.es

Example Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: 121-145. Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction Ferran.Torres@uab.es

Studies of aspirin in myocardial infarction Ferran.Torres@uab.es

Meta-analysis of Aspirin trials Pooled estimate of ln(OR) = OR = 0.90 (0.84 0.96) Ferran.Torres@uab.es

Graphical representation Ferran.Torres@uab.es

Fixed OR = 0.90 (0.84 0.96) Random OR= 0.88 95%CI : (0.77 ; 0.99) Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

10.4%-14.2% = 3.8% Ferran.Torres@uab.es

Lancet 2001,356: 1668-75 Ferran.Torres@uab.es

Meta-análisis Ejemplo Ferran Torres Ferran.Torres@uab.es Ferran.Torres@uab.es

Effects of plantago ovata husk on lipid metabolism. A meta-analysis Ferran.Torres@uab.es

Selection of studies Identified 26 studies =>18 were valid according to the predefined criteria Excluded studies. Most of them (7 of 8) insufficient information on descriptive statistics to calculate the meta-analysis estimates from those studies; the other one was erroneously pre-selected since only insoluble fiber was used in that trial. Ferran.Torres@uab.es

Statistical issues on the results (1) Poor quality of information withdrawals and descriptive results: Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). SD (or SE to derive the SD): Estimated from baseline and final values by using correlation coefficients from other published data. If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data. cross-over design Intrasubject correlation for the estimation of the SD of the treatment differences has been ignored for the cross-over design because of (a) it was not available and (b) this is conservative since it leads to less significant results. Ferran.Torres@uab.es

Statistical issues on the results (2) Treatment arms 2 per study except 1: (MacMahon 1998): The mentioned study was a three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d (n=91). Half the sample size of the control group (n=37; 74/2) was used for the comparison between each active group. Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Statistical issues on the results (3) Potential Publication Bias (a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. (b) There are probably some unpublished small studies with negative results, although the bigger studies are positive. Ferran.Torres@uab.es

Statistical issues on the results (3) Heterogeneity and sensibility analysis (a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. (b) There are probably some unpublished small studies with negative results, although the bigger studies are positive. => Pooled results too heterogeneous very cautious with the conclusions fixed effects not valid Ferran.Torres@uab.es

Meta-analysis estimations Significant effect for Total Cholesterol (p<0.001) LDL (p<0.001) “Marginally significant“ Triglycerides (p=0.213 but p=0.021 for the fixed effect approach) No effect: HDL (p=0.886 and p=0.178 for the fixed effect approach) Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Ferran.Torres@uab.es

Subgroups SS with ES>1 Moderate SS ES SS with ES≈1 Cholesterol and LDL fiber food supplement compound intake duration between 4 and 8 weeks daily doses >10G/d Moderate SS ES >8 weeks regimens -0.7 cholesterol and -0.8 LDL SS with ES≈1 periods of study publication: no clear trend Adult population: replication of the main pooled effect because only 2 studies on childhood. Ferran.Torres@uab.es

Cholesterol Ferran.Torres@uab.es

LDL Ferran.Torres@uab.es

Meta-análisis Normativas Ferran Torres Ferran.Torres@uab.es Ferran.Torres@uab.es

Guias y Normativas ICH - E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Principles for Clinical Trials. CMP/ICH/363/96. September 1998 CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Pivotal study The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March 1994 QUORUM. Statement. Lancet 1999; 354: 1896-1900. Ferran.Torres@uab.es

Potsdam International Cosultation  Journal of Clinical Epidemiology 1995; 48: 1-71  Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995; 48:168-71. Describen los pasos que se deben seguir en el desarrollo de un meta-análisis riguroso Ferran.Torres@uab.es

Ferran.Torres@uab.es

ICH Biostatistical guideline ”Individual clinical trials should always be large enough to satisfy their objectives.” ”The use of meta-analytic techniques to combine these estimates is often useful, because it allows a more precise estimate of the size of the treatment effects.” Ferran.Torres@uab.es

ICH Biostatistical guideline ”Under exceptional circumstances a meta-analytic approach may be the most appropriate way to, or the only way, of providing sufficient overall evidence of efficacy ...” Ferran.Torres@uab.es

PtC on Meta-analyses ”… not to encourage applicants to rely on a submission where stand alone studies have been substituted by a meta-analysis of trials of inadequate size.” Ferran.Torres@uab.es

Acceptable regulatory purposes for meta analysis To improve the precision of the estimate of efficacy To evaluate whether overall positive results are also seen in pre-specified subgroups To evaluate apparently conflicting results. Ferran.Torres@uab.es

Acceptable regulatory purposes for meta analysis To evaluate an additional efficacy outcome that requires more power than the individual trials can provide. To evaluate safety in a subgroup, or a rare event in all patients. Ferran.Torres@uab.es

Pre-specification: Meta-analysis protocol The objective of the analyis. Criteria for inclusion and exclusion of studies (study populations, study design, dosage, duration etc). Strategy for indentification of studies. Endpoints. The definitions set up for the individual studies should be followed. Ferran.Torres@uab.es

Pre-specification: Meta-analysis protocol Statistical methods. P-value more extreme than the conventional 0.05. Evaluation of hetreogeneity. Plan for evaluation of robustness. Demonstration of consistency in alternative analyses. Ferran.Torres@uab.es

Timing of the meta-analysis protocol A retrospective specification should be avoided if possible. In retrospectively specified protocols the primary specifications and definitions set up in the indivi-dual studies should be followed. Ferran.Torres@uab.es

Retrospective meta-analysis May be acceptable if some studies clearly positive no major numerical interactions positive trend in inconclusive studies pooled CI well away from zero (or unity) selection bias unlikely robustness of the findings Ferran.Torres@uab.es

Selection of studies Obligation to submit all studies relevant to the claims made. Selection bias normally not a problem for new chemical entities. Selection bias in drug applications not specific to applications with a meta-analysis Ferran.Torres@uab.es

Selection of studies Substantial risk for selection bias in applications wholly or partly relying on bibliographical data. The strategy for indentifying relevant studies should be presented together with a thorough discussion of a potential selection bias. Ferran.Torres@uab.es

Clinical relevance of pooled results Statistical significance vs clinical relevance. Emphasis on clinical judgement. Significant effects might be to small to result in a positive overall risk/benefit. Ferran.Torres@uab.es

Heterogeneity and external validity Are the study populations sufficiently representative of a common target population (dosage, duration, severity etc)? Are there any reason to suspect a clinically relevant interaction? Suspected interactions and major clinical differences among the individual studies should be evaluated in alternative analyses. Ferran.Torres@uab.es

Pooled analyses of safety endpoints Less sophisticated pooling of data from variable sources. Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses. Special attention to the inclusion of studies that are likely to dilute potential negative effect. Intra-study comparisons a minimum requirement. Ferran.Torres@uab.es

ICH E9 Statistical principles for Clinical Trials, 1998 ”The results of the confirmatory trial(s) should be robust.” ”In some circumstances the weight of evidence from a single confirmatory trial may be sufficient.” Ferran.Torres@uab.es

What is the crucial question? Do we have enough studies? or Do we have enough data? Ferran.Torres@uab.es

Arguments for replication More than one study provides a broader basis for generalisation of the results. Protection against fraud Reduced risk for some hidden systematic bias The general demand for replication of scientific results Ferran.Torres@uab.es

Fundamental requirement on the phase III documentation Adequate and well-controlled data of good quality A sufficient number of patients, with a sufficient variety and disease conditions, collected by a sufficent number of investigators, demonstrating a positive risk/benefit in the intended population at the intended dose and manner of use. Minimum requirement: One controlled study with sta-tistically compelling and clinically relevant results. Ferran.Torres@uab.es

Reasons to plan for more than one study Lack of pharmacological rationale A new pharmocological principle Phase I and phase II data limited or unconvincing A therapeutic area with a history of failed studies or failures to confirm seemingly convincing results Any other need to address additional questions in the phase III program Ferran.Torres@uab.es

Crucial issues in the one pivotal study situation Internal and external validity. Clinical relevance. The treatment benefit must be large enough to be clinically relevant. Statistical significance. Passing the conventional 5% significance level is usually not sufficient. Ferran.Torres@uab.es

Crucial issues in the one pivotal study situation Data quality Internal consistency. Similar findings in pre-specified sub-populations and for different endpoints. Center effects. Plausibility of the hypothesis tested. Ferran.Torres@uab.es

Scientific advice on One confirmatory study Sponsors’ argument New/extended indication, pediatric indication New formulation Effects on survival Serious disease (e.g. cancer) Life-long disease without cure No therapy currently available Rare disease (orphan drug) One study in each of two indications Placebo controlled dose-finding study positive Ferran.Torres@uab.es

Conclusion on One Pivotal study There is no formal requirement to include two or more pivotal studies in the phase III program. In most cases several studies is the most feasible way to provide the data needed. In the exceptional event of a one pivotal study application, theis study has to be particularly compelling. Ferran.Torres@uab.es

Ferran.Torres@uab.es

Peto’s Method (O-E)/V O = a Number of failures in T1 Ferran.Torres@uab.es

Peto’s method (cont.) Summary odds-ratio: and 95% C.I.: Peto’s method and weighted average of ln(OR) are related methods and give very similar results Ferran.Torres@uab.es

Assessing heterogeneity Between study variation is not considered in previous combination method. Studies are assumed to be homogeneous. Heterogeneity: deviation of effects (yi) from combined effect (y) _ Ferran.Torres@uab.es

Random effects Assumption that the studies are a random sample from a larger population of studies There is a mean population effect size Study specific effects vary about this mean Ferran.Torres@uab.es

der Simonian & Laird (1986) The weight applied to each study considers both within and between study variation D : variance of effects between studies Ferran.Torres@uab.es

Random effects No statistical test about Q Heterogeneity is assumed and taken into account Confidence intervals are wider since wi*  wi Great controversy about the validity of this assumption and the use of random effects models Ferran.Torres@uab.es

Random effects model Common Odds ratio = 0.876 95%CI : (0.774 ; 0.992) Association chi² = 4.38 df = 1 p = 0.036 D = 0.096 Heterogeneity before taking D into consideration: Q = 9.95 d.f. = 6 p = 0.13 Ferran.Torres@uab.es

Meta-análisis Método estadístico Ferran Torres Ferran.Torres@uab.es Ferran.Torres@uab.es

METODOLOGÍA ESTADÍSTICA METODOS NO PARAMÉTRICOS Combinación de valores “p” Información necesaria Valores de p Signo del efecto Método ji-cuadrado inverso (Fisher 1932) Método inverso Normal Método inverso t-Student Prueba del signo de Wilcoxon Ferran.Torres@uab.es

METODOLOGÍA ESTADÍSTICA MÉTODOS PARAMÉTRICOS Estrategia del análisis El tipo de variables condiciona el modelo Test de homogeneidad SÍ: Modelo de efectos fijos NO: ? Ajuste de homogeneidad ? Modelos de efectos aleatorios Ferran.Torres@uab.es

METODOLOGÍA ESTADÍSTICA MODELOS PARAMÉTRICO GENERAL DE EFECTOS FIJOS Tenemos: k estudios independientes que emplean el mismo tipo de medida del efecto (ej. normal, binaria..) i medida del efecto en el estudio i i estimación de i obtenida  i inverso de la varianza de i  i = 1 / SE(i)2 Ferran.Torres@uab.es

METODOLOGÍA ESTADÍSTICA MODELOS PARAMÉTRICO GENERAL DE EFECTOS FIJOS Se supondrá i  N(i, 1/ i) i=1,..... k Si H0i : i=0 es cierta i* i  N(0,  i) i / SE(i)  N(0, 1) Si i son independientes y H0: 1 = ...= k es cierta i* i  N(0,  i) Ferran.Torres@uab.es

METODOLOGÍA ESTADÍSTICA MODELOS PARAMÉTRICO GENERAL DE EFECTOS FIJOS Contraste de hipótesis H0: 1 = ...= k es cierta U = (i* i)2 /  i U  ji-cuadrado (1 g.l.) Rechazar H0 si U es elevado (test bilateral) Estimación Suponiendo homogeneidad  = (i* i) /  i SE(i)= 1 /  i Ferran.Torres@uab.es

End points- Efecto Homogeneidad en la medida del efecto Dificultad –conceptual- para combinar diferentes efectos Escala de medida Diferentes unidades no son problemas Hay diferentes escalas (ej. Diferentes test de psicología) Efectos de diseño en errores estandar Ferran.Torres@uab.es

Nivel de detalle de la información Datos originales Resumen estadístico Efecto estimado y errores estandar Efectos estimados y errores estandar Test estadísticos significativos Los datos individuales son imprescindibles para ajuste de covariables Ferran.Torres@uab.es

Estimación del efecto Datos binarios Datos continuos Odds ratio Riesgo relativo Diferencias absolutas en propociones Datos continuos Diferencias de medias Pendientes de regresión Datos de supervivencia Hazard ratio Probabilidad de supervivencia en un punto en el tiempo Ferran.Torres@uab.es

Study information Ferran.Torres@uab.es

Combinación de los efectos estimados “Promedio” ponderados: Se pondera cada estimación de manera proporcional a su varianza: wi = 1/si2 Calculate weighted sum divided by sum of weights: Se Calculaa la suma ponderada por la suma de los factores de ponderación Ferran.Torres@uab.es

Combination of odds-ratios Ferran.Torres@uab.es

Example Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: 121-145. Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction Ferran.Torres@uab.es

Studies of aspirin in myocardial infarction Ferran.Torres@uab.es

Meta-analysis of Aspirin trials Pooled estimate of ln(OR) = OR = 0.90 (0.84 0.96) Ferran.Torres@uab.es

Graphical representation Ferran.Torres@uab.es

Log scale Ferran.Torres@uab.es

Cumulative plot Ferran.Torres@uab.es

Galbraith plot Ferran.Torres@uab.es

Funnel plot Ferran.Torres@uab.es

Effect plot Ferran.Torres@uab.es

Effect plot (weighted) Ferran.Torres@uab.es

Peto’s Method (O-E)/V O = a Number of failures in T1 Ferran.Torres@uab.es

Peto’s method (cont.) Summary odds-ratio: and 95% C.I.: Peto’s method and weighted average of ln(OR) are related methods and give very similar results Ferran.Torres@uab.es

Assessing heterogeneity Between study variation is not considered in previous combination method. Studies are assumed to be homogeneous. Heterogeneity: deviation of effects (yi) from combined effect (y) _ Ferran.Torres@uab.es

Random effects Assumption that the studies are a random sample from a larger population of studies There is a mean population effect size Study specific effects vary about this mean Ferran.Torres@uab.es

der Simonian & Laird (1986) The weight applied to each study considers both within and between study variation D : variance of effects between studies Ferran.Torres@uab.es

Random effects No statistical test about Q Heterogeneity is assumed and taken into account Confidence intervals are wider since wi*  wi Great controversy about the validity of this assumption and the use of random effects models Ferran.Torres@uab.es

Random effects model Common Odds ratio = 0.876 95%CI : (0.774 ; 0.992) Association chi² = 4.38 df = 1 p = 0.036 D = 0.096 Heterogeneity before taking D into consideration: Q = 9.95 d.f. = 6 p = 0.13 Ferran.Torres@uab.es

Random effects model plot Ferran.Torres@uab.es