1 Meta-análisis

2 Definición El meta-análisis es una revisión sistemática de un gran número de estudios que utiliza métodos estadísticos para combinar, sintetizar e integrar la información de varios estudios independientes que son considerados por el análista como “ combinables ” Adaptado de: -Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8. -Huque MF. Experiences with meta-analysis in NDA submissions. Proc Biopharmaceutical Section of the American Statistical Association 1988; Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48: D ’ Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:

3 OBJETIVOS  Conclusión: –Ganancia en precisión –Comparación crítica de los resultados –Diferencias en magnitud o sentido –Posibilidad de generalizar

4 EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO

5 CARACTERÍSTICAS  Datos: –Tipos de medida de los efectos –Escalas de medida –Extensión de la información  Datos originales  Estadísticos de resumen  Estimación del efecto y errores estándar  Valores de significación

6 CARACTERÍSTICAS  No independencia de los estudios –Tiempo: momento en que se realiza el estudio –Centro o investigador –Múltiple publicación de los resultados –Mismos sujetos (en distintos estudios)

7 Ventajas y limitaciones  Ventajas  Consideración sistemática (evaluación no sesgada)  Cuantificación de los resultados  Aumento de precisión de los resultados  Mayor capacidad de estudiar efectos en subgrupos  Mayor facilidad para evaluar las discrepancias entre estudios  Mayor generalización de las conclusiones

8 Ventajas y limitaciones  Limitaciones:  La calidad está limitada por los estudios individuales  Dificultad para establecer los criterios de inclusión  Sesgo de selección (publicación, lengua, calidad...)

9 Análisis de la heterogeneidad  Respuesta a la siguiente pregunta: ¿SON COMBINABLES LOS ESTUDIOS?  Pruebas de homogeneidad de los resultados de los estudios individuales: -Prueba ji-cadrado Q de Cochran -Prueba ji-cuadrado de Breslow-Day  Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidad  Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudios

10 Egger et al. Systematic reviews in health care. London: BMJ books, 2001.

11 Magnitud del efecto (1)  Los métodos estadísticos utilizados para estimar el tamaño del efecto global de diferentes estudios se basan en Modelos de Efectos Fijos y Efectos Aleatorios  Los Modelos de Efectos Fijos asumen un efecto constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son homogéneos o similares. -Los diferentes estudios pertenecen a una misma población -Consideran la variabilidad intra-estudio

12 Magnitud del efecto (2)  Los Modelos de Efectos Aleatorios consideran que existe una variación entre estudios -Los estudios provienen de poblaciones diferentes -Consideran la variabilidad intra e inter-estudio

13 Magnitud del efecto (3)  Ninguno de los dos modelos se puede considerar “ correcto ” : -Si los estudios son homogéneos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los resultados serán idénticos -Si los estudios no son homogéneos Es más apropiado elegir un modelo de efectos aleatorios  Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para combinarlos resultados

14 Magnitud del efecto (4)

15 Unbiased Hedges’ g estimate  Corrections for small sample size will be made.

16 Effect size interpretation  Since effect sizes are non-dimensional measurements (no units), some conventions have been proposed [1],[2] : [1][2] [1][2] –small≈0.20, –medium≈0.50 –large≈0.80 –[1] Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum. [1] –[2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, [2]

17 Análisis se sensibilidad

18 Análisis de la correlación

19 Análisis de la robustez  Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos  Correlación entre la magnitud del efecto y el tamaño muestral de los estudios.

20  Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son: –Funnel plot –El análisis de la asimetria del funnel plot  Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no publicados  En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de publicación Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (3)

21 Funnel plot

22 Funnel plot

23 Presentación gráfica

24 Conclusiones (1) 1.El meta-análisis es un herramienta valida y poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.) 2.La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son: -Sesgo de publicación y/o inclusión selectiva de estudios positivos -Heterogeneidad entre estudios -Correlación entre el tamaño del efecto y el tamaño de la muestra

25 Conclusiones (2) 3.Únicamente cuando estos problemas son debidamente considerados y analizados por medio de: -Análisis de la asimetría del funnel plot -Pruebas de homogeneidad -Análisis de la correlación entre el tamaño del efecto y el tamaño de la muestra de los estudios Es posible aplicar esta técnica estadística para combinar los estudios de forma que los resultados globales sean científicamente validos

26 Meta-análisis Ejemplo Ferran Torres

27  Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis

28 Selection of studies  Identified 26 studies =>18 were valid according to the predefined criteria  Excluded studies. –Most of them (7 of 8) insufficient information on descriptive statistics to calculate the meta-analysis estimates from those studies; –the other one was erroneously pre-selected since only insoluble fiber was used in that trial.

29 Statistical issues on the results (1)  Poor quality of information  withdrawals and descriptive results:  Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). –SD (or SE to derive the SD):  Estimated from baseline and final values by using correlation coefficients from other published data.  If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data.  cross-over design –Intrasubject correlation for the estimation of the SD of the treatment differences has been ignored for the cross-over design because of (a) it was not available and (b) this is conservative since it leads to less significant results.

30 Statistical issues on the results (2)  Treatment arms  2 per study except 1: –(MacMahon 1998): The mentioned study was a three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d (n=91). –Half the sample size of the control group (n=37; 74/2) was used for the comparison between each active group.

31

32

33 Statistical issues on the results (3)  Potential Publication Bias –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive.

34 Statistical issues on the results (3)  Heterogeneity and sensibility analysis –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive. => –Pooled results too heterogeneous  very cautious with the conclusions  fixed effects not valid

35 Meta-analysis estimations  Significant effect for –Total Cholesterol (p<0.001) –LDL (p<0.001)  “Marginally significant“ –Triglycerides (p=0.213 but p=0.021 for the fixed effect approach)  No effect: –HDL (p=0.886 and p=0.178 for the fixed effect approach)

36

37

38

39

40

41

42

43

44 Subgroups  SS with ES>1 –Cholesterol and LDL  fiber food supplement compound  intake duration between 4 and 8 weeks  daily doses >10G/d  Moderate SS ES –>8 weeks regimens  -0.7 cholesterol and -0.8 LDL  SS with ES≈1 –periods of study publication: no clear trend  Adult population: replication of the main pooled effect because only 2 studies on childhood.

45 Cholesterol

46LDL

47 Meta-análisis Ejemplo Ferran Torres

48 Example  Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction

49 Studies of aspirin in myocardial infarction

50 Pooled estimate of ln(OR) = OR = 0.90 ( ) Meta-analysis of Aspirin trials

51 Graphical representation

52 Fixed OR = 0.90 ( ) Random OR= %CI : (0.77 ; 0.99)

53

54

55

%-14.2% = 3.8%

57 Meta-análisis Normativas Ferran Torres

58 Guias y Normativas  ICH - E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Principles for Clinical Trials. CMP/ICH/363/96. September 1998  CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Pivotal study  The Potsdam International Consultation on Meta- analysis Potsdam, Germany, March 1994  Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement.  QUORUM. Statement. Lancet 1999; 354: Lancet 1999; 354: Lancet 1999; 354: