La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

1 Meta-análisis. 2 Preguntas básicas ¿Qué es? ¿Qué es? ¿Para qué sirve? ¿Para qué sirve? ¿Cómo se regula? ¿Cómo.

Presentaciones similares


Presentación del tema: "1 Meta-análisis. 2 Preguntas básicas ¿Qué es? ¿Qué es? ¿Para qué sirve? ¿Para qué sirve? ¿Cómo se regula? ¿Cómo."— Transcripción de la presentación:

1 1 Meta-análisis

2 2 Preguntas básicas ¿Qué es? ¿Qué es? ¿Para qué sirve? ¿Para qué sirve? ¿Cómo se regula? ¿Cómo se regula? ¿Cómo se hace? ¿Cómo se hace? ¿Qué métodos? ¿Qué métodos? ¿Cuándo? ¿Cuándo?

3 3 INDICE 1. Definición 2. Objetivos 3. Antecedentes históricos 4. Protocolo y desarrollo de un meta- análisis 5. Estimadores del tamaño del efecto 6. Ejemplo de meta-análisis

4 4 Definición El meta-análisis es una revisión sistemática de un gran número de estudios que utiliza métodos estadísticos para combinar, sintetizar e integrar la información de varios estudios independientes que son considerados por el análista como combinables Adaptado de: -Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8. -Huque MF. Experiences with meta-analysis in NDA submissions. Proc Biopharmaceutical Section of the American Statistical Association 1988; Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48: DAgostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:

5 5 Objetivos (1) El meta-análisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes propósitos: Incrementar la potencia estadística de los Incrementar la potencia estadística de los resultados procedentes de múltiples estudios individuales y posibilitar el análisis estadístico de subgrupos Mejorar las estimaciones de la magnitud Mejorar las estimaciones de la magnitud del efecto Resolver controversias cuando hay desacuerdo Resolver controversias cuando hay desacuerdo entre los estudios entre los estudios.

6 6 Objetivos (2) Contestar nuevas preguntas que no se habían Contestar nuevas preguntas que no se habían planteado en los estudios individuales Confirmar hipótesis que no se habían podido Confirmar hipótesis que no se habían podido confirmar en los estudios individuales Elaborar nuevas hipótesis que deben ser Elaborar nuevas hipótesis que deben ser contrastadas en futuros estudios Abrir nuevos caminos de investigación o Abrir nuevos caminos de investigación o redirigir la investigación en curso Presentar el perfil de eficacia y seguridad Presentar el perfil de eficacia y seguridad de los fármacos.

7 7 Objetivos (3) Obtención de estimadores o parámetros para Obtención de estimadores o parámetros para estudios de farmacoeconomía, calidad de vida, etc. Adaptado de: -Fleiss JL, Gross A. Meta-analysis in epidemiology, with special reference to studies of association between exposure to environmental tobacco smoke and lung cancer: a critique. J Clin Epidemiol 1991;

8 8 OBJETIVOS Conclusión: Conclusión: –Ganancia en precisión –Comparación crítica de los resultados –Diferencias en magnitud o sentido –Posibilidad de generalizar

9 9 EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO Período de tiempoTotalRatio articulos/mes (Junio) (Julio)

10 10 EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO

11 11 CARACTERÍSTICAS Areas de aplicación Areas de aplicación Ciencias de la educación Ciencias de la educación Psicología Psicología Biología Biología Medicina Medicina Ciencias medio-ambientales Ciencias medio-ambientales Química Química Física Física Economía Economía Etc... Etc...

12 12 CARACTERÍSTICAS Problemas preliminares Problemas preliminares –Selección de material Bibliografía Bibliografía –Búsqueda informatizada (Medline, Science Citacion Index,...) –Búsqueda manual (Citas referenciadas, conferencias) –Lenguas extranjeras –Estudios presentados a conferencias y congresos –Calidad de los estudios –Diseños distintos (estudios de cohortes, caso-control,...)

13 13 CARACTERÍSTICAS Datos: Datos: –Tipos de medida de los efectos –Escalas de medida –Extensión de la información Datos originales Datos originales Estadísticos de resumen Estadísticos de resumen Estimación del efecto y errores estándar Estimación del efecto y errores estándar Valores de significación Valores de significación

14 14 CARACTERÍSTICAS Datos: Datos: –Toda la información, a excepción de los datos originales, complica enormemente el ajuste por distinto factores de confusión potenciales Disponibilidad de los estudios: Sesgo de publicación Disponibilidad de los estudios: Sesgo de publicación

15 15 CARACTERÍSTICAS No independencia de los estudios No independencia de los estudios –Tiempo: momento en que se realiza el estudio –Centro o investigador –Múltiple publicación de los resultados –Mismos sujetos (en distintos estudios)

16 16 Ventajas y limitaciones Ventajas Ventajas Consideración sistemática (evaluación no sesgada) Consideración sistemática (evaluación no sesgada) Cuantificación de los resultados Cuantificación de los resultados Aumento de precisión de los resultados Aumento de precisión de los resultados Mayor capacidad de estudiar efectos en subgrupos Mayor capacidad de estudiar efectos en subgrupos Mayor facilidad para evaluar las discrepancias entre estudios Mayor facilidad para evaluar las discrepancias entre estudios Mayor generalización de las conclusiones Mayor generalización de las conclusiones

17 17 Ventajas y limitaciones Limitaciones: Limitaciones: La calidad está limitada por los estudios individuales La calidad está limitada por los estudios individuales Dificultad para establecer los criterios de inclusión Dificultad para establecer los criterios de inclusión Sesgo de selección (publicación, lengua, calidad...) Sesgo de selección (publicación, lengua, calidad...)

18 18 Protocolo Como en cualquier otro estudio, antes de iniciar un Como en cualquier otro estudio, antes de iniciar un meta-análisis se debe elaborar un protocolo completo y detallado El protocolo debería incluir como mínimo: El protocolo debería incluir como mínimo: -Una descripción detallada de los objetivos e hipótesis que se van a probar -Los criterios de inclusión y exclusión de los estudios -Los procedimientos que se utilizarán para probar la homogeneidad de los tamaños de los efectos entre estudios -Los métodos estadísticos que se utilizarán para estimar el tamaño del efecto global -Los métodos que se utilizarán para presentar y resumir los resultados

19 19 Análisis de la heterogeneidad Respuesta a la siguiente pregunta: Respuesta a la siguiente pregunta: ¿SON COMBINABLES LOS ESTUDIOS? Pruebas de homogeneidad de los resultados de los Pruebas de homogeneidad de los resultados de los estudios individuales: -Prueba ji-cadrado Q de Cochran -Prueba ji-cuadrado de Breslow-Day Las pruebas de homogeneidad tienen baja potencia Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidad Un valor p de la prueba de homogeneidad 0.10, Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudios

20 20 Egger et al. Systematic reviews in health care. London: BMJ books, 2001.

21 21 Magnitud del efecto (1) Los métodos estadísticos utilizados para estimar Los métodos estadísticos utilizados para estimar el tamaño del efecto global de diferentes estudios se basan en Modelos de Efectos Fijos y Efectos Aleatorios Los Modelos de Efectos Fijos asumen un efecto Los Modelos de Efectos Fijos asumen un efecto constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son homogéneos o similares. -Los diferentes estudios pertenecen a una misma población -Consideran la variabilidad intra-estudio

22 22 Magnitud del efecto (2) Los Modelos de Efectos Aleatorios consideran que Los Modelos de Efectos Aleatorios consideran que existe una variación entre estudios -Los estudios provienen de poblaciones diferentes -Consideran la variabilidad intra e inter-estudio

23 23 Magnitud del efecto (3) Ninguno de los dos modelos se puede considerar Ninguno de los dos modelos se puede considerarcorrecto: -Si los estudios son homogéneos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los resultados serán idénticos -Si los estudios no son homogéneos Es más apropiado elegir un modelo de efectos aleatorios Los modelos de efectos fijos y efectos aleatorios Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para combinarlos resultados

24 24 Magnitud del efecto (4)

25 25 Unbiased Hedges g estimate Corrections for small sample size will be made. Corrections for small sample size will be made.

26 26 Effect size interpretation Since effect sizes are non-dimensional measurements (no units), some conventions have been proposed [1],[2] : Since effect sizes are non-dimensional measurements (no units), some conventions have been proposed [1],[2] : [1][2] [1][2] –small0.20, –medium0.50 –large0.80 –[1] Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum. [1] –[2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, [2]

27 27 Análisis de sensibilidad (resumen) Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis

28 28 Análisis de sensibilidad (1) Un análisis de sensibilidad evalúa la estabilidad de Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis Cuando una conclusión permanece invariante al variar Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis El análisis de sensibilidad permite identificar las El análisis de sensibilidad permite identificar las asunciones más críticas del análisis Conocer las asunciones críticas de un análisis puede Conocer las asunciones críticas de un análisis puede ser utilizado para formular las prioridades para una futura investigación enfocada a resolver el problema planteado en el análisis

29 29 Análisis de sensibilidad (2)

30 30 Análisis se sensibilidad (3)

31 31 Análisis de la robustez Análisis del sesgo de publicación y/o inclusión Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos Correlación entre la magnitud del efecto y Correlación entre la magnitud del efecto y el tamaño muestral de los estudios.

32 32 Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (1) La introducción del sesgo de publicación y/o La introducción del sesgo de publicación y/o inclusión selectiva de estudios positivos en un meta-análisis se debe fundamentalmente a que: -La mayoría de estudios publicados presentan -La mayoría de estudios publicados presentan resultados positivos significativos y una minoría muestran resultados negativos o no significativos -Hay una tendencia a seleccionar y, por tanto, incluir en el meta-análisis los estudios o datos no publicados con resultados positivos significativos y a guardar los que muestran resultados negativos o no significativos

33 33 Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (2)

34 34 Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son: Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son: –Funnel plot –El análisis de la asimetria del funnel plot Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no publicados Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no publicados En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de publicación En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de publicación Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (3)

35 35 Funnel plot

36 36 Funnel plot

37 37 Análisis de la correlación Una correlación significativa entre la magnitud Una correlación significativa entre la magnitud del efecto y el tamaño de la muestra de los estudios indica que el tamaño del efecto depende del tamaño del estudio Esta correlación puede indicar una verdadera Esta correlación puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estaría en función de su tamaño En este caso podría no ser valido el meta-análisis En este caso podría no ser valido el meta-análisis

38 38 Análisis de la correlación

39 39 Presentación gráfica

40 40 Conclusiones (1) 1.El meta-análisis es un herramienta valida y poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.) 2.La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son: -Sesgo de publicación y/o inclusión selectiva de estudios positivos -Heterogeneidad entre estudios -Correlación entre el tamaño del efecto y el tamaño de la muestra

41 41 Conclusiones (2) 3.Únicamente cuando estos problemas son debidamente considerados y analizados por medio de: -Análisis de la asimetría del funnel plot -Pruebas de homogeneidad -Análisis de la correlación entre el tamaño del efecto y el tamaño de la muestra de los estudios Es posible aplicar esta técnica estadística para combinar los estudios de forma que los resultados globales sean científicamente validos

42 42 Meta-análisis Ejemplo Ferran Torres

43 43 Example Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction

44 44 Studies of aspirin in myocardial infarction

45 45 Pooled estimate of ln(OR) = OR = 0.90 ( ) Meta-analysis of Aspirin trials

46 46 Graphical representation

47 47 Fixed OR = 0.90 ( ) Random OR= %CI : (0.77 ; 0.99)

48 48

49 49

50 50

51 %-14.2% = 3.8%

52 52 Lancet 2001,356:

53 53 Meta-análisis Ejemplo Ferran Torres

54 54 Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis

55 55 Selection of studies Identified 26 studies =>18 were valid according to the predefined criteria Identified 26 studies =>18 were valid according to the predefined criteria Excluded studies. Excluded studies. –Most of them (7 of 8) insufficient information on descriptive statistics to calculate the meta-analysis estimates from those studies; –the other one was erroneously pre-selected since only insoluble fiber was used in that trial.

56 56 Statistical issues on the results (1) Poor quality of information Poor quality of information withdrawals and descriptive results: withdrawals and descriptive results: Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). –SD (or SE to derive the SD): Estimated from baseline and final values by using correlation coefficients from other published data. Estimated from baseline and final values by using correlation coefficients from other published data. If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data. If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data. cross-over design cross-over design –Intrasubject correlation for the estimation of the SD of the treatment differences has been ignored for the cross-over design because of (a) it was not available and (b) this is conservative since it leads to less significant results.

57 57 Statistical issues on the results (2) Treatment arms Treatment arms 2 per study except 1: 2 per study except 1: –(MacMahon 1998): The mentioned study was a three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d (n=91). –Half the sample size of the control group (n=37; 74/2) was used for the comparison between each active group.

58 58

59 59

60 60 Statistical issues on the results (3) Potential Publication Bias Potential Publication Bias –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive.

61 61 Statistical issues on the results (3) Heterogeneity and sensibility analysis Heterogeneity and sensibility analysis –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive. => –Pooled results too heterogeneous very cautious with the conclusions very cautious with the conclusions fixed effects not valid fixed effects not valid

62 62 Meta-analysis estimations Significant effect for Significant effect for –Total Cholesterol (p<0.001) –LDL (p<0.001) Marginally significant Marginally significant –Triglycerides (p=0.213 but p=0.021 for the fixed effect approach) No effect: No effect: –HDL (p=0.886 and p=0.178 for the fixed effect approach)

63 63

64 64

65 65

66 66

67 67

68 68

69 69

70 70

71 71

72 72

73 73 Subgroups SS with ES>1 SS with ES>1 –Cholesterol and LDL fiber food supplement compound fiber food supplement compound intake duration between 4 and 8 weeks intake duration between 4 and 8 weeks daily doses >10G/d daily doses >10G/d Moderate SS ES Moderate SS ES –>8 weeks regimens -0.7 cholesterol and -0.8 LDL -0.7 cholesterol and -0.8 LDL SS with ES1 SS with ES1 –periods of study publication: no clear trend Adult population: replication of the main pooled effect because only 2 studies on childhood. Adult population: replication of the main pooled effect because only 2 studies on childhood.

74 74 Cholesterol

75 75LDL

76 76 Meta-análisis Normativas Ferran Torres

77 77 Guias y Normativas ICH - E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Principles for Clinical Trials. CMP/ICH/363/96. September 1998 ICH - E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Principles for Clinical Trials. CMP/ICH/363/96. September 1998 CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Pivotal study CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Pivotal study The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March 1994 The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March 1994 QUORUM. Statement. Lancet 1999; 354: QUORUM. Statement. Lancet 1999; 354: Lancet 1999; 354: Lancet 1999; 354:

78 78 Potsdam International Cosultation Journal of Clinical Epidemiology 1995; 48: 1-71 Journal of Clinical Epidemiology 1995; 48: 1-71 Cook DJ, Sackett DL, Spitzer WO. Methodologic Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995; 48: Describen los pasos que se deben seguir en el desarrollo de un meta-análisis riguroso

79 79

80 80 ICH Biostatistical guideline Individual clinical trials should always be large enough to satisfy their objectives. The use of meta-analytic techniques to combine these estimates is often useful, because it allows a more precise estimate of the size of the treatment effects.

81 81 ICH Biostatistical guideline Under exceptional circumstances a meta- analytic approach may be the most appropriate way to, or the only way, of providing sufficient overall evidence of efficacy...Under exceptional circumstances a meta- analytic approach may be the most appropriate way to, or the only way, of providing sufficient overall evidence of efficacy...

82 82 PtC on Meta-analyses … not to encourage applicants to rely on a submission where stand alone studies have been substituted by a meta- analysis of trials of inadequate size.

83 83 Acceptable regulatory purposes for meta analysis To improve the precision of the estimate of efficacy To improve the precision of the estimate of efficacy To evaluate whether overall positive results are also seen in pre-specified subgroups To evaluate whether overall positive results are also seen in pre-specified subgroups To evaluate apparently conflicting results. To evaluate apparently conflicting results.

84 84 Acceptable regulatory purposes for meta analysis To evaluate an additional efficacy outcome that requires more power than the individual trials can provide. To evaluate an additional efficacy outcome that requires more power than the individual trials can provide. To evaluate safety in a subgroup, or a rare event in all patients. To evaluate safety in a subgroup, or a rare event in all patients.

85 85 Pre-specification: Meta-analysis protocol The objective of the analyis. The objective of the analyis. Criteria for inclusion and exclusion of studies (study populations, study design, dosage, duration etc). Criteria for inclusion and exclusion of studies (study populations, study design, dosage, duration etc). Strategy for indentification of studies. Strategy for indentification of studies. Endpoints. The definitions set up for the individual studies should be followed. Endpoints. The definitions set up for the individual studies should be followed.

86 86 Pre-specification: Meta-analysis protocol Statistical methods. P-value more extreme than the conventional Evaluation of hetreogeneity. Statistical methods. P-value more extreme than the conventional Evaluation of hetreogeneity. Plan for evaluation of robustness. Demonstration of consistency in alternative analyses. Plan for evaluation of robustness. Demonstration of consistency in alternative analyses.

87 87 Timing of the meta-analysis protocol A retrospective specification should be avoided if possible. A retrospective specification should be avoided if possible. In retrospectively specified protocols the primary specifications and definitions set up in the indivi-dual studies should be followed. In retrospectively specified protocols the primary specifications and definitions set up in the indivi-dual studies should be followed.

88 88 Retrospective meta-analysis May be acceptable if some studies clearly positive some studies clearly positive no major numerical interactions no major numerical interactions positive trend in inconclusive studies positive trend in inconclusive studies pooled CI well away from zero (or unity) pooled CI well away from zero (or unity) selection bias unlikely selection bias unlikely robustness of the findings robustness of the findings

89 89 Selection of studies Obligation to submit all studies relevant to the claims made. Obligation to submit all studies relevant to the claims made. Selection bias normally not a problem for new chemical entities. Selection bias normally not a problem for new chemical entities. Selection bias in drug applications not specific to applications with a meta-analysis Selection bias in drug applications not specific to applications with a meta-analysis

90 90 Selection of studies Substantial risk for selection bias in applications wholly or partly relying on bibliographical data. Substantial risk for selection bias in applications wholly or partly relying on bibliographical data. The strategy for indentifying relevant studies should be presented together with a thorough discussion of a potential selection bias. The strategy for indentifying relevant studies should be presented together with a thorough discussion of a potential selection bias.

91 91 Clinical relevance of pooled results Statistical significance vs clinical relevance. Statistical significance vs clinical relevance. Emphasis on clinical judgement. Emphasis on clinical judgement. Significant effects might be to small to result in a positive overall risk/benefit. Significant effects might be to small to result in a positive overall risk/benefit.

92 92 Heterogeneity and external validity Are the study populations sufficiently representative of a common target population (dosage, duration, severity etc)? Are the study populations sufficiently representative of a common target population (dosage, duration, severity etc)? Are there any reason to suspect a clinically relevant interaction? Are there any reason to suspect a clinically relevant interaction? Suspected interactions and major clinical differences among the individual studies should be evaluated in alternative analyses. Suspected interactions and major clinical differences among the individual studies should be evaluated in alternative analyses.

93 93 Pooled analyses of safety endpoints Pooled analyses of safety endpoints Less sophisticated pooling of data from variable sources. Less sophisticated pooling of data from variable sources. Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses. Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses. Special attention to the inclusion of studies that are likely to dilute potential negative effect. Special attention to the inclusion of studies that are likely to dilute potential negative effect. Intra-study comparisons a minimum requirement. Intra-study comparisons a minimum requirement.

94 94 ICH E9 Statistical principles for Clinical Trials, 1998 The results of the confirmatory trial(s) should be robust. In some circumstances the weight of evidence from a single confirmatory trial may be sufficient.

95 95 What is the crucial question? Do we have enough studies? or Do we have enough data?

96 96 Arguments for replication More than one study provides a broader basis for generalisation of the results. More than one study provides a broader basis for generalisation of the results. Protection against fraud Protection against fraud Reduced risk for some hidden systematic bias Reduced risk for some hidden systematic bias The general demand for replication of scientific results The general demand for replication of scientific results

97 97 Fundamental requirement on the phase III documentation Adequate and well-controlled data of good quality Adequate and well-controlled data of good quality A sufficient number of patients, A sufficient number of patients, with a sufficient variety and disease conditions, with a sufficient variety and disease conditions, collected by a sufficent number of investigators, collected by a sufficent number of investigators, demonstrating a positive risk/benefit in the intended population at the intended dose and manner of use. demonstrating a positive risk/benefit in the intended population at the intended dose and manner of use. Minimum requirement: One controlled study with sta-tistically compelling and clinically relevant results.

98 98 Reasons to plan for more than one study Lack of pharmacological rationale Lack of pharmacological rationale A new pharmocological principle A new pharmocological principle Phase I and phase II data limited or unconvincing Phase I and phase II data limited or unconvincing A therapeutic area with a history of failed studies or failures to confirm seemingly convincing results A therapeutic area with a history of failed studies or failures to confirm seemingly convincing results Any other need to address additional questions in the phase III program Any other need to address additional questions in the phase III program

99 99 Crucial issues in the one pivotal study situation Internal and external validity. Internal and external validity. Clinical relevance. The treatment benefit must be large enough to be clinically relevant. Clinical relevance. The treatment benefit must be large enough to be clinically relevant. Statistical significance. Passing the conventional 5% significance level is usually not sufficient. Statistical significance. Passing the conventional 5% significance level is usually not sufficient.

100 100 Crucial issues in the one pivotal study situation Data quality Data quality Internal consistency. Similar findings in pre-specified sub-populations and for different endpoints. Internal consistency. Similar findings in pre-specified sub-populations and for different endpoints. Center effects. Center effects. Plausibility of the hypothesis tested. Plausibility of the hypothesis tested.

101 101 Scientific advice on One confirmatory study Sponsors argument New/extended indication, pediatric indication New/extended indication, pediatric indication New formulation New formulation Effects on survival Effects on survival Serious disease (e.g. cancer) Serious disease (e.g. cancer) Life-long disease without cure Life-long disease without cure No therapy currently available No therapy currently available Rare disease (orphan drug) Rare disease (orphan drug) One study in each of two indications One study in each of two indications Placebo controlled dose-finding study positive Placebo controlled dose-finding study positive

102 102 Conclusion on One Pivotal study There is no formal requirement to include two or more pivotal studies in the phase III program. There is no formal requirement to include two or more pivotal studies in the phase III program. In most cases several studies is the most feasible way to provide the data needed. In most cases several studies is the most feasible way to provide the data needed. In the exceptional event of a one pivotal study application, theis study has to be particularly compelling. In the exceptional event of a one pivotal study application, theis study has to be particularly compelling.

103 103

104 104 Petos Method (O-E)/V O = a Number of failures in T 1

105 105 Petos method (cont.) Summary odds-ratio: and 95% C.I.: Petos method and weighted average of ln(OR) are related methods and give very similar results Petos method and weighted average of ln(OR) are related methods and give very similar results

106 106 Assessing heterogeneity Between study variation is not considered in previous combination method. Studies are assumed to be homogeneous. Between study variation is not considered in previous combination method. Studies are assumed to be homogeneous. Heterogeneity: deviation of effects (y i ) from combined effect (y) Heterogeneity: deviation of effects (y i ) from combined effect (y) _

107 107 Random effects Assumption that the studies are a random sample from a larger population of studies Assumption that the studies are a random sample from a larger population of studies There is a mean population effect size There is a mean population effect size Study specific effects vary about this mean Study specific effects vary about this mean

108 108 der Simonian & Laird (1986) The weight applied to each study considers both within and between study variation The weight applied to each study considers both within and between study variation D : variance of effects between studies D : variance of effects between studies

109 109 Random effects No statistical test about Q No statistical test about Q Heterogeneity is assumed and taken into account Heterogeneity is assumed and taken into account Confidence intervals are wider since Confidence intervals are wider since w i * w iw i * w i Great controversy about the validity of this assumption and the use of random effects models Great controversy about the validity of this assumption and the use of random effects models

110 110 Random effects model Common Odds ratio = %CI : (0.774 ; 0.992) Association chi² = 4.38 df = 1 p = D = Heterogeneity before taking D into consideration: Q = 9.95 d.f. = 6 p = 0.13

111 111 Meta-análisis Método estadístico Ferran Torres

112 112 METODOLOGÍA ESTADÍSTICA METODOS NO PARAMÉTRICOS METODOS NO PARAMÉTRICOS –Combinación de valores p Información necesaria Información necesaria –Valores de p –Signo del efecto Método ji-cuadrado inverso (Fisher 1932) Método ji-cuadrado inverso (Fisher 1932) Método inverso Normal Método inverso Normal Método inverso t-Student Método inverso t-Student Prueba del signo de Wilcoxon Prueba del signo de Wilcoxon

113 113 METODOLOGÍA ESTADÍSTICA MÉTODOS PARAMÉTRICOS MÉTODOS PARAMÉTRICOS –Estrategia del análisis El tipo de variables condiciona el modelo El tipo de variables condiciona el modelo Test de homogeneidad Test de homogeneidad –SÍ: Modelo de efectos fijos –NO: ? Ajuste de homogeneidad ? Ajuste de homogeneidad ? Modelos de efectos aleatorios ? Modelos de efectos aleatorios

114 114 METODOLOGÍA ESTADÍSTICA MODELOS PARAMÉTRICO GENERAL DE EFECTOS FIJOS –Tenemos: k estudios independientes que emplean el mismo tipo de medida del efecto (ej. normal, binaria..) i medida del efecto en el estudio i i medida del efecto en el estudio i i estimación de i obtenida i estimación de i obtenida i inverso de la varianza de i i inverso de la varianza de i i = 1 / SE( i ) 2 i = 1 / SE( i ) 2

115 115 METODOLOGÍA ESTADÍSTICA MODELOS PARAMÉTRICO GENERAL DE EFECTOS FIJOS Se supondrá i N( i, 1/ i )i=1,..... k Se supondrá i N( i, 1/ i )i=1,..... k –Si H 0i : i =0 es cierta i* i N(0, i ) i* i N(0, i ) i / SE( i ) N(0, 1) i / SE( i ) N(0, 1) –Si i son independientes y H 0 : 1 =...= k es cierta i* i N(0, i ) i* i N(0, i )

116 116 METODOLOGÍA ESTADÍSTICA MODELOS PARAMÉTRICO GENERAL DE EFECTOS FIJOS Contraste de hipótesis Contraste de hipótesis H0: 1 =...= k es cierta H0: 1 =...= k es cierta U = ( i* i ) 2 / i U ji-cuadrado (1 g.l.) Rechazar H0 si U es elevado (test bilateral) Estimación Estimación –Suponiendo homogeneidad = ( i* i ) / i = ( i* i ) / i SE( i )=1 / i

117 117 End points- Efecto Homogeneidad en la medida del efecto Homogeneidad en la medida del efecto –Dificultad –conceptual- para combinar diferentes efectos Escala de medida Escala de medida –Diferentes unidades no son problemas –Hay diferentes escalas (ej. Diferentes test de psicología) –Efectos de diseño en errores estandar

118 118 Nivel de detalle de la información Datos originales Datos originales Resumen estadístico Resumen estadístico Efecto estimado y errores estandar Efecto estimado y errores estandar Efectos estimados y errores estandar Efectos estimados y errores estandar Test estadísticos significativos Test estadísticos significativos Los datos individuales son imprescindibles para ajuste de covariables Los datos individuales son imprescindibles para ajuste de covariables

119 119 Estimación del efecto Datos binarios Datos binarios –Odds ratio –Riesgo relativo –Diferencias absolutas en propociones Datos continuos Datos continuos –Diferencias de medias –Pendientes de regresión Datos de supervivencia Datos de supervivencia –Hazard ratio –Probabilidad de supervivencia en un punto en el tiempo

120 120 Study information

121 121 Combinación de los efectos estimados Promedio ponderados: Promedio ponderados: –Se pondera cada estimación de manera proporcional a su varianza: w i = 1/s i 2 –Calculate weighted sum divided by sum of weights: –Se Calculaa la suma ponderada por la suma de los factores de ponderación

122 122 Combination of odds-ratios

123 123 Example Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction

124 124 Studies of aspirin in myocardial infarction

125 125 Pooled estimate of ln(OR) = OR = 0.90 ( ) Meta-analysis of Aspirin trials

126 126 Graphical representation

127 127 Log scale

128 128 Cumulative plot

129 129 Galbraith plot

130 130 Funnel plot

131 131 Effect plot

132 132 Effect plot (weighted)

133 133 Petos Method (O-E)/V O = a Number of failures in T 1

134 134 Petos method (cont.) Summary odds-ratio: and 95% C.I.: Petos method and weighted average of ln(OR) are related methods and give very similar results Petos method and weighted average of ln(OR) are related methods and give very similar results

135 135 Assessing heterogeneity Between study variation is not considered in previous combination method. Studies are assumed to be homogeneous. Between study variation is not considered in previous combination method. Studies are assumed to be homogeneous. Heterogeneity: deviation of effects (y i ) from combined effect (y) Heterogeneity: deviation of effects (y i ) from combined effect (y) _

136 136 Random effects Assumption that the studies are a random sample from a larger population of studies Assumption that the studies are a random sample from a larger population of studies There is a mean population effect size There is a mean population effect size Study specific effects vary about this mean Study specific effects vary about this mean

137 137 der Simonian & Laird (1986) The weight applied to each study considers both within and between study variation The weight applied to each study considers both within and between study variation D : variance of effects between studies D : variance of effects between studies

138 138 Random effects No statistical test about Q No statistical test about Q Heterogeneity is assumed and taken into account Heterogeneity is assumed and taken into account Confidence intervals are wider since Confidence intervals are wider since w i * w iw i * w i Great controversy about the validity of this assumption and the use of random effects models Great controversy about the validity of this assumption and the use of random effects models

139 139 Random effects model Common Odds ratio = %CI : (0.774 ; 0.992) Association chi² = 4.38 df = 1 p = D = Heterogeneity before taking D into consideration: Q = 9.95 d.f. = 6 p = 0.13

140 140 Random effects model plot


Descargar ppt "1 Meta-análisis. 2 Preguntas básicas ¿Qué es? ¿Qué es? ¿Para qué sirve? ¿Para qué sirve? ¿Cómo se regula? ¿Cómo."

Presentaciones similares


Anuncios Google