Meta-análisis

Preguntas básicas  ¿Qué es?  ¿Para qué sirve?  ¿Cómo se regula?  ¿Cómo se hace?  ¿Qué métodos?  ¿Cuándo?

INDICE 1. Definición 2. Objetivos 3. Antecedentes históricos 4. Protocolo y desarrollo de un meta- análisis 5. Estimadores del tamaño del efecto 6. Ejemplo de meta-análisis

Definición El meta-análisis es una revisión sistemática de un gran número de estudios que utiliza métodos estadísticos para combinar, sintetizar e integrar la información de varios estudios independientes que son considerados por el análista como “combinables” Adaptado de: -Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8. -Huque MF. Experiences with meta-analysis in NDA submissions. Proc Biopharmaceutical Section of the American Statistical Association 1988; Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48: D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:

Objetivos (1) El meta-análisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes propósitos:  Incrementar la potencia estadística de los resultados procedentes de múltiples estudios individuales y posibilitar el análisis estadístico de subgrupos  Mejorar las estimaciones de la magnitud del efecto  Resolver controversias cuando hay desacuerdo entre los estudios entre los estudios.

Objetivos (2)  Contestar nuevas preguntas que no se habían planteado en los estudios individuales  Confirmar hipótesis que no se habían podido confirmar en los estudios individuales  Elaborar nuevas hipótesis que deben ser contrastadas en futuros estudios  Abrir nuevos caminos de investigación o redirigir la investigación en curso  Presentar el perfil de eficacia y seguridad de los fármacos.

Objetivos (3)  Obtención de estimadores o parámetros para estudios de farmacoeconomía, calidad de vida, etc. Adaptado de: -Fleiss JL, Gross A. Meta-analysis in epidemiology, with special reference to studies of association between exposure to environmental tobacco smoke and lung cancer: a critique. J Clin Epidemiol 1991;

OBJETIVOS  Conclusión: –Ganancia en precisión –Comparación crítica de los resultados –Diferencias en magnitud o sentido –Posibilidad de generalizar

EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO Período de tiempoTotalRatio articulos/mes (Junio) (Julio)

EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO

CARACTERÍSTICAS  Areas de aplicación  Ciencias de la educación  Psicología  Biología  Medicina  Ciencias medio-ambientales  Química  Física  Economía  Etc...

CARACTERÍSTICAS  Problemas preliminares –Selección de material  Bibliografía –Búsqueda informatizada (Medline, Science Citacion Index,...) –Búsqueda manual (Citas referenciadas, conferencias) –Lenguas extranjeras –Estudios presentados a conferencias y congresos –Calidad de los estudios –Diseños distintos (estudios de cohortes, caso-control,...)

CARACTERÍSTICAS  Datos: –Tipos de medida de los efectos –Escalas de medida –Extensión de la información  Datos originales  Estadísticos de resumen  Estimación del efecto y errores estándar  Valores de significación

CARACTERÍSTICAS  Datos: –Toda la información, a excepción de los datos originales, complica enormemente el ajuste por distinto factores de confusión potenciales  Disponibilidad de los estudios: Sesgo de publicación

CARACTERÍSTICAS  No independencia de los estudios –Tiempo: momento en que se realiza el estudio –Centro o investigador –Múltiple publicación de los resultados –Mismos sujetos (en distintos estudios)

Ventajas y limitaciones  Ventajas  Consideración sistemática (evaluación no sesgada)  Cuantificación de los resultados  Aumento de precisión de los resultados  Mayor capacidad de estudiar efectos en subgrupos  Mayor facilidad para evaluar las discrepancias entre estudios  Mayor generalización de las conclusiones

Ventajas y limitaciones  Limitaciones:  La calidad está limitada por los estudios individuales  Dificultad para establecer los criterios de inclusión  Sesgo de selección (publicación, lengua, calidad...)

Protocolo  Como en cualquier otro estudio, antes de iniciar un meta-análisis se debe elaborar un protocolo completo y detallado  El protocolo debería incluir como mínimo: -Una descripción detallada de los objetivos e hipótesis que se van a probar -Los criterios de inclusión y exclusión de los estudios -Los procedimientos que se utilizarán para probar la homogeneidad de los tamaños de los efectos entre estudios -Los métodos estadísticos que se utilizarán para estimar el tamaño del efecto global -Los métodos que se utilizarán para presentar y resumir los resultados

Análisis de la heterogeneidad  Respuesta a la siguiente pregunta: ¿SON COMBINABLES LOS ESTUDIOS?  Pruebas de homogeneidad de los resultados de los estudios individuales: -Prueba ji-cadrado Q de Cochran -Prueba ji-cuadrado de Breslow-Day  Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidad  Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudios

Egger et al. Systematic reviews in health care. London: BMJ books, 2001.

Magnitud del efecto (1)  Los métodos estadísticos utilizados para estimar el tamaño del efecto global de diferentes estudios se basan en Modelos de Efectos Fijos y Efectos Aleatorios  Los Modelos de Efectos Fijos asumen un efecto constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son homogéneos o similares. -Los diferentes estudios pertenecen a una misma población -Consideran la variabilidad intra-estudio

Magnitud del efecto (2)  Los Modelos de Efectos Aleatorios consideran que existe una variación entre estudios -Los estudios provienen de poblaciones diferentes -Consideran la variabilidad intra e inter-estudio

Magnitud del efecto (3)  Ninguno de los dos modelos se puede considerar “correcto”: -Si los estudios son homogéneos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los resultados serán idénticos -Si los estudios no son homogéneos Es más apropiado elegir un modelo de efectos aleatorios  Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para combinarlos resultados

Magnitud del efecto (4)

Unbiased Hedges’ g estimate  Corrections for small sample size will be made.

Effect size interpretation  Since effect sizes are non-dimensional measurements (no units), some conventions have been proposed [1],[2] : [1][2] [1][2] –small≈0.20, –medium≈0.50 –large≈0.80 –[1] Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum. [1] –[2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, [2]

Análisis de sensibilidad (resumen)  Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis  Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis

Análisis de sensibilidad (1)  Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis  Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis  El análisis de sensibilidad permite identificar las asunciones más críticas del análisis  Conocer las asunciones críticas de un análisis puede ser utilizado para formular las prioridades para una futura investigación enfocada a resolver el problema planteado en el análisis

Análisis de sensibilidad (2)

Análisis se sensibilidad (3)

Análisis de la correlación  Una correlación significativa entre la magnitud del efecto y el tamaño de la muestra de los estudios indica que el tamaño del efecto depende del tamaño del estudio  Esta correlación puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estaría en función de su tamaño  En este caso podría no ser valido el meta-análisis

Análisis de la correlación

Análisis de la robustez  Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos  Correlación entre la magnitud del efecto y el tamaño muestral de los estudios.

Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (1)  La introducción del sesgo de publicación y/o inclusión selectiva de estudios positivos en un meta-análisis se debe fundamentalmente a que: -La mayoría de estudios publicados presentan -La mayoría de estudios publicados presentan resultados positivos significativos y una minoría muestran resultados negativos o no significativos -Hay una tendencia a seleccionar y, por tanto, incluir en el meta-análisis los estudios o datos no publicados con resultados positivos significativos y a guardar los que muestran resultados negativos o no significativos

Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (2)

 Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son: –Funnel plot –El análisis de la asimetria del funnel plot  Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no publicados  En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de publicación Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (3)

Funnel plot

Funnel plot

Presentación gráfica

Conclusiones (1) 1.El meta-análisis es un herramienta valida y poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.) 2.La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son: -Sesgo de publicación y/o inclusión selectiva de estudios positivos -Heterogeneidad entre estudios -Correlación entre el tamaño del efecto y el tamaño de la muestra

Conclusiones (2) 3.Únicamente cuando estos problemas son debidamente considerados y analizados por medio de: -Análisis de la asimetría del funnel plot -Pruebas de homogeneidad -Análisis de la correlación entre el tamaño del efecto y el tamaño de la muestra de los estudios Es posible aplicar esta técnica estadística para combinar los estudios de forma que los resultados globales sean científicamente validos

Meta-análisis Ejemplo Ferran Torres

 Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis

Selection of studies  Identified 26 studies =>18 were valid according to the predefined criteria  Excluded studies. –Most of them (7 of 8) insufficient information on descriptive statistics to calculate the meta-analysis estimates from those studies; –the other one was erroneously pre-selected since only insoluble fiber was used in that trial.

Statistical issues on the results (1)  Poor quality of information  withdrawals and descriptive results:  Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). –SD (or SE to derive the SD):  Estimated from baseline and final values by using correlation coefficients from other published data.  If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data.  cross-over design –Intrasubject correlation for the estimation of the SD of the treatment differences has been ignored for the cross-over design because of (a) it was not available and (b) this is conservative since it leads to less significant results.

Statistical issues on the results (2)  Treatment arms  2 per study except 1: –(MacMahon 1998): The mentioned study was a three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d (n=91). –Half the sample size of the control group (n=37; 74/2) was used for the comparison between each active group.

Statistical issues on the results (3)  Potential Publication Bias –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive.

Statistical issues on the results (3)  Heterogeneity and sensibility analysis –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive. => –Pooled results too heterogeneous  very cautious with the conclusions  fixed effects not valid

Meta-analysis estimations  Significant effect for –Total Cholesterol (p<0.001) –LDL (p<0.001)  “Marginally significant“ –Triglycerides (p=0.213 but p=0.021 for the fixed effect approach)  No effect: –HDL (p=0.886 and p=0.178 for the fixed effect approach)

Subgroups  SS with ES>1 –Cholesterol and LDL  fiber food supplement compound  intake duration between 4 and 8 weeks  daily doses >10G/d  Moderate SS ES –>8 weeks regimens  -0.7 cholesterol and -0.8 LDL  SS with ES≈1 –periods of study publication: no clear trend  Adult population: replication of the main pooled effect because only 2 studies on childhood.

Cholesterol

LDL

Meta-análisis Ejemplo Ferran Torres

Example  Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction

Studies of aspirin in myocardial infarction

Pooled estimate of ln(OR) = OR = 0.90 ( ) Meta-analysis of Aspirin trials

Graphical representation

Fixed OR = 0.90 ( ) Random OR= %CI : (0.77 ; 0.99)

%-14.2% = 3.8%

Meta-análisis Normativas Ferran Torres

Guias y Normativas  ICH - E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Principles for Clinical Trials. CMP/ICH/363/96. September 1998  CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Pivotal study  The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March 1994  QUORUM. Statement. Lancet 1999; 354: Lancet 1999; 354: Lancet 1999; 354:

Potsdam International Cosultation  Journal of Clinical Epidemiology 1995; 48: 1-71  Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995; 48: Describen los pasos que se deben seguir en el desarrollo de un meta-análisis riguroso

ICH Biostatistical guideline ”Individual clinical trials should always be large enough to satisfy their objectives.” ”The use of meta-analytic techniques to combine these estimates is often useful, because it allows a more precise estimate of the size of the treatment effects.”

ICH Biostatistical guideline ”Under exceptional circumstances a meta- analytic approach may be the most appropriate way to, or the only way, of providing sufficient overall evidence of efficacy...”

PtC on Meta-analyses ”… not to encourage applicants to rely on a submission where stand alone studies have been substituted by a meta- analysis of trials of inadequate size.”

Acceptable regulatory purposes for meta analysis  To improve the precision of the estimate of efficacy  To evaluate whether overall positive results are also seen in pre-specified subgroups  To evaluate apparently conflicting results.

Acceptable regulatory purposes for meta analysis  To evaluate an additional efficacy outcome that requires more power than the individual trials can provide.  To evaluate safety in a subgroup, or a rare event in all patients.

Pre-specification: Meta-analysis protocol  The objective of the analyis.  Criteria for inclusion and exclusion of studies (study populations, study design, dosage, duration etc).  Strategy for indentification of studies.  Endpoints. The definitions set up for the individual studies should be followed.

Pre-specification: Meta-analysis protocol  Statistical methods. P-value more extreme than the conventional Evaluation of hetreogeneity.  Plan for evaluation of robustness. Demonstration of consistency in alternative analyses.

Timing of the meta-analysis protocol  A retrospective specification should be avoided if possible.  In retrospectively specified protocols the primary specifications and definitions set up in the indivi-dual studies should be followed.

Retrospective meta-analysis May be acceptable if  some studies clearly positive  no major numerical interactions  positive trend in inconclusive studies  pooled CI well away from zero (or unity)  selection bias unlikely  robustness of the findings

Selection of studies  Obligation to submit all studies relevant to the claims made.  Selection bias normally not a problem for new chemical entities.  Selection bias in drug applications not specific to applications with a meta-analysis

Selection of studies  Substantial risk for selection bias in applications wholly or partly relying on bibliographical data.  The strategy for indentifying relevant studies should be presented together with a thorough discussion of a potential selection bias.

Clinical relevance of pooled results  Statistical significance vs clinical relevance.  Emphasis on clinical judgement.  Significant effects might be to small to result in a positive overall risk/benefit.

Heterogeneity and external validity  Are the study populations sufficiently representative of a common target population (dosage, duration, severity etc)?  Are there any reason to suspect a clinically relevant interaction?  Suspected interactions and major clinical differences among the individual studies should be evaluated in alternative analyses.

Pooled analyses of safety endpoints Pooled analyses of safety endpoints  Less sophisticated pooling of data from variable sources.  Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses.  Special attention to the inclusion of studies that are likely to dilute potential negative effect.  Intra-study comparisons a minimum requirement.

ICH E9 Statistical principles for Clinical Trials, 1998 ”The results of the confirmatory trial(s) should be robust.” ”In some circumstances the weight of evidence from a single confirmatory trial may be sufficient.”

What is the crucial question? Do we have enough studies? or Do we have enough data?

Arguments for replication  More than one study provides a broader basis for generalisation of the results.  Protection against fraud  Reduced risk for some hidden systematic bias  The general demand for replication of scientific results

Fundamental requirement on the phase III documentation  Adequate and well-controlled data of good quality  A sufficient number of patients,  with a sufficient variety and disease conditions,  collected by a sufficent number of investigators,  demonstrating a positive risk/benefit in the intended population at the intended dose and manner of use. Minimum requirement: One controlled study with sta-tistically compelling and clinically relevant results.

Reasons to plan for more than one study  Lack of pharmacological rationale  A new pharmocological principle  Phase I and phase II data limited or unconvincing  A therapeutic area with a history of failed studies or failures to confirm seemingly convincing results  Any other need to address additional questions in the phase III program

Crucial issues in the one pivotal study situation  Internal and external validity.  Clinical relevance. The treatment benefit must be large enough to be clinically relevant.  Statistical significance. Passing the conventional 5% significance level is usually not sufficient.

Crucial issues in the one pivotal study situation  Data quality  Internal consistency. Similar findings in pre-specified sub-populations and for different endpoints.  Center effects.  Plausibility of the hypothesis tested.

Scientific advice on One confirmatory study Sponsors’ argument  New/extended indication, pediatric indication  New formulation  Effects on survival  Serious disease (e.g. cancer)  Life-long disease without cure  No therapy currently available  Rare disease (orphan drug)  One study in each of two indications  Placebo controlled dose-finding study positive

Conclusion on One Pivotal study  There is no formal requirement to include two or more pivotal studies in the phase III program.  In most cases several studies is the most feasible way to provide the data needed.  In the exceptional event of a one pivotal study application, theis study has to be particularly compelling.