Explorando la heterogeneidad

cochrane training Pasos de una revisión sistemática Cochrane 1.Formular la pregunta 2.Planificar los criterios de elegibilidad 3.Planificar la metodología 4.Buscar los estudios 5.Aplicar los criterios de elegibilidad 6.Obtener los datos 7.Evaluar el riesgo de sesgo de los estudios 8.Analizar y presentar los resultados 9.Interpretar los resultados y obtener conclusiones 10.Mejorar y actualizar la revisión

cochrane training Índice ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados Ver el capítulo 9 del Handbook

cochrane training ¿Qué es la heterogeneidad? Variación o diferencias Tres grandes tipos: clínica metodológica estadística

cochrane training Diversidad clínica participantes e.g. condición, edad, género, localización, criterios de elegibilidad del estudio intervenciones intensidad/dosis, duración, modo de administración, componentes adicionales, experiencia profesional, control (placebo, ninguno, tratamiento habitual) desenlaces Duración del seguimiento, modo de medición, definición del suceso, puntos de corte

cochrane training Diversidad metodológica diseño e.g. aleatorizado vs no aleatorizado, cruzado vs paralelo, aleatorización individual vs por conglomerados realización e.g. riesgo de sesgo (ocultación de la asignación, enmascaramiento, etc.), estratégia de análisis

cochrane training Heterogeneidad estadística Siempre existirá cierta variabilidad aleatoria (muestral) variation entre los resultados de distintos estudios La heterogeneidad es la variabilidad entre los efectos evaluados en los distintos estudios Causada por diversidad clínica y metodológica Alternativa a la homogeneidad (la intervención tiene el mismo efecto en todos los estudios) Los resultados de los estudios difieren más unos de otros que si la variabilidad aleatoria fuera la única fuente de las diferencias entre estimaciones de efecto de la intervención

cochrane training Índice ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados

cochrane training Efectos fijos vs efectos aleatorios Hay dos modelos de metanálisis disponibles en RevMan Se basan en asunciones diferentes sobre la heterogeneidad Es necesario pre-specificar en el protocolo la estratégia planificada

cochrane training Modelo de efectos fijos Asume que todos los estudios miden un mismo efecto del tratamiento Estima este efecto único Si no hubiera error aleatorio (muestral), todos los resultados serían idénticos Efecto real Error aleatorio (muestral) común Resultado del estudio Fuente: Julian Higgins

cochrane training Modelo de efectos aleatorios Error aleatorio Efecto específico del estudio Promedio de los efectos de los estudios Asume que el efecto del tratamiento varía entre estudios Estima el promedio de la distribución de los efectos Pondera por la variabilidad intra-estudio y entre-estudio (tau 2,  2 ) Fuente: Julian Higgins

cochrane training ¿Cuál es la diferencia? Los metanálisis de efectos aleatorios son: Casi idénticos a los de efectos fijos cuando no hay heterogeneidad Similares a los de efectos fijos pero con intervalos de confianza más amplios cuando existe heterogeneidad del tipo asumido por el modelo de EA Diferentes a los de efectos fijos cuando los resultados están relacionados al tamaño de los estudios El modelo EA da más peso a los estudios más pequeños que EF

cochrane training Sin heterogeneidad Adaptado de Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3. FixedRandom

cochrane training Cierta heterogeneidad Adaptado de Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2. FixedRandom

cochrane training Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2. Impacto de los estudios pequeños FixedRandom

cochrane training ¿Cuál elegir? Planificar la estratégia en la etapa de protocolo ¿Es razonable esperar que los resultados sean muy diversos? Considerar las asunciones subyacentes a cada modelo Efectos fijos Puede ser poco realista– ignora la heterogeneidad Efectos aleatorios Permite la heterogeneidad La estimació de la distribució de efectos puede ser poco precisa si existen sesgos, hay pocos estudios o pocos eventos

cochrane training Índice ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados

cochrane training Identificando la heterogeneidad Inspección visual de los gráficos de árbol (forest plots) Test de chi-cuadrado (  2, Q test) Estadística I 2 para cuantificar la heterogeneidad

cochrane training Inspección visual Forest plot AForest plot B

cochrane training El test de chi-cuadrado (  2 ) Contrasta la hipótesis nula de homogeneidad Poca potencia si hay pocos estudios Puede detectar diferencias clínicamente irrelevantes si hay muchos estudios Respuesta restringida (si/no) poco útil si la heterogeneidad es inevitable Calculado automaticamente por RevMan

cochrane training El estadístico I 2 El estadístico I 2 describe el porcentaje de variabilidad debida a heterogeneidad y no al azar (0% a 100%) Valores bajos indican poca o nula heterogeneidad Valores altos indican elevada heterogeneidad Calculado automáticamente por RevMan Debe interpretarse cautelosamente

cochrane training El estadístico I 2

chi 2 = df = 13 P = chi 2 = 6.14 df = 3 P = 0.11 I 2 = 56% I 2 = 51% Fuente: Julian Higgins

cochrane training ¿Qué hacer con la heterogeneidad? Comprobar que los datos son correctos Tenerla en cuenta en la interpretación de los resultados Especialmente si varía la dirección del efecto Si la heterogeneidad es muy elevada Interpretar con cautela los resultados de efectos fijos Considerar análisis de sensibilidad – ¿el modelo de efectos aleatorios significaría diferencias importantes? Se puede optar por no metanalizar El resultado promedio puede no tener significado en la práctica Considerar la comparabilidad clínico-metodológica de los estudios Evitar Cambiar la medida de efecto o el modelo de análisis Excluir estudios con valores extremos Explorar la heterogeneidad

cochrane training Índice ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados

cochrane training Explorando los resultos ¿Qué factores parecen modificar el efecto? Diversidad clínica (población, intervenciones, desenlaces) Diversidad metodológica (diseño del estudios, riesgo de sesgo) Planificar la estratégia en el protocolo Identificar un número limitado de factores importantes para investigar Presentar una justificación científica para cada factor elegido Declarar cualquier exploración post-hoc

cochrane training Dos opciones disponibles Análisis de subgrupos Agrupar los estudios por factores pre-especificados Buscar diferencias en los resultados y la heterogeneidad Metaregresión Examinar la interacción con variables categóricas y continuas No disponible en RevMan

cochrane training Proceder con cautela Los resultados son de tipo observacional, no aleatorio Ser crítico ante comparaciones múltiples y post hoc Pueden no ser útiles con pocos estudios Pueden no ser posibles de realizar con datos agregados Buscar posibles factores de confusión Seguir el plan especificado en el protocolo sin sobre- enfatizar resultados específicos Los resultados raramente son concluyentes

cochrane training Interpretación de análisis de subgrupos Examinar los resultados y heterogeneidad dentro de los subgrupos ¿Los subgrupos son genuinamente diferentes? Si son 2 subgrupos – ¿los intervalos de confianza se solapan? Tests estadísticos de diferencias por subgrupos Podemos estar más confiados acerca de: can be more confident about: Análisis preespecificados pre-specified analyses Análisis en los estudios within-study analyses El efecto es clínicamente posible y está apoyado por pruebas indirectas effect is clinically plausible and supported by indirect evidence El efecto es clínicamente importante y alterará las recomendaciones effect is clinically important and will alter recommendations

cochrane training Subgrupos de participantes Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD DOI: / CD pub3.

cochrane training Subgrupos por intervención Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: CD DOI: / CD pub3.

cochrane training Análisis de sensibilidad No es lo mismo que análisis de subgrupos not the same as subgroup analysis Prueban la repercusión de la toma de decisiones durante la revisión testing the impact of decisions made during the review Inclusión de estudios en la revisión inclusion of studies in the review Definición de bajo riesgo de sesgo definition of low risk of bias Selección de la medida de resultado choice of effect measure Suposiciones acerca de los datos faltantes assumptions about missing data Valores de corte para las escalas ordinales dicotomizadas cut-off points for dichotomised ordinal scales Coeficientes de correlación correlation coefficients Repetir el análisis y utilizar un método o una suposición alternativas repeat analysis using an alternative method or assumption No presentar múltiples diagramas de bosque don’t present multiple forest plots – just report the results Si la diferencia es mínima puede haber más confianza en las conclusiones if difference is minimal, can be more confident of conclusions Si la diferencia es grande interprete los resultados con cautela if difference is large, interpret results with caution

cochrane training ¿Qué incluir en el protocolo? Evaluación de la heterogeneidad Assessment of heterogeneidad Evaluación de la comparabilidad de los estudios antes del metanálisis assessment of comparability of studies before meta-analysis Inspección visual y uso de estadísticas como I 2 visual inspection and use of statistics such as I 2 Síntesis de los datos Data synthesis Modelo de efectos fijos o de efectos aleatorios (o ambos) fixed-effect or random-effects model (or both) Análisis de subgrupos e investigación de la heterogeneidad Subgroup analyses and investigation of heterogeneidad Análisis de subgrupos planificados planned subgroup analyses Cualquier otra estrategia para investigar la heterogeneidad any other strategies for investigating heterogeneidad

cochrane training

Mensaje clave: La heterogeneidad estadística es la presencia de diferencias entre los efectos calculados de la intervención, que son mayores que lo que es de esperar si se debieran solamente a las variaciones al azar (muestrales) statistical heterogeneidad is the presence of differences between estimated intervention effects greater than expected because of random (sampling) variation alone Puede estar causada por la diversidad clínica y metodológica it can be caused by clinical and methodological diversity Los modelos de efectos fijos y aleatorios hacen diferentes suposiciones acerca de la heterogeneidad fixed and random-effects models make different assumptions about heterogeneidad Explore cualquier heterogeneidad que encuentre explore any heterogeneidad you find

cochrane training Referencias Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]. The Cochrane Collaboration, Available from Agradecimientos Compilado por Miranda Cumpston. Basado en materiales de Georgia Salanti, Julian Higgins, Steff Lewis, el Cochrane Statistical Methods Group, el Australasian Cochrane Centre y el Dutch Cochrane Centre. Aprobado por Cochrane Methods Board. Traducido por Marta Roqué.