Explorando la heterogeneidad

Explorando la heterogeneidad

Pasos de una revisión sistemática Cochrane
Formular la pregunta Planificar los criterios de elegibilidad Planificar la metodología Buscar los estudios Aplicar los criterios de elegibilidad Obtener los datos Evaluar el riesgo de sesgo de los estudios Analizar y presentar los resultados Interpretar los resultados y obtener conclusiones Mejorar y actualizar la revisión Una vez que hemos comenzado el análisis de nuestros resultados y configurado nuestro metanálisis, el siguiente paso importante es comenzar a explorar los resultados, en particular las diferencias observadas entre los resultados de los estudios incluidos. Esta exploración de las diferencias ayudará a la comprensión de los efectos que observamos y cómo debemos interpretarlos. One we have begun the analysis of our results, and set up our meta-analyses, the next important step is to start to explore our results, and in particular the differences we observe between the results of our included studies. This exploration of differences will inform our understanding of the effects we’re observing, and how we should interpret them.

Índice ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad
Identificando la heterogeneidad Explorando los resultados Ver el capítulo 9 del Handbook

¿Qué es la heterogeneidad?
Variación o diferencias Tres grandes tipos: clínica metodológica estadística Heterogeneidad es un término que se refiere a la variación de las diferencias entre los estudios. A menudo se utiliza específicamente para la variación entre los resultados de los estudios en una revisión, pero comenzaremos por tomar una perspectiva más amplia. Hay tres tipos generales de heterogeneidad en los que estamos interesados, clínica, metodológica y estadística. "heterogeneidad is a term to refer to variation or differences across studies. It's often used specifically for variation between the results of the studies in a review, but we'll start by taking a broader perspective. There are three general types of heterogeneidad that we’re interested in: clinical, methodological and statistical. Estamos interesados en estas diferencias porque pueden indicar que es posible que nuestra intervención no funcione en la misma dirección cada vez que se utilice. Al investigar estas diferencias podemos lograr una comprensión mucho mayor de qué factores influyen en la intervención y qué resultado podemos esperar la próxima vez que se implemente la intervención. We’re interested in these differences because they can indicate that our intervention may not be working in the same way every time it’s used. By investigating these differences we can reach a much greater understanding of what factors influence the intervention, and what result we can expect next time the intervention is implemented.“

Diversidad clínica participantes intervenciones desenlaces
e.g. condición, edad, género, localización, criterios de elegibilidad del estudio intervenciones intensidad/dosis, duración, modo de administración, componentes adicionales, experiencia profesional, control (placebo, ninguno, tratamiento habitual) desenlaces Duración del seguimiento, modo de medición, definición del suceso, puntos de corte La heterogeneidad o diversidad clínica se refiere a las diferencias en el mundo real entre las poblaciones y las intervenciones en los estudios, y el concepto se aplica incluso si su revisión no examina preguntas clínicas. Es probable que sean las mismas variaciones que usted consideró cuando consideraba la pregunta de la revisión. Clinical heterogeneidad, or clinical diversity, refers to the real world differences between the populations and interventions in the studies, and the concept applies even if your review is not looking at clinical question. These are likely to be the same variations you considered when you were considering the question for your review. Cada estudio tendrá sus propios criterios de elegibilidad y se pondrá en su propio contexto. Las poblaciones pueden diferir según el tipo o la gravedad de la afección de salud que presenten, la edad, el sexo, los antecedentes étnicos o el estado socioeconómico, así como su ubicación geográfica. Each study will have its own eligibility criteria, and will be set in its own context. Populations may differ according to the type or severity of the health condition they have; their age, gender, ethnic background or socioeconomic status; and their geographic location. Las intervenciones variarán en cómo se implementan en cada estudio, incluidas las dosis o la intensidad de la intervención, los diferentes componentes incluidos, quién administró la intervención y si la intervención se compara con exactamente el mismo control. Interventions will vary in how they are implemented between each study, including the dose or intensity of the intervention, the different components included, who delivered the intervention , and whether the intervention is being compared to exactly the same control. Los resultados también variarán de estudio a estudio en la manera en la que se miden, cómo se definen los eventos y los valores de corte y qué puntos temporales se seleccionan para la medición. Outcomes will also vary from study to study, in the way they are measured, how events and cut-off points are defined, and what time points are chosen for measurement.

Diversidad metodológica
diseño e.g. aleatorizado vs no aleatorizado, cruzado vs paralelo, aleatorización individual vs por conglomerados realización e.g. riesgo de sesgo (ocultación de la asignación, enmascaramiento, etc.), estratégia de análisis Los estudios también pueden diferir en cómo se diseñan y realizan, lo que llamamos heterogeneidad o diversidad metodológica. Diferentes diseños de estudios producirán diferentes resultados, incluidos los diseños aleatorizados versus no aleatorizados, así como las variaciones en los ECA, como los ensayos aleatorizados cruzados, paralelos y grupales. Studies can also differ in how they are designed and conducted – what we call methodological heterogeneidad, or methodological diversity. Different study designs will produce different results, including randomised versus non-randomised designs, as well as variations on RCTs, such as crossover, parallel and cluster-randomised trials. Sabemos que dentro de un estudio el sesgo que surge de la manera en la que se realiza un estudio puede cambiar los resultados, si examinamos los factores que consideramos parte de la evaluación del riesgo de sesgo de todos los estudios incluidos, por ejemplo, el cegamiento, la ocultación de la asignación, etc. La combinación de estudios con alto y bajo riesgo de sesgo puede dar lugar a diferencias en los resultados. Las decisiones acerca de cómo se analizan los resultados también afectarán los resultados, como las estadísticas utilizadas, cualquier imputación de datos o faltantes, etc. Within a study, we know that bias arising from the way the study is conducted can change the results, looking at the factors we consider as part of the risk of bias assessment of all our included studies, e.g. blinding, allocation concealment, etc. Combining studies at high and low risk of bias may well lead to differences in the results. The choices made about how the results are analysed will also affect the results, such as the statistics used, any imputation of missing data, etc. Un tipo adicional de heterogeneidad que podría encontrar es cuando los estudios pequeños de su revisión tienen hallazgos sistemáticamente diferentes de los estudios grandes, a lo que se le llama efecto de estudios pequeños. Puede tener numerosas causas diferentes, incluida la posibilidad de sesgo de publicación, entre otras. Esta posibilidad se discute en más detalle en una presentación aparte sobre los efectos de los estudios pequeños y los sesgos de informe. One further type of heterogeneidad you might find is when the small studies in your review have systematically different findings to the large studies – what we call small study effects. This can have a number of different causes, including the possibility of publication bias among others. This possibility is discussed in further detail in a separate presentation on small study effects and reporting biases.

Heterogeneidad estadística
Siempre existirá cierta variabilidad aleatoria (muestral) variation entre los resultados de distintos estudios La heterogeneidad es la variabilidad entre los efectos evaluados en los distintos estudios Causada por diversidad clínica y metodológica Alternativa a la homogeneidad (la intervención tiene el mismo efecto en todos los estudios) Los resultados de los estudios difieren más unos de otros que si la variabilidad aleatoria fuera la única fuente de las diferencias entre estimaciones de efecto de la intervención Ambos tipos de diversidad (clínica y metodológica) pueden ser la causa de lo que se le llama heterogeneidad estadística. En cualquier momento que hagamos mediciones de diferentes muestras (en este caso diferentes poblaciones de estudio) habrá alguna variación aleatoria de estudio a estudio. Both of these kinds of diversity – clinical and methodological – can be the cause of what we call statistical heterogeneidad. Any time we take measurements from different samples – in this case, different study populations, there will be some random variation from study to study. En lo que realmente estamos interesados es en lo que llamamos heterogeneidad estadística, es decir, las verdaderas diferencias en los efectos subyacentes que los estudios intentan medir, lo que puede estar provocado por el tipo de variación clínica y metodológica que ya se discutió, como las diferencias en la población o la intervención, o la presencia de sesgo. What we’re really interested in is what we call statistical heterogeneidad - true differences in the underlying effect that studies are trying to measure, that can be caused by the kinds of clinical and methodological variation we’ve just discussed, such as differences in the population or intervention, or the presence of bias. La heterogeneidad estadística se puede ver en los efectos subyacentes cuando se observa que los resultados de cada estudio son más diferentes entre sí que lo que se esperaría que ocurriese por azar, lo que indica que existen diferencias más importantes. Cuando la heterogeneidad está presente rechazamos la suposición de homogeneidad, es decir, que todos los estudios intentan medir un efecto idéntico. We can see statistical heterogeneidad in the underlying effects when the results we observe from each study are more different from each other than we would expect to occur by chance, indicating that more substantive differences are present. Where heterogeneidad is present, we are rejecting the assumption of homogeneity – that every study is trying to measure an identical effect. La heterogeneidad estadística es a lo que nos referiremos cuando digamos “heterogeneidad” de aquí en adelante en esta presentación. Statistical heterogeneidad is what we will refer to when we say ‘heterogeneidad’ from here on in this presentation.

Identificando la heterogeneidad Explorando los resultados Antes de examinar los resultados de nuestro metanálisis debemos considerar una visión a priori acerca de la heterogeneidad, así como algunas suposiciones. Before we look at the results of our meta-analysis, we need to consider our a priori view about heterogeneidad, and some assumptions.

Efectos fijos vs efectos aleatorios
Hay dos modelos de metanálisis disponibles en RevMan Se basan en asunciones diferentes sobre la heterogeneidad Es necesario pre-specificar en el protocolo la estratégia planificada Volviendo a la etapa de planificación del metanálisis, necesitará dar algunas ideas en su revisión acerca de la heterogeneidad. Sus suposiciones acerca de la heterogeneidad afectarán las decisiones que tome acerca de los análisis de los datos. Back at the planning stage of your meta-analysis, you will need to give some thought to heterogeneidad in your review. Your assumptions about heterogeneidad will affect the decisions you make about how to analyse your data. Hay dos tipos de metanálisis disponibles en RevMan, de efectos fijos y de efectos aleatorios. Cuál de ellos elegir dependerá de sus suposiciones acerca de la heterogeneidad, por lo que es importante comprenderlos y en la etapa de protocolo planificar cuál utilizar. There are two types of meta-analysis available in RevMan, fixed-effect and random-effects. Which one you choose will depend on your assumptions about heterogeneidad, so it’s important to understand them and plan which one to use at the protocol stage.

Modelo de efectos fijos
Efecto real Error aleatorio (muestral) común Resultado Asume que todos los estudios miden un mismo efecto del tratamiento Estima este efecto único Si no hubiera error aleatorio (muestral), todos los resultados serían idénticos El modelo de efectos fijos supone que todos los estudios de su revisión calculan el mismo efecto subyacente, es decir, existe un efecto real de su intervención y cada estudio es más o menos exacto al tratar de medir dicho efecto real. The fixed-effect model assumes that all the studies in your review are estimating the same underlying effect – that is, there is one true effect of your intervention, and each study is more or less accurate in trying to measure that one true effect. PREGUNTA: Si existe un efecto real de la intervención, ¿por qué no todos los estudios miden el mismo efecto? ¿Por qué no se agrupan a lo largo de la línea? ASK: If there is one true effect of the intervention, why don’t all the studies measure that effect? Why are they not lined up along the line? La respuesta es el error aleatorio, o variación de la muestra. No es posible medir el efecto real universal con una exactitud perfecta al medirlo en 20 pacientes, 200 pacientes o incluso 2000 pacientes; cada vez obtengo una estimación que es de forma aleatoria más o menos exacta. Mientras más pequeño sea el estudio es más probable que sea engañoso con respecto al efecto real. Por lo tanto, digamos por ejemplo que el efecto real de su intervención es 2. No todos los estudios informarán la respuesta exacta 2, sino que verá respuestas dispersas a ambos lados, por ejemplo, 2.2, 2.5, 1.3, y podemos usar esos números para calcular el efecto real. The answer is random error, or sampling variation. I can’t measure the universal true effect with perfect accuracy by measuring 20 people, or 200 people, or even 2000 – each time I will get an estimate that is more or less accurate at random. The smaller the study, the more likely it is to be mistaken about the true effect. So, say for example that the true effect of your intervention is 2. Not every study will report the exact answer of 2, but you will see answers scattered either side, e.g. 2.2, 2.5, 1.3 – and we can use these numbers to estimate the true effect. En efecto, este modelo supone que todas las diferencias entre los estudios se deben al error aleatorio e ignora la posibilidad de que exista heterogeneidad. Effectively, this model assumes that all the differences between studies are due to random error, and ignores the possibility of heterogeneidad. del estudio Fuente: Julian Higgins

Modelo de efectos aleatorios
Error aleatorio Asume que el efecto del tratamiento varía entre estudios Estima el promedio de la distribución de los efectos Pondera por la variabilidad intra-estudio y entre-estudio (tau2, 2) Al utilizar un modelo de efectos aleatorios no aceptamos que haya un solo efecto real para todos los estudios. En su lugar, suponemos que cada estudio tiene su propio efecto específico, o sea, que además del error aleatorio, hay diferencias legítimas en los efectos subyacentes medidos en cada estudio. Es decir, este modelo supone la presencia de heterogeneidad. En lugar de tener un único efecto, su conjunto de estudios informa una distribución de efectos relacionados, según cómo y dónde se utilice la información cada vez. Using a random-effects model, we don’t accept that there is just one true effect for all the studies. Instead, we assume that each study has its own study-specific effect – that over and above the random error, there are genuine differences in the underlying effects being measured by each study. That is, this model assumes the presence of heterogeneidad. Instead of having a single effect, your set of studies reports a distribution of related effects, depending on how and where the intervention is used each time. El metanálisis de efectos aleatorios es uno de los métodos de metanálisis estándar de RevMan que puede seleccionar. En lugar de informar una estimación del efecto general, RevMan calculará la media de la distribución, la media de los efectos específicos del estudio. Es importante que deje esto claro cuando informe los resultados de su metanálisis en su revisión. The random-effects meta-analysis is one of the standard meta-analysis methods in RevMan that you can select. Instead of reporting an estimate of the overall effect, RevMan will estimate the mean of the distribution, the mean of those study-specific effects. It’s important that you get this right when reporting the results of your meta-analysis in your review. Al calcular la media, el modelo de efectos aleatorios pondera los estudios de manera diferente. El modelo utiliza la varianza dentro de cada estudio como es habitual y también agrega una segunda medida conocida como tau2. Tau2 es una estimación de la varianza de la distribución de los efectos entre los estudios. Lo verá informado en la parte inferior de cada metanálisis de efectos aleatorios de RevMan. In calculating this mean, the random-effects model weights the studies differently. The model uses the variance within each study as usual, and also adds a second measure known as tau2. Tau2 is an estimate of the variance of that distribution of effects between studies. You’ll see it reported at the bottom of each random-effects meta-analysis in RevMan. Efecto específico del estudio Promedio de los efectos de los estudios Fuente: Julian Higgins

¿Cuál es la diferencia? Los metanálisis de efectos aleatorios son:
Casi idénticos a los de efectos fijos cuando no hay heterogeneidad Similares a los de efectos fijos pero con intervalos de confianza más amplios cuando existe heterogeneidad del tipo asumido por el modelo de EA Diferentes a los de efectos fijos cuando los resultados están relacionados al tamaño de los estudios El modelo EA da más peso a los estudios más pequeños que EF Entonces, ¿qué diferencia representa la selección del modelo para nuestros resultados? Vimos en la presentación Introducción al Metanálisis que el modelo de metanálisis de varianza inversa pondera cada estudio según la inversa de su varianza, es decir, la varianza dentro de cada estudio. Este es el modelo de efectos fijos. So what difference does the choice of model make to our results? We saw in the Introduction to Meta-analysis presentation that the inverse-variance model of meta-analysis weights each study according to the inverse of its variance – that is, the variance within each study. This is the fixed-effect model. En un metanálisis de efectos aleatorios los resultados se ponderan de manera diferente. Se incorpora un valor adicional; tau2 representa la varianza entre los estudios y nos da un cuadro de la distribución de los efectos, así como la varianza dentro de cada estudio. Si no existe heterogeneidad, es decir, no hay una diferencia observable entre los efectos medidos por cada estudio, entonces tau2 es igual a 0 y efectivamente, utilizamos la fórmula de efectos fijos. Por lo tanto no habrá diferencias entre las ponderaciones dadas a cada estudio ni en los resultados del metanálisis. In a random-effects meta-analysis the results are weighted differently. An extra value is incorporated – tau2 represents the variance between the studies, giving us a picture of that distribution of effects, as well as the variance within each study. If there is no heterogeneidad present, no observable difference between the effects measured by each study, then tau2 is 0, and we are effectively using the fixed-effect formula. There will be no difference then in the weights given to each study or the results of the meta-analysis. Es más frecuente que exista cierta heterogeneidad, y tau2 tendrá un valor que cambia la ponderación. El efecto de lo anterior es que el modelo de efectos aleatorios dará incluso más ponderación a todos los estudios en el metanálisis, los estudios grandes no tendrían una ponderación mucho mayor que los otros. La propia estimación del efecto (recuerde que ahora se trata del efecto medio entre los estudios) en realidad será muy similar a un análisis de efectos fijos. Sin embargo, los intervalos de confianza serían más amplios, lo que indica que tenemos una mayor incertidumbre acerca de nuestra estimación del efecto medio que la que tendríamos cuando estimamos un efecto único mediante el modelo de efectos fijos. More commonly, there is some heterogeneidad present, and tau2 will have a value that changes the weighting. The effect of this is that the random-effects model will give more even weighting to all the studies in the meta-analysis – the big studies won’t get so much more weight than the others as they otherwise would. The effect estimate itself – remembering that this is now the mean effect across studies – will actually still be very similar to a fixed-effect analysis. However, the confidence intervals will be wider, indicating that we have greater uncertainty about our estimate of the mean effect than we would have if estimating a single effect using the fixed-effect model. Es importante señalar que los intervalos de confianza más amplios alrededor del análisis de efectos aleatorios no representan la amplitud de la distribución de los efectos entre los estudios, ni muestran el grado de heterogeneidad, solo representan nuestra incertidumbre alrededor de la estimación de la media incluso cuando hay una gran cantidad de heterogeneidad. Es posible calcular estadísticas que reflejan la amplitud de la distribución, como sucede con el intervalo predictivo, pero aún no está disponible en RevMan. Si queremos medir la heterogeneidad debemos utilizar otras herramientas que discutiremos adicionalmente en breve. It’s important to note that the wider confidence intervals around a random-effects analysis don’t represent the width of the distribution of effects across studies, or show the degree of heterogeneidad – they just represent our uncertainty around the estimate of the mean effect. If there are many studies in a meta-analysis, it’s possible to have a very narrow confidence interval around the estimate of the mean even when there is a large amount of heterogeneidad. It’s possible to calculate statistics that reflect the width of the distribution, such as the predictive interval, but this isn’t yet available in RevMan. If we want to try to measure the heterogeneidad, we need to use other tools, and we’ll discuss that further shortly. Hay otra circunstancia importante donde los análisis de efectos fijos y aleatorios nos darán resultados bastante diferentes. El efecto de dar más ponderación a todos los estudios es que el metanálisis de efectos aleatorios da una ponderación mayor a los estudios más pequeños. Lo anterior es importante cuando los resultados de los estudios se correlacionan con su tamaño (cuando los estudios más pequeños por alguna razón informan sistemáticamente resultados diferentes de los estudios más grandes. En este caso el metanálisis de efectos aleatorios dará una estimación del efecto diferente, así como intervalos de confianza más amplios. A lo anterior se le llama “efectos de estudios pequeños” y merece investigación adicional. Los efectos de los estudios pequeños se discuten en más detalle en una presentación separada que también examina los sesgos de informe. There’s one important occasion when a fixed-effect and random-effects analysis will give you quite different results. The effect of giving more even weight to all studies, is that random-effects meta-analysis gives greater weight to the smaller studies. This is important where the results of the studies are correlated with their size – where the smaller studies are for some reason reporting systematically different results to the larger studies. In this case random-effects meta-analysis will give a different effect estimate, as well as a wider confidence interval. This is called ‘small study effects’, and deserves further investigation. Small study effects are discussed in more detail in a separate presentation that also looks at reporting biases.

Sin heterogeneidad Fixed Random Veamos cómo se ve en la práctica. En este caso tenemos una revisión de eritropoyetina temprana para prevenir las transfusiones de glóbulos rojos en recién nacidos prematuros y medimos la ocurrencia de retinopatía. Este diagrama de bosque muestra los resultados mediante el modelo de efectos fijos, [CLICK] y este muestra los mismos datos analizados mediante el modelo de efectos aleatorios. Let’s see what that looks like in practice. In this case, we have a review of early erythropoietin to prevent red blood cell transfusions in preterm infants, and we are measuring the occurrence of retinopathy. This forest plot shows the results using the fixed-effect model, [CLICK] and this shows the same data analysed using the random-effects model. En este caso los estudios incluidos dan resultados muy similares, se puede ver en el diagrama de bosque que todos están bastante alineados. No se puede hablar de heterogeneidad y se puede ver que los resultados son casi los mismos, aunque no exactamente idénticos. También podemos ver la estimación de tau2, en este caso 0, por lo que no hay valores adicionales que afecten la ponderación de los estudios. In this case, the included studies are all giving very similar results – you can see from the forest plots that they are all quite well lined up. There is no heterogeneidad to speak of, and you can see that the results are almost the same, although not exactly identical. We can also see the estimate of tau2 – in this case it is 0, so there is no additional value to affect the weighting of studies. Adaptado de Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.

Cierta heterogeneidad
Fixed Random En este caso examinamos una revisión de clorpromazina para la esquizofrenia, y analizamos la ocurrencia de deterioro de la conducta. En este caso hay más variación entre los estudios individuales, no todos informan resultados consistentes. Aquí está el análisis de efectos fijos [CLICK] y aquí el análisis de efectos aleatorios. Al examinar estos resultados, el modelo de efectos aleatorios nos da una estimación del efecto muy similar, pero con un intervalo de confianza notablemente más amplio. In this case, we are looking at a review of chlorpromazine for schizophrenia, and we are looking at occurrence of deteriorated behaviour. In this case, there is more variation between the individual studies – they are not all reporting consistent results. Here is the fixed-effect analysis [CLICK] and here is the random-effects analysis. Looking at the results, the random-effects model is giving us a very similar effect estimate, but with a noticeably wider confidence interval. Podemos ver que en este ejemplo tau2 no es cero, por lo que tenemos un valor adicional que afecta el cálculo de las ponderaciones en este metanálisis. We can see that, in this example, tau2 is not zero – so we have an extra value affecting the calculation of the weights in this meta-analysis. Recuerde que el diamante en el metanálisis de efectos aleatorios representa ahora la mejor estimación de la media de los efectos en los estudios. La amplitud del diamante representa nuestra incertidumbre alrededor de la media, no representa verdaderamente la amplitud de la distribución de los efectos, por lo que podemos esperar ver estudios individuales que informen resultados fuera del intervalo. Remember that the diamond in the random-effects meta-analysis now represents the best estimate of the mean of effects across all the studies. The width of the diamond represents our uncertainty around that mean – it doesn’t truly represent the breadth of the distribution of effects, so we can expect to see individual studies reporting results outside this interval. Adaptado de Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.

Impacto de los estudios pequeños
Fixed Random Aquí tenemos un ejemplo donde el tamaño de los estudios en la revisión se correlaciona con sus resultados. Esta revisión examina el magnesio intravenoso para el infarto agudo de miocardio y mide la mortalidad. Como puede ver hay pocos estudios grandes, mostrados por los cuadros grandes, alineados muy cerca de la línea de no efecto. Luego hay muchos estudios pequeños que están todos a la izquierda del gráfico, que muestran una reducción en la mortalidad. Here we have an example where the size of the studies in the review is correlated with their results. This review is looking at intra-venous magnesium for acute myocardial infarction, and measuring mortality. As you can see, there are a few large studies, shown by the large squares, lined up closely to the line of no effect. There are then a lot of small studies, and they are all over to the left of the plot, showing a stronger reduction in mortality. El modelo de efectos fijos da una ponderación mayor a los estudios más grandes, por lo que el resultado está justo en la línea de no efecto. [CLICK] En la comparación el modelo de efectos aleatorios proporciona un valor bastante diferente cambiado hacia la izquierda, y muestra ahora una reducción significativa de la mortalidad. Podemos ver que tau2 no es cero, por lo que el valor extra juega un papel en el metanálisis, pero el lugar realmente importante a mirar en este diagrama de bosque es el de las ponderaciones. El modelo de efectos aleatorios le da mucha menos ponderación a los estudios grandes, se puede ver que los cuadros grandes son ahora muy pequeños, y que la ponderación del estudio ISIS disminuyó del 71% al 18% de la ponderación total. El darle una mayor ponderación a todos los estudios pequeños que se sitúan a la izquierda es lo que afectó el resultado del metanálisis. The fixed-effect model gives greater weight to the larger studies, and so the result is right on the line of no effect. [CLICK] In comparison, the random-effects model gives quite a different result – it has shifted to the left, and now shows a significant reduction in mortality. We can see that tau2 is not zero, so that extra value is playing a role in the meta-analysis, but the really important place to look on this forest plot is the weights. The random-effects model gives much less weight to the large studies – you can see that the big squares are now very small, and the weight of the ISIS study has dropped from 71% to 18% of the total weight. Giving greater weight to all those small studies off to the left is what has affected the result of the meta-analysis. Técnicamente hablando, en estos casos ningún resultado es perfectamente exacto, cada uno tiene deficiencias en las suposiciones que hacen. Si se encuentra con este tipo de ejemplo, necesitará hacer un trabajo extra para explorar la razón de estos efectos de estudios pequeños. La pregunta importante no es “¿Qué debo presentar?”, sino “¿Qué significa esto?”; luego hablaremos más acerca de cómo explorarlo. Technically speaking, in these cases neither result is perfectly accurate – each has flaws in the assumptions they are making. If you come across this kind of example, you’ll need to do some further work to explore the reason for these small study effects. The important question is not, “which should I present?”, but “what does this mean?”, and we’ll talk further about how to explore that later. Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

¿Cuál elegir? Planificar la estratégia en la etapa de protocolo
¿Es razonable esperar que los resultados sean muy diversos? Considerar las asunciones subyacentes a cada modelo Efectos fijos Puede ser poco realista– ignora la heterogeneidad Efectos aleatorios Permite la heterogeneidad La estimació de la distribució de efectos puede ser poco precisa si existen sesgos, hay pocos estudios o pocos eventos No hay una respuesta correcta a cuál es el modelo que se debe utilizar en su revisión. De ser posible es importante planificar su análisis por adelantado en la etapa de protocolo para evitar tomar decisiones sesgadas acerca del modelo una vez que vio los resultados de su metanálisis. There is no correct answer as to which model you should use for your review. If possible, it’s important to plan your analysis in advance, at the protocol stage, to avoid making biased decisions about the model once you see the results of your meta-analysis. Lo más importante al considerar la suposición que hace cada modelo: fundamentalmente, ¿cree en la heterogeneidad? ¿Espera que habrá diferencias entre sus estudios que no están causadas solamente por la probabilidad del azar, o espera que su intervención sea consistente en la mayoría de los contextos? The most important thing to consider is the assumptions each model makes: essentially, do you believe in heterogeneidad? Do you expect there will be differences between your studies that are not just caused by random chance, or do you expect your intervention to be consistent in most contexts? En particular no tome decisiones según una medida particular de heterogeneidad observada; la heterogeneidad puede estar presente o no, independientemente de si la podemos detectar a un nivel específico con una prueba particular. In particular, don’t make this decision based on a particular measure of observed heterogeneidad – heterogeneidad may be at work or not regardless of whether we are able to detect it at a particular level with a particular test. Cada modelo tiene ventajas y desventajas. El modelo de efectos fijos es nuestra mejor estimación del efecto general de la intervención, según los datos que tenemos, pero puede ser poco realista ignorar la heterogeneidad en nuestro modelo. Nos dará una estimación del efecto más precisa, con intervalos de confianza más estrechos, pero es posible que esta estimación precisa no sea aplicable a todas las poblaciones, contextos y variaciones de la intervención. Each model has advantages and disadvantages. The fixed effect model is our best estimate of the overall effect of the intervention, based on the data we have, but it may be unrealistic to ignore heterogeneidad in our model. It will give us a more precise effect estimate, with narrower confidence intervals, but that precise estimate may not really be applicable to all populations, contexts and variations on the intervention. El modelo de efectos aleatorios toma en cuenta la heterogeneidad, aunque al hacerlo hace suposiciones acerca de la distribución de los efectos del estudio, lo que puede que no sea exacto si los efectos del estudio no se distribuyen al azar, por ejemplo, si está presente el sesgo, o si no tenemos suficientes estudios para obtener un cuadro exacto de la distribución. The random effects model takes that heterogeneidad into account, although in doing so it does make some assumptions of its own about the distribution of the study effects, which may not be accurate if the study effects are not randomly distributed, for example if bias is present, or if we don’t have enough studies to get an accurate picture of the distribution. Si su Grupo de Revisión tiene un modelo preferido debe ir adelante y utilizarlo, pero por otra parte, como revisor, debe seleccionar el modelo que considere representa mejor sus suposiciones acerca de la heterogeneidad. If your Review Group has a preferred model, you should go ahead and use that, but otherwise, as review authors, you should select the model that you feel best represents your assumptions about heterogeneidad.

Identificando la heterogeneidad Explorando los resultados Por lo tanto, cuando examinamos los resultados de nuestro metanálisis, ¿cómo sabemos que hay heterogeneidad? So, when we are looking at the results of our meta-analysis, how do we know if we have heterogeneidad?

Identificando la heterogeneidad
Inspección visual de los gráficos de árbol (forest plots) Test de chi-cuadrado (c2, Q test) Estadística I2 para cuantificar la heterogeneidad Hay tres herramientas que podemos utilizar para identificar la heterogeneidad: There are three tools we can use to identify heterogeneidad: una inspección visual del diagrama de bosque, también llamada “prueba a simple vista” a visual inspection of the forest plot, also called the ‘eyeball test.’ la prueba de chi2, también conocida como prueba Q the chi2 test, otherwise known as the Q test la estadística I2 the I2 statistic

Inspección visual Forest plot A Forest plot B
PREGUNTA: ¿Cuál de estos estudios muestra más heterogeneidad? ASK: Which of these studies shows more heterogeneidad? El primer paso que debe dar siempre es examinar visualmente su diagrama de bosque, y ver si todos los estudios informan resultados consistentes. Busque la superposición de los intervalos de confianza, no solo diferencias en la estimación del efecto. Por ejemplo, en el diagrama de bosque B los estudios a la izquierda del diagrama no son consistentes con algunos de los estudios de la derecha, no necesariamente porque sus puntos azules no se alinean, sino porque sus intervalos de confianza no se superponen, es poco probable que todos los estudios midan el mismo efecto real. The first step you should always take is to visually examine your forest plots, and look to see whether all your studies are reporting consistent results. Look for overlap in the confidence intervals, not just differences in the effect estimate. For example, in Forest plot B, the studies on the left of the plot are not consistent with some of the studies on the right, not necessarily because their blue dots don’t’ line up, but because their confidence intervals don’t overlap – it’s not likely that each study is measuring the same true effect. También es importante señalar que la presencia de heterogeneidad no se trata de a qué lado de la línea de no efecto están los resultados. Es posible tener estudios muy consistentes cuyos resultados estén ligeramente a un lado o el otro de la línea, y es posible tener estudios que son muy poco consistentes, incluso aunque todos muestren diferentes grados de un efecto positivo, todos a un lado de la línea. It’s also important to note that the presence of heterogeneidad is not about which side of the line of no effect the results are on. It’s possible to have very consistent studies whose results are slightly one side of the line or the other, and it’s possible to have studies that are very inconsistent even thought they are all showing different degrees of a positive effect, all on one side of the line. Una vez dicho esto, el hecho de que los resultados estén hacia alguno de los lados de la línea de no efecto puede influir en nuestra valoración de la importancia de la heterogeneidad. Por ejemplo, afecta más nuestra comprensión en un caso como este, donde la heterogeneidad está alrededor del efecto nulo y tenemos estudios que van en ambas direcciones. Si todos los estudios muestran diferentes grados de efectos positivos, estaríamos más confiados de que la intervención es efectiva, y sabríamos cómo actuar, incluso si hubiera incertidumbre acerca de la fuerza exacta del efecto. Having said that, whether the results are either side of the line of no effect may influence our assessment of whether the heterogeneidad matters. For example, it affects our understanding more in a case like this, where the heterogeneidad is around the null effect and we have studies going in each direction. If all the studies were showing different degrees of positive effect, we would be more confident of that the intervention is effective, and we would know how to act, even if we were uncertain about the exact strength of the effect.

El test de chi-cuadrado (c2)
Contrasta la hipótesis nula de homogeneidad Poca potencia si hay pocos estudios Puede detectar diferencias clínicamente irrelevantes si hay muchos estudios Respuesta restringida (si/no) poco útil si la heterogeneidad es inevitable Calculado automaticamente por RevMan Una de las herramientas disponible que nos ayudan a detectar la heterogeneidad es la prueba chi2, que se agrega automáticamente a cada diagrama de bosque creado en RevMan. Esta prueba supone la hipótesis nula de que todos los estudios son homogéneos, o que todos los estudios miden un efecto idéntico y nos da un valor de p para probar nuestra hipótesis. si el valor de p es muy bajo significa que podemos rechazar la suposición; los estudios son demasiado diferentes para que todos midan el mismo efecto y podemos concluir que existe heterogeneidad. One of the tools available to help us detect heterogeneidad is the chi2 test, which is added automatically to every forest plot created in RevMan. This test assumes the null hypothesis that all the studies are homogeneous, or that each study is measuring an identical effect, and gives us a P value to test this hypothesis. If the P value is very low, it means we can reject this assumption – the studies are too different for them all to be truly measuring the same effect, and we can conclude that heterogeneidad is present. Sin embargo, la prueba no es muy confiable; cuando hay pocos estudios, que es el caso en la mayoría de las revisiones Cochrane, la prueba no es suficientemente sensible y puede concluir de manera errónea que no hay heterogeneidad. Por esta razón, las personas a menudo utilizan un valor de corte para el valor de p < 0,1 en lugar de p < 0,05, pero la falta de sensibilidad también puede ser un problema. Por otra parte, cuando hay muchos estudios, aunque es menos frecuente, el estudio puede se demasiado sensible y detectar que existe heterogeneidad, pero podría detectar una heterogeneidad que no sea muy importante para nosotros. También puede aparecer un resultado significativo de un único estudio atípico, más que de la dispersión general de los resultados, lo que necesitaría dos enfoques diferentes para interpretar los resultados. However, the test is not very reliable – when there are few studies, which is the case with most Cochrane reviews, then the test is not sensitive enough, and can wrongly conclude that there is no heterogeneidad. For this reason, people often us a cut-off for the P value of P < 0.1, rather than P < 0.05, but insensitivity can still be a problem. On the other hand, when there are many studies, although this is less common, the study can be too sensitive, and can detect that there is heterogeneidad – but it might detect heterogeneidad that is not very important to us. A significant result may also arise from a single outlying study, rather than general dispersion of results – which would require two different approaches to interpreting the results. Además, una prueba como esta no es muy informativa y es bastante rígida, solo nos da una respuesta de sí o no acerca de la heterogeneidad, según un valor de corte arbitrario. Adicionalmente, si es posible suponer que la heterogeneidad siempre está presente (como lo hacemos para un análisis de efectos aleatorios) entonces el uso de una prueba que nos diga si hay o no heterogeneidad no es muy útil. In addition, a test like this is not very informative and quite rigid – it gives only a yes or no answer about heterogeneidad, based on an arbitrary cutoff point. Further, if it’s possible to assume that heterogeneidad is always present (as we do for a random effects analysis), then using a test to tell us whether there is heterogeneidad or not is not very useful. [Nota para los entrenadores: la prueba chi2 se calcula mediante la estadística Q, que luego se compara con la distribución chi2 para obtener un valor de p. Q = wi(yi-) 2, donde w es la ponderación de cada estudio, y es la estimación del efecto de cada estudio, y  (theta) es la estimación del efecto del metanálisis.] [Note for trainers: chi2 test is calculated using the Q statistic, which is then compared to the chi2 distribution to obtain a P value. Q = wi(yi-) 2, where w is the weight of each study, y is the effect estimate of each study, and  (theta) is the effect estimate of the meta-analysis.]

El estadístico I2 El estadístico I2 describe el porcentaje de variabilidad debida a heterogeneidad y no al azar (0% a 100%) Valores bajos indican poca o nula heterogeneidad Valores altos indican elevada heterogeneidad Calculado automáticamente por RevMan Debe interpretarse cautelosamente Más útil que una simple prueba de sí/no para la heterogeneidad, es una manera de medir el grado en el cual los estudios concuerdan entre sí, lo que es posible hacer con la estadística I2. Esta medida nos dice cuánta inconsistencia tenemos, qué porcentaje de la variabilidad observada en las estimaciones del efecto está por encima de lo que esperaríamos ver de la probabilidad del azar o del error de muestra solo. More useful than a simple yes/no test for heterogeneidad is a way to measure the extent to which studies are agreeing with each other, and we can do that with the I2 statistic. This measure tells us how much inconsistency we have – what percentage of the observed variability in effect estimates is above what we would expect to see from random chance or sampling error alone. Valores bajos de I2 cercanos a cero indican poca o ninguna heterogeneidad; en efecto, toda la variación observada se puede deber de manera factible al error aleatorio. El 100% indica una heterogeneidad muy alta. No hay valores de corte universales para interpretar el rango de valores intermedios, ya que la importancia de un valor particular de I2 depende de factores como la magnitud y la dirección del resultado del metanálisis. De manera general, por debajo del 30% al 40% puede representar heterogeneidad baja o no importante, del 30% al 60% puede representar heterogeneidad moderada, del 50% al 90% puede representar heterogeneidad significativa y del 75% al 100% podría representar heterogeneidad bastante alta. Low values of I2, close to zero, indicate little or no heterogeneidad – effectively, all the variation observed could be plausibly due to random error. 100% indicates very high heterogeneidad. For the range of values in between, there are no universal cut-off points for interpretation, as the importance of a particular value of I2 depends on factors such as the magnitude and direction of the meta-analysis result. Roughly speaking, below 30-40% may represent low or unimportant heterogeneidad, 30-60% might represent moderate heterogeneidad, 50-90% might represent substantial heterogeneidad, and % might represent quite high heterogeneidad. Es importante que I2 se tome solamente como guía, y no como una prueba definitiva de que existe o no heterogeneidad en un nivel particular. Como cualquier estadística, I2 tiene cierto nivel de incertidumbre. Actualmente RevMan no proporciona intervalos de confianza, pero los IC de I2 pueden ser muy amplios; examine también el resultado de la prueba chi cuadrado. It’s important that the I2 is only taken as a guide, and not definitive proof that you do or don’t have heterogeneidad at a particular level. Like any statistic, I2 has a level of uncertainty. RevMan currently does not provide confidence intervals, but CIs for I2 can be very wide, so be cautious. Because there is usually a lot of uncertainty in I2, it should not be used alone. If confidence intervals are not available to you, look also at the result of the chi-squared test.

El estadístico I2 En este caso, el valor de I2 se ha calculado en 14,3%, lo que es bajo, y podemos ver que los estudios son bastante consistentes, con intervalos de confianza que se superponen. In this case, the I2 has been calculated at 14.3%, which is low, and we can see that the studies are all fairly consistent with overlapping confidence intervals.

chi2 = 29.55 df = 13 P = 0.0055 I2 = 56% chi2 = 6.14 df = 3 P = 0.11
En estos dos ejemplos tenemos dos grupos de estudios que miden la hemorragia como resultado en una revisión de vitamina K. In these two examples, we have two groups of studies measuring bleeding as an outcome in a review on Vitamin K. En el primer grupo, mediante la prueba de chi2, obtenemos un valor de p de 0,0055, lo que indica que existe heterogeneidad. En el segundo grupo tenemos un valor de p de 0,11 que no es suficientemente bajo para rechazar la hipótesis nula de homogeneidad. In the first group, using the chi2 test, we have a P value of , indicating that there is heterogeneidad present. In the second group, we have a P value of 0.11, which is not low enough to reject the null hypothesis of homogeneity. Sin embargo, si examinamos los valores de I2 , realmente podemos ver que la cantidad de heterogeneidad es muy similar entre estos dos metanálisis, en un nivel moderado. Quizás con menos estudios en el segundo grupo la prueba no tiene suficiente poder estadístico para identificar con éxito la heterogeneidad. However, if we look at the I2 values, we can actually see that the amount of heterogeneidad is very similar between these two meta-analyses, at a moderate level. Perhaps with fewer studies in the second group the test just did not have enough power to successfully identify heterogeneidad. En general, en la mayoría de los casos la estadística I2 es más informativa. Generally speaking, the I2 statistic is more informative in most cases. chi2 = 6.14 df = 3 P = 0.11 I2 = 51% Fuente: Julian Higgins

¿Qué hacer con la heterogeneidad?
Comprobar que los datos son correctos Tenerla en cuenta en la interpretación de los resultados Especialmente si varía la dirección del efecto Si la heterogeneidad es muy elevada Interpretar con cautela los resultados de efectos fijos Considerar análisis de sensibilidad – ¿el modelo de efectos aleatorios significaría diferencias importantes? Se puede optar por no metanalizar El resultado promedio puede no tener significado en la práctica Considerar la comparabilidad clínico-metodológica de los estudios Evitar Cambiar la medida de efecto o el modelo de análisis Excluir estudios con valores extremos Explorar la heterogeneidad Entonces, si identifica heterogeneidad en su metanálisis, ¿qué debe hacer al respecto? Tiene varias opciones disponibles. So, if you identify heterogeneidad in your meta-analysis, what should you do about it? There are a number of options available to you. Primero, verifique los datos; resultados sorprendentes se pueden deber a errores en la obtención o la introducción de los datos, por lo que asegúrese que verificó cualquier valor atípico. El uso erróneo de un EE por una DE o los errores en la unidad de análisis también pueden dar lugar a intervalos de confianza demasiado estrechos, lo que puede aumentar su heterogeneidad. First, check the data – surprising results may be due to errors in the data collection or data entry, so make sure you check any outliers. Mistaking a SE for a SD, or unit of analysis errors can also lead to overly narrow confidence intervals, which can increase your heterogeneidad. A continuación asegúrese de tomar en cuenta la heterogeneidad cuando interprete sus resultados. ¿Recibe mensajes consistentes de todos los estudios, o los mensajes son variables? Lo anterior puede incrementar o disminuir su confianza en el resultado general y su aplicabilidad en la toma de decisiones, especialmente si algunos estudios le dicen que su intervención funciona y otros dicen que no. Next, make sure you take heterogeneidad into account when interpreting your results. Are you getting a very consistent message from all the studies, or a variable message? This can increased or decrease your confidence in the overall result, and its applicability in decision-making, especially if some studies tell you the intervention works, and others tell you it doesn’t. Si encuentra niveles altos de heterogeneidad hay pocos aspectos a considerar. Si preespecíficó un análisis de efectos fijos y supuso que no había heterogeneidad importante, entonces debe interpretar sus resultados con cautela, ya que es probable que sus intervalos de confianza sean demasiado estrechos. Puede desear realizar análisis de sensibilidad para ver si el análisis de efectos aleatorios habría producido un resultado marcadamente diferente. Asegúrese de informar también sus análisis planificados originalmente. If you have high levels of heterogeneidad, there are a few things to consider. If you pre-specified a fixed-effect analysis, assuming no important heterogeneidad, then you should interpret your results with caution, as your confidence intervals are likely to be too narrow. You may wish to conduct a sensitivity analysis to see whether a random-effects analysis would have produced an importantly different result. Make sure you report your originally planned analysis as well. Si la heterogeneidad es muy alta, puede ser preferible no realizar el metanálisis. Aunque los valores aparentes de sus estudios pueden ser suficientemente similares para agruparlos, si sus resultados son demasiado diversos cualquier resultado promedio que calcule puede carecer de sentido, y no ser útil para los lectores de la revisión que esperan predecir cómo funcionará la intervención si deciden utilizarla. Siempre debe considerar las razones por las cuales la heterogeneidad es tan alta, incluida la comparabilidad clínica y metodológica de los estudios. Algunos revisores utilizan los valores de I2 especificados como valores de corte para esto, pero puede que no sea un buen enfoque. Puede que los valores particulares de I2 no tengan sentido, especialmente si hay pocos estudios. Como revisores, todavía tienen la responsabilidad de interpretar y contextualizar los resultados para sus lectores, y no sencillamente de presentar una estadística. If heterogeneidad is very high, it may be best not to proceed with your meta-analysis. Although your studies may be similar enough on face value to pool together, if their results are too diverse then any average result you calculate may be meaningless, and not useful for readers of the review hoping to predict how the intervention will work if they decide to use it. You should always give consideration to the reasons why the heterogeneidad is so high, including the clinical and methodological comparability of the studies. Some review authors use specified I2 values as cutoff points for this, but this may not be a good approach. Particular values of I2 may not be meaningful, especially if there are very few studies. As authors of the review, you still have a responsibility to interpret and contextualise the results for your readers, not simply to present a statistic. En algunos casos el cambio de la medida del efecto para los datos dicotómicos reducirá el nivel de heterogeneidad, por ejemplo, habitualmente el OR y el RR son más consistentes que la DR. Cualquier decisión de cambiar la medida post hoc se debe declarar en la revisión, y aunque la reducción de la heterogeneidad puede aumentar su confianza en la interpretación de los resultados, generalmente no se recomienda porque puede sencillamente ser una maximización espuria de la precisión de los resultados. In some cases, changing the effect measure used for dichotomous data will reduce the level of heterogeneidad, e.g. OR and RR are usually more consistent than RD. Any decision to change the measure post hoc should be declared in the review, and although reducing the heterogeneidad may increase your confidence in the interpretation of the results, this is not generally recommended as this may simply be spuriously maximising the precision of the results. En algunos casos también es posible identificar uno o estudios atípicos que se contradicen con el resto de los estudios incluidos, lo que aumenta la heterogeneidad. Si hay razones obvias para estas diferencias, es tentador excluirlos, pero es muy fácil pensar en razones post hoc por las que cada estudio es diferente y los revisores se arriesgan a introducir sesgo al retirar estudios por razones no preespecificadas en el protocolo, en lugar de explorar los resultados de una manera más sistemática. some cases, it is also possible to identify one or two outlying studies that conflict with the rest of your included studies, increasing your heterogeneidad. If obvious reasons for these differences are apparent, it is tempting to exclude such studies, but it’s very easy to think of post hoc reasons why each study is different, and authors risk introducing bias by removing studies for reasons not pre-specified in their protocol rather than exploring the results in a more systematic way. Lo que es más importante, debe pensar en explorar los resultados de sus estudios para comprender mejor por qué existe la heterogeneidad e identificar los factores importantes que afectan sus resultados. Most importantly, you should be thinking about exploring the results of your studies, to better understand why there is heterogeneidad, and identify the important factors that are affecting your results. Recuerde que el uso del análisis de efectos aleatorios no sustituye la exploración. El análisis de efectos aleatorios toma en cuenta la heterogeneidad, y supone principalmente un cierto nivel de heterogeneidad que no tiene explicación. Ni ajusta por dicho nivel ni lo resuelve. Aunque es importante utilizar el modelo estadístico apropiado, es aún más útil investigar y encontrar exactamente lo que provoca las diferencias en los resultados de su intervención. Remember that using a random-effects analysis is no substitute for exploration. Random-effects analysis allows for heterogeneidad, essentially assuming a certain level of heterogeneidad without an explanation. It doesn’t adjust for it or resolve it. While it’s important to use the most appropriate statistical model, it’s even more useful to investigate and find out exactly what’s causing the differences in the results of your intervention.

Identificando la heterogeneidad Explorando los resultados Entonces, cuando examinamos los resultados de nuestro metanálisis, ¿cómo sabemos si hay heterogeneidad? So, when we are looking at the results of our meta-analysis, how do we know if we have heterogeneidad?

Explorando los resultos
¿Qué factores parecen modificar el efecto? Diversidad clínica (población, intervenciones, desenlaces) Diversidad metodológica (diseño del estudios, riesgo de sesgo) Planificar la estratégia en el protocolo Identificar un número limitado de factores importantes para investigar Presentar una justificación científica para cada factor elegido Declarar cualquier exploración post-hoc Cuando detectamos heterogeneidad en los resultados la pregunta que deseamos responder es, si no es por la probabilidad del azar, ¿qué diferencias en los estudios causan estas diferencias en el efecto? A esta variación causada por factores identificables en ocasiones se le llama interacción o modificación del efecto. When you see heterogeneidad in your results, the question we want to answer is, if not random chance, what differences in the studies cause these differences in effect? This variation caused by identifiable factors is sometimes called interaction or effect modification. Aquí es donde podemos comenzar a explorar la repercusión de lo que se describió anteriormente como heterogeneidad clínica o metodológica. Al definir la pregunta de su revisión es probable que haya identificado algunos factores importantes que pudieran afectar los resultados del estudio, incluidas las variaciones en la población y en la forma en la que se implementó la intervención. Por ejemplo quizás en algunos estudios de su revisión el fármaco se administró a muy bajas dosis y desea saber si la dosis baja es tan efectiva como la dosis estándar. O quizás desea conocer si la intervención es efectiva en niños versus adultos, o cuando se administra en un contexto sanitario versus un contexto comunitario. Sabemos que las diferencias en la manera que se realizan los estudios también puede afectar los resultados. This is where we can start to explore the impact of what we described earlier as clinical or methodological heterogeneidad. In defining the question for your review, it’s likely that you identified some important factors that could affect the study results, including variations in the population and the way the intervention was implemented. For example, perhaps in some studies in your review the drug was given at very low doses, and you want to know whether the low dose is as effective as the standard dose. Or perhaps you want to know if the intervention is effective in children versus adults, or when it’s delivered by in a health setting versus a community setting. We know that differences in the way the studies are conducted can also affect the results. Sin embargo, es muy importante, al igual que cuando seleccionamos nuestros métodos estadísticos, evitar decisiones post hoc después que ya tenemos los datos. Los análisis de subgrupos se deben especificar en el protocolo, lo que evitará decisiones selectivas acerca de qué grupos investigar según los resultados de los estudios. It’s very important, however, just like it was when we selected our statistical methods, to avoid post hoc decisions after we already have the data. planned subgroup analyses should be specified in the protocol – this will avoid selective decisions about which subgroups to investigate based on the studies’ results. Lo anterior también puede evitar lo que se le llama el “dragado” de los datos. Deseamos evitar una situación donde detecte heterogeneidad en los datos y piense, quizás son los grupos etarios, y entonces investigue los grupos etarios y no encuentre nada, luego lo intente con la ubicación geográfica, los componentes de la intervención, la gravedad de la enfermedad, el riesgo de sesgo de los estudios incluidos y finalmente intente probar un efecto según si el apellido del autor está antes o después de la M en el alfabeto y de pronto encuentra un efecto significativo. Lo anterior puede suceder; mientras más investigue los datos, es más probable que encuentre un efecto significativo solamente por azar. This can also avoid what we call data ‘dredging’. We want to avoid a situation where you see heterogeneidad in the data and you think, perhaps it’s the age groups, so you investigate the age groups and don’t find anything, so then you try the geographic location, the components of the intervention, the severity of disease, the risk of bias of included studies, and finally you try testing for an effect based on whether the author’s last name comes before or after M in the alphabet, and suddenly you find a significant effect. This can happen – the more you investigate the data, the more likely to are to find a significant effect purely by chance. Las características que investigue deben tener un número limitado. No intente investigar todas las posibles variaciones de todos los posibles factores, aparte de cualquier otra cosa, presentar 10 análisis de subgrupos diferentes de sus siete resultados principales podría producirle 70 diagramas de bosque incluso antes de comenzar, lo que es demasiado para que sea útil a los lectores de su revisión. Piense cuidadosamente acerca de qué factores clave espera que sean los más importantes. Si existen más de uno o dos, puede desear cambiar su umbral de significación para tomar en cuenta las múltiples comparaciones; por ejemplo, exija un valor de p de 0,01 en lugar de 0,05 para identificar la significación. Solicite asesoría de un estadístico con respecto a esto. The characteristics you investigate should be limited in number. Don’t try to investigate every possible variation on every possible factor – aside from anything else, presenting 10 different subgroup analyses on your 7 main outcomes might give you 70 forest plots before you even begin, which is too many to be useful to readers of your review. Think carefully about which key factors you expect to be most important. If there are more than one or two, you may want to consider changing your significance threshold to account for multiple comparisons – for example, requiring a P value of 0.01 rather than 0.05 to identify significance. Get some advice from a statistician about this. Asegúrese de que tiene una justificación científica para cada factor seleccionado, ¿cómo espera que el factor cambie la manera en la que la intervención funciona? Asegúrese de que no confunde los factores pronósticos como la edad o el hábito de fumar, que cambiarán el resultado de la afección de salud, con cosas que realmente cambian el efecto de la intervención. (Note que bajo ciertas circunstancias la edad y el hábito de fumar también podrían ser modificadores del efecto). Make sure you have a scientific rationale for each factor you select – how is it that you expect this factor to change the way the intervention works? Make sure you’re not confusing prognostic factors, like age or smoking, that will change the outcome of the health condition, with things that actually change the effect of the intervention. (Noting that age and smoking might also be effect modifiers in some circumstances). Si durante el curso de la revisión encuentra algo que parece tener una repercusión importante y no se preespecificó, debe ir adelante y analizarlo. Solo sea claro y transparente en que fue un análisis post hoc y en el mejor de los casos trate los resultados como generadores de hipótesis, no como hallazgos concluyentes. If you do find something during the course of the review that appears to be having an important impact and was not pre-specified, you should go ahead and analyse it. Just be clear and transparent that this was a post-hoc analysis, and treat the results as hypothesis-generating at best, not a conclusive finding. [Nota a los entrenadores: evite el análisis simple del riesgo del grupo control como factor modificador. El mismo está relacionado de forma inherente con la estimación del efecto (por ejemplo, el odds ratio). Si el riesgo es alto o bajo solo por azar, entonces el odds ratio también será bajo o alto solo por azar, porque para calcularlo se utiliza el riesgo del grupo control, pero esto es un problema complejo y difícil de interpretar, se necesita asesoría estadística para hacerlo bien.] [Note to trainers: avoid simple analysis of control group risk as a modifying factor. This is inherently correlated with the effect estimate (e.g. odds ratio). If it is low or high by chance alone, then the odds ratio will also be low or high by chance alone, because it is calculated using the control group risk, but this is a complex issue and complex to interpret – statistical advice is required to do this well.]

Dos opciones disponibles
Análisis de subgrupos Agrupar los estudios por factores pre-especificados Buscar diferencias en los resultados y la heterogeneidad Metaregresión Examinar la interacción con variables categóricas y continuas No disponible en RevMan Hay dos métodos principales para identificar la interacción, o los factores que modifican el efecto de su intervención. Recuerde proceder con precaución. Cada uno de estos métodos tiene deficiencias potenciales y debe evitar la interpretación y representación erróneas de sus resultados. There are two main methods available to identify interaction, or factors that are modifying the effect of your intervention. Remember to proceed with caution. Each of these methods has potential pitfalls, and you want to avoid misinterpreting and misrepresenting your results. El primero, el análisis de subgrupos, es el que se encuentra con mayor frecuencia en las revisiones Cochrane. De manera similar a un estudio primario, agrupamos los estudios según los factores preespecificados (especificados en la etapa de protocolo) que es probable que afecten los resultados de los estudios, como los grupos etarios, la ubicación de los estudios o las variaciones de la intervención, y comparamos los resultados. The first, subgroup analysis, is the most commonly found in Cochrane reviews. Just as you would in a primary study, we group studies by those pre-specified factors (specified at the protocol stage) that were likely to affect the results of the studies, such as age groups, location of studies, or variations on the intervention, and we compare the results. El segundo es la metarregresión. Este método no está disponible en RevMan, pero si tiene asesoría estadística o la pericia para hacerlo, puede realizar una metarregresión en otro programa informático. La metarregresión busca asociaciones entre los resultados de los estudios y las variables de interés, y se puede utilizar para variables categóricas (como los subgrupos) o para variables continuas que cambian a lo largo de una escala. Necesita al menos 10 estudios para realizar una metarregresión que tenga sentido. The second is meta-regression. This method is not available in RevMan, but if you have statistical advice or you have the expertise yourself, you can run meta-regression in other statistical software. Meta-regression looks for associations between the results of studies and the variables of interest, and can be used for categorical variables (like subgroups) or continuous variables that change along a scale. You need at least 10 studies to run a meaningful meta-regression. En una revisión sistemática muy pocas vences tenemos datos suficientemente detallados de los estudios incluidos para separar a los pacientes en subgrupos; es más frecuente agrupar los estudios completos según sus diferentes poblaciones e intervenciones. Ocasionalmente están disponibles los datos de pacientes individuales en los estudios publicados o se obtienen directamente de los autores. Cuando tiene información más detallada en los estudios, ya sea separados en subgrupos o en datos de participantes individuales, se pueden ampliar los análisis de subgrupos y la metarregresión para examinar factores a nivel de los participantes. In a systematic review, we rarely have enough detailed data from the included studies to split individual patients into subgroups – it’s more common to group whole studies based on their different populations and interventions. Occasionally, individual patient data is available in the published studies, or obtained directly from the authors. When you have more detailed information within studies – either break-down by subgroup or individual participant data - both subgroup analyses and meta-regression can be extended to look at participant level factors.

Los resultados raramente son concluyentes
Proceder con cautela Los resultados son de tipo observacional, no aleatorio Ser crítico ante comparaciones múltiples y post hoc Pueden no ser útiles con pocos estudios Pueden no ser posibles de realizar con datos agregados Buscar posibles factores de confusión Seguir el plan especificado en el protocolo sin sobre-enfatizar resultados específicos Proceda con precaución acerca de los resultados. Los análisis de subgrupos no son comparaciones aleatorizadas, incluso si los participantes se aleatorizan en el estudio, puede que no estén aleatorizados a los subgrupos relevantes. Con mayor frecuencia comparamos estudioso completos contra otros, y los pacientes no están ciertamente aleatorizados a estar en un estudio particular u otro. Los análisis de subgrupos son en efecto estudios observacionales con todas las limitaciones asociadas de posible sesgo. Be cautious about the results. Subgroup analyses are not randomised comparisons – even if the participants are randomised within the study, they may not be randomised to the relevant subgroups. More commonly, we are comparing whole studies against each other, and participants are certainly not randomised to be in one particular study or another. Subgroup analyses are effectively observational studies, with all the associated limitations of possible bias. Recuerde que mientras más análisis de subgrupos agregue, es más probable que encuentre resultados falsos positivos y negativos, y necesitaremos precaución particular con respecto a los análisis post hoc. Remember that the more subgroup analyses you add, the more likely we are to find false positive and false negative results, and we need to be particularly cautious around post-hoc analyses. Incluso cuando los análisis de subgrupos se hayan planificado cuidadosamente, puede que no respondan con éxito las preguntas que deseamos investigar. Una vez que tenga los resultados de su revisión podría encontrar que tiene en general muy pocos estudios, o muy pocos en uno de sus subgrupos. Considere si tienen información suficiente para realizar una investigación con sentido de cada subgrupo; este es un problema frecuente en las revisiones Cochrane. Even where subgroup analyses have been carefully planned, they may not successfully answer the questions we wanted to investigate. Once you have the results of your review, you might find that you have very few studies overall, or very few in one of your subgroups. Consider whether you have enough information to conduct a meaningful investigation of each group – this is quite a common problem in Cochrane reviews. Otro problema que podría encontrarse son los datos agregados. Por ejemplo, si desea evaluar la repercusión de la edad, podría encontrar que los estudios solo informan resultados para la población total y no proporcionan datos por separado para diferentes grupos etarios. A menos que las poblaciones de estudio sean muy diferentes entre los estudios (como un grupo de estudios donde la población tenga menos de 30 años y otro grupo donde la población tenga más de 30 años) no podrá investigar de manera efectiva estos subgrupos sin los datos de los pacientes individuales. Another problem you might come across is aggregate data – for example, if you want to assess the impact of age, you might find that studies only report results for their whole populations, and don’t provide separate data for different age groups. Unless the study populations are very different between studies – such as a group of studies whose whole population is under 30 years, and another group whose population is over 30 years, you won’t be able to effectively investigate these subgroups without individual patient data. También es importante pensar acerca de posibles factores de confusión que operan a nivel de estudio, incluso aunque los individuos puedan ser aleatorizados dentro de los estudios. ¿Los estudios realizados en países de bajos ingresos también son los estudios donde se utilizaron dosis menores de los fármacos? ¿Los estudios realizados en pacientes con una enfermedad más grave también son los estudios que incorporaron componentes de intervenciones adicionales? It’s also important to think about possible confounding factors operating at the study level, even though within your studies the individuals may be randomised. Are the studies that were conducted in low-income countries also the studies that used lower doses of the drug? Are the studies conducted in people with more severe disease also the studies that incorporated additional intervention components? Su mejor enfoque es seguir cuidadosamente el análisis de subgrupos planificado en su protocolo. De ser posible realice el análisis que planificó. Cuando informe los resultados evite centrarse en los que se encontraron diferencias significativas o en los que cumplen con sus expectativas e informe todos sus hallazgos. En general, debe evitar presentar los resultados de los análisis de subgrupos como conclusiones definitivas. Your best approach is to carefully follow the planned subgroup analysis set out in your protocol. Conduct all the analyses you planned, if possible. When reporting the results, avoid focusing on those results that found significant differences, or that met your expectations, and report all your findings. Overall, you need to be very wary of presenting the results of subgroup analyses as definitive conclusions. Los resultados raramente son concluyentes

Interpretación de análisis de subgrupos
Examinar los resultados y heterogeneidad dentro de los subgrupos ¿Los subgrupos son genuinamente diferentes? Si son 2 subgrupos – ¿los intervalos de confianza se solapan? Tests estadísticos de diferencias por subgrupos Podemos estar más confiados acerca de: can be more confident about: Análisis preespecificados pre-specified analyses Análisis en los estudios within-study analyses El efecto es clínicamente posible y está apoyado por pruebas indirectas effect is clinically plausible and supported by indirect evidence El efecto es clínicamente importante y alterará las recomendaciones effect is clinically important and will alter recommendations Cuando se examinan los resultados de un análisis de subgrupos, deseamos examinar la estimación del efecto para cada subgrupo, ver si son diferentes entre sí y si la heterogeneidad dentro de cada subgrupo es diferente del nivel general de heterogeneidad, lo que indica que los estudios son más consistentes dentro que entre los subgrupos, y el factor que se agrupó explica algo de la heterogeneidad observada. When looking at the results of a subgroup analysis, we want to look at the effect estimate for each subgroup, to see whether they’re different from each other, and to see whether the heterogeneidad within each subgroup is different from the overall level of heterogeneidad, indicating that the studies are more consistent within than between subgroups, and the factor being grouped is explaining some of the observed heterogeneidad. Sin embargo, debemos hacerlo cuidadosamente; no examine solamente los resultados y vea si las estimaciones del efecto son diferentes, ni busque si el resultado es estadísticamente significativo para un grupo pero no para el otro. Debemos comparar directamente los subgrupos entre sí, ver si los hallazgos son consistentes con la posibilidad de que de hecho los efectos subyacentes reales en cada grupo sean los mismos. We need to do this carefully, though - don’t just look at their results and see whether the effect estimate is different, or look to see whether the result is statistically significant for one group but not the other. We need to directly compare the subgroups with each other, to see whether the findings are consistent with the possibility that in fact the true underlying effects in each subgroup are the same. Si solo tiene dos subgrupos, la manera más sencilla de hacerlo es comparar los intervalos de confianza, ¿se superponen? Si no es así, la diferencia es significativa. También es posible que los intervalos de confianza se superpongan un poco y la diferencia puede todavía ser significativa. If you have only 2 subgroups, the simplest way to do that is to compare the confidence intervals – do they overlap? If they don’t, you have a significant difference. It’s also possible for confidence intervals to overlap a tiny bit and the difference can still be significant. RevMan también puede probar una diferencia significativa entre los grupos, y la informará en el diagrama de bosque debajo de las estadísticas de la heterogeneidad. Como siempre, sea cauteloso acerca de estas pruebas porque pueden identificar resultados positivos falsos, particularmente cuando se utiliza el modelo de efectos fijos. La metarregresión es una herramienta más flexible para probar estas diferencias, si tiene acceso a ella. RevMan can also test for a statistically significant difference between groups, and will report this on your forest plot below the heterogeneidad statistics. As always, be cautious about these tests, as they may identify false positive results, particularly when using the fixed-effect model. Meta-regression is a more flexible tool for testing these differences, if you have access to it. Como se dijo, pocas veces los resultados son definitivos, pero si los subgrupos se planificaron por adelantado y hay un número limitado de estudios, y consideramos todas las razones para ser cautelosos, podemos confiar más que en los datos entre estudios (basados en los estudios completos agrupados), especialmente si los análisis en y entre los estudios producen el mismo resultado. As we said, results are rarely definitive, but if the subgroups were planned in advance and there are a limited number, and we’ve considered all the reasons to be cautious, we can be more confident in their results. If the subgroups are based on within-study data (based on individual patient results), we can be more confident than between-study data (based on whole studies being grouped), especially if both within- and between-study analyses give us the same result. Cualquier efecto observado puede ser clínicamente posible, es decir, podemos entender cómo la característica puede tener el efecto observado sobre la intervención. Si hay alguna prueba de apoyo indirecto fuera de la revisión que sustente nuestra hipótesis, podemos confiar mucho más en nuestras conclusiones. Any observed effect should be clinically plausible – that is, we can understand how the characteristic can have the observed effect on the intervention. If there is any indirect supporting evidence from outside the review that supports our hypothesis, we can be that much more confident of our conclusions. También es importante considerar si el efecto observado tiene sentido clínico; desde un punto de vista práctico, ¿esta diferencia entre los subgrupos significa que haríamos recomendaciones diferentes para la acción para diferentes grupos?, por ejemplo, la intervención es significativamente más efectiva en algunos grupos que en otros, o una variación de la intervención es más efectiva que otras variaciones. Si los resultados no dan lugar a conclusiones diferentes, entonces puede que no sea muy beneficioso presentar el análisis de subgrupos (aunque podría señalar que los resultados se exploraron y no se encontraron diferencias significativas). It’s also important to consider whether the observed effect is clinically meaningful – in a practical sense, does this difference between subgroups mean that we would make different recommendations for action for the different groups? e.g. the intervention is substantially more effective in some groups than others, or one variation on the intervention is more effective than other variations. If the results would not lead to different conclusions, then there may not be much benefit in presenting the subgroup analysis (although you might note that you explored the results and found no important difference).

Subgrupos de participantes
Veamos un ejemplo. Esta es una revisión de tratamiento de reemplazo de nicotina que compara goma de mascar con una dosis alta de 4 mg con una dosis menor de 2 mg. El resultado a medir es el número de pacientes que abandonaron exitosamente el hábito de fumar. Es posible generar diagramas de bosque como en RevMan, que separen los datos del estudio en dos o más grupos. Puede ver que hay un diamante negro que muestra un efecto general para cada grupo, y otro al final que muestra la estimación del efecto general para todos los datos combinados. Let’s look at an example. This is a review of nicotine replacement therapy, comparing a high dose 4mg gum with a lower dose 2 mg gum. The outcome being measured is the number of people who successfully quit smoking. You can generate forest plots like this in RevMan, that separate your study data into two or more groups. You can see there is a black diamond showing an overall effect for each group, and another one at the bottom – this one shows the overall effect estimate for all the data combined. PREGUNTA: ¿Cuál es el efecto general de la goma de mascar de 4 mg, en comparación con la de 2 mg? ASK: What is the overall effect of the 4mg gum, in comparison to the 2mg gum? Ahora examinemos los subgrupos que se basan en las características de los participantes de los estudios. El subgrupo superior es el de los fumadores con gran dependencia y el subgrupo inferior es el de los fumadores con baja dependencia. Now let’s look at the subgroups, which are based on characteristics of the study participants. The top subgroup is high dependency smokers, and the lower subgroup is low dependency smokers. PREGUNTA: ¿Cuál es el efecto de la goma de mascar de 4 mg en los fumadores con gran dependencia, en comparación con la de 2 mg? ¿Cuál es el efecto de la goma de mascar de 4 mg en los fumadores con baja dependencia, en comparación con la de 2 mg? ¿Cuál es el nivel general de heterogeneidad? ¿Cuál es el nivel de heterogeneidad en cada subgrupo? ¿Qué indica lo anterior? ¿Cómo podemos decir si los resultados de estos subgrupos son significativamente diferentes entre sí? ASK: What is the effect of the 4mg gum in high dependency smokers, compared to 2mg gum? What is the effect of the 4mg gum in low dependency smokers? What does this indicate? What is the overall level of heterogeneidad? What are the levels of heterogeneidad in each subgroup? What does this indicate? How can we tell if these subgroup results are significantly different from each other? Primero podemos examinar si sus intervalos de confianza se superponen, en este caso no lo hacen. También podemos examinar la prueba de chi2 para la diferencia de subgrupos, en este caso encontramos un valor de p muy bajo de 0,001. Por lo tanto, parece razonable concluir que la goma de mascar de 4 mg es más efectiva que la de 2 mg en fumadores con gran dependencia, pero que parece ser igualmente pero no más efectiva para los fumadores con baja dependencia. First we can look at whether their confidence intervals overlap – in this case, they don’t. We can also look at the chi2 test for subgroup difference – in this case we find a very low P value of So, it seems reasonable to conclude that while 4mg gum is more effective than 2mg in high dependency smokers, but it appears to be equally but no more effective for low dependency smokers. Note que es mucho más frecuente encontrar diferencias en la fuerza de un efecto de una intervención entre los subgrupos que encontrar diferencia cualitativas, es decir, sería muy poco probable encontrar que la goma de mascar de 4 mg ayudó a algunos pacientes a abandonar el hábito pero evitó que otros lo abandonaran. Note that it’s much more common to find differences in the strength of an effect of an intervention between subgroups than to find qualitative differences – that is, it would be very unlikely to find that 4mg gum helped some people quit but prevented others from quitting. PREGUNTA: ¿Esta diferencia es clínicamente posible? Sí, bien podría ocurrir que haya un nivel umbral de nicotina necesario para ayudarle a abandonar que varía según la cantidad regular de nicotina que usted reciba. ASK: is this difference clinically plausible? Yes – it might well be that there is a threshold level of nicotine required to help you quit that varies depending on your regular nicotine intake. PREGUNTA: ¿Esta diferencia es clínicamente importante? Sí, los fumadores con baja dependencia bien podrían preferir utilizar una dosis más baja, ya que podría ser menos costosa, o menos probable que cause efectos secundarios. ASK: Is the difference clinically important – would it affect your recommendations for the use of 4mg gum? Yes – low dependency smokers might well prefer to use a lower dose, as it might be cheaper, or less likely to cause side-effects. PREGUNTA: ¿Hay otros factores que se deben considerar? Es tranquilizador señalar que en este caso dos de los estudios incluidos, Garvey y Kornitzer, proporcionan los datos de pacientes individuales que confirman las pruebas entre estudios de otros ensayos. ASK: Are there any other factors we should consider? It’s reassuring to note that in this case two of the included studies, Garvey and Kornitzer, are providing individual patient data to both subgroups, to go alongside between-study evidence from the other studies. Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD DOI: / CD pub3.

Subgrupos por intervención
Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: CD DOI: / CD pub3. Aquí hay otro ejemplo. Esta es una revisión de mosto de San Juan para la depresión que mide el número de pacientes que responden con éxito al extracto de hierbas. En este caso los revisores agruparon los estudios según los diferentes extractos de mosto de San Juan que se han utilizado. Here’s another example. This review is of St John’s Wort for depression, and we’re measuring the number of people who successfully respond to the herbal extract. In this case, the authors have grouped the studies according to the different extracts of St John’s wort that have been used. PREGUNTA: Si se examinan los resultados de cada subgrupo, ¿parece que hay diferencias importantes en los efectos de los diferentes extractos? No. Aunque algunos resultados son significativos y otros no, no significa que los resultados no sean consistentes, hay subgrupos muy pequeños que varían en cuanto a la cantidad de información que tienen, así como en su poder estadístico para detectar un efecto. Todos los diamantes se alinean entre si relativamente bien y la prueba para las diferencias entre subgrupos no indica una diferencia significativa. ASK: Looking at the results for each subgroup, does it appear that there are important differences between the effects of the different extracts? No. Although some results are significant and others are not, this does not mean the results are inconsistent – these are very small subgroups, and they vary in the amount of information they have, and their power to detect an effect. The diamonds all line up with each other relatively well, and the test for subgroup differences does not indicate a significance difference. Aunque en general en este diagrama de bosque hay una clara heterogeneidad la misma no se explica por el extracto utilizado, y los revisores deberían seguir hacia otros análisis de subgrupos planificados. Note que hay un estudio atípico particular en este diagrama de bosque, este estudio causaría heterogeneidad si apareciera en cualquier análisis de subgrupos, pero puede que se trate de algo más allá de que este estudio es diferente, como su riesgo de sesgo o su población, lo que provoque que se encuentren resultados diferentes. Although there is clear heterogeneidad on this forest plot overall, it is not explained by the extract used, and the authors would need to move on to their other planned subgroup analyses. Note that there is one particular outlying study on this forest plot – this study would cause heterogeneidad to appear on any subgroup analysis, but it may be something else that’s different about this study, such as its risk of bias, or its population, that causes it to find different results.

Análisis de sensibilidad
No es lo mismo que análisis de subgrupos not the same as subgroup analysis Prueban la repercusión de la toma de decisiones durante la revisión testing the impact of decisions made during the review Inclusión de estudios en la revisión inclusion of studies in the review Definición de bajo riesgo de sesgo definition of low risk of bias Selección de la medida de resultado choice of effect measure Suposiciones acerca de los datos faltantes assumptions about missing data Valores de corte para las escalas ordinales dicotomizadas cut-off points for dichotomised ordinal scales Coeficientes de correlación correlation coefficients Repetir el análisis y utilizar un método o una suposición alternativas repeat analysis using an alternative method or assumption No presentar múltiples diagramas de bosque don’t present multiple forest plots – just report the results Si la diferencia es mínima puede haber más confianza en las conclusiones if difference is minimal, can be more confident of conclusions Si la diferencia es grande interprete los resultados con cautela if difference is large, interpret results with caution A menudo el análisis de sensibilidad se confunde con el análisis de subgrupos pero no son lo mismo, aunque ambos son importantes para la revisión. Sensitivity analysis is often confused with subgroup analysis, but they’re not the same thing, although they are both important for your review. El proceso de redactar una revisión sistemática incluye una larga serie de decisiones, en algunos casos decisiones objetivas y en algunos casos decisiones más subjetivas o arbitrarias. Puede ser útil probar dichas decisiones para ver si los hallazgos de la revisión serían diferentes si hubiéramos tomado una decisión diferente. The process of writing a systematic review involves a long series of decisions – in some cases objective decisions, and in some cases more subjective or arbitrary decisions. It can be helpful to test those decisions to see whether the findings of the review would have been different had we made a different decision. Los ejemplos de decisiones que podría ser útil probar incluyen: Examples of decisions that might be useful to test include: Límites de sus criterios de elegibilidad (por ejemplo, límites de edad, dosis mínima o componentes de la intervención) limits of your eligibility criteria (e.g. age limits, minimum dose or components for the intervention) Dominios utilizados para definir estudios de “bajo riesgo” que se incluyeron en el análisis primario domains used to define ‘low risk’ studies that were included in your primary analysis Selección de la estadística para los datos dicotómicos (por ejemplo, RR, OR) choice of statistic for dichotomous data (e.g. RR, OR) Decisión de combinar diferentes escalas mediante la DME decision to combine different scales using SMD Suposiciones acerca de los valores faltantes (por ejemplo, estadísticas de retiros o pérdidas) assumptions made about missing values (e.g. withdrawals or missing statistics) Método de análisis para datos no habituales (valores de corte para los datos dicotómicos ordinales, coeficientes de correlación para los datos de ensayos grupales o cruzados) method of analysis for non-standard data – cut-off points to dichotomise ordinal data, correlation coefficients for cluster or crossover data Metanálisis de efectitos aleatorios versus fijos fixed vs random-effects meta-analysis Para hacer el análisis de sensibilidad se repite el metanálisis y se usa una opción alternativa para ver si los resultados cambian poco o mucho. Si los resultados permanecen igual, entonces podemos tener todavía más confianza en nuestras conclusiones, si cambian mucho según las opciones y suposiciones que hicimos, entonces debemos ser más cautelosos al interpretar los resultados; si hay algo que podamos hacer para apoyar adicionalmente nuestras suposiciones, como obtener datos faltantes de los autores de los estudios, debemos hacerlo, y quizás nuestra incertidumbre pueda identificar áreas donde las investigaciones futuras puedan cubrir las brechas. Sensitivity analysis is done by repeating the meta-analysis using the alternative option, to see if the results change a little or a lot. If the results stay the same, then we can be even more confident about our conclusions. If they change a lot depending on the choices and assumptions we have made, then we should be more cautious about interpreting our results - if there’s anything we can do to further support our assumptions, such as obtaining any missing data from the study authors, then we should do so, and perhaps our uncertainty might identify areas where future research might fill in the gaps. Los resultados de los análisis de sensibilidad se deben resumir e informar brevemente, por ejemplo, en el texto de la revisión o en una tabla. No presente múltiples versiones del metanálisis, no es necesario y confunde a los lectores. The results of sensitivity analyses should be briefly summarised and reported, e.g. in the text of the review or a table. Don’t present multiple versions of the meta-analysis – this is unnecessary and confusing for readers.

¿Qué incluir en el protocolo?
Evaluación de la heterogeneidad Assessment of heterogeneidad Evaluación de la comparabilidad de los estudios antes del metanálisis assessment of comparability of studies before meta-analysis Inspección visual y uso de estadísticas como I2 visual inspection and use of statistics such as I2 Síntesis de los datos Data synthesis Modelo de efectos fijos o de efectos aleatorios (o ambos) fixed-effect or random-effects model (or both) Análisis de subgrupos e investigación de la heterogeneidad Subgroup analyses and investigation of heterogeneidad Análisis de subgrupos planificados planned subgroup analyses Cualquier otra estrategia para investigar la heterogeneidad any other strategies for investigating heterogeneidad Detalle todo esto en su protocolo; todos estos métodos relacionados con la heterogeneidad se deben planificar y esbozar brevemente en el protocolo. En la sección Métodos de la revisión, bajo el encabezado colectivo “Datos y análisis” hay subencabezados que le recuerdan abordar todos estos aspectos: Bringing all this back to your protocol – all of these methods around heterogeneidad should be planned and outlined briefly in your protocol. In the Methods section of the review, under the collective heading ‘Data and analysis’, there are subheadings to remind you to address all these things: Cómo planifica evaluar la heterogeneidad, incluidas las decisiones iniciales acerca de determinar si los estudios son suficientemente similares para realizar un metanálisis desde una perspectiva clínica, y las evaluaciones de la heterogeneidad estadística como la evaluación visual de los diagramas de bosque y la estadística I2. how you plan to assess heterogeneidad, including your initial decisions about determining whether studies are similar enough to meta-analyse from a clinical perspective, and assessments of statistical heterogeneidad such as visual assessment of forest plots and the I2 statistic. El modelo estadístico que planifica utilizar en su metanálisis, incluida su decisión de utilizar el modelo de efectos fijos o aleatorios. the statistical model your plan to use in your meta-analysis, including your choice of fixed-effect or random-effects meta-analysis. Los subgrupos que planifica investigar, así como cualquier otro método relevante para la heterogeneidad que pueda haber planificado. the subgroups you plan to investigate, and any other methods relevant to heterogeneidad that you may have planned.

Mensaje clave: La heterogeneidad estadística es la presencia de diferencias entre los efectos calculados de la intervención, que son mayores que lo que es de esperar si se debieran solamente a las variaciones al azar (muestrales) statistical heterogeneidad is the presence of differences between estimated intervention effects greater than expected because of random (sampling) variation alone Puede estar causada por la diversidad clínica y metodológica it can be caused by clinical and methodological diversity Los modelos de efectos fijos y aleatorios hacen diferentes suposiciones acerca de la heterogeneidad fixed and random-effects models make different assumptions about heterogeneidad Explore cualquier heterogeneidad que encuentre explore any heterogeneidad you find

Referencias Agradecimientos
Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]. The Cochrane Collaboration, Available from Agradecimientos Compilado por Miranda Cumpston. Basado en materiales de Georgia Salanti, Julian Higgins, Steff Lewis, el Cochrane Statistical Methods Group, el Australasian Cochrane Centre y el Dutch Cochrane Centre. Aprobado por Cochrane Methods Board. Traducido por Marta Roqué.

Explorando la heterogeneidad

Presentaciones similares

Presentación del tema: "Explorando la heterogeneidad"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

Explorando la heterogeneidad

Presentaciones similares

Presentación del tema: "Explorando la heterogeneidad"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback