Revisiones Sistemáticas Recomendaciones Capítulo final Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Prof. Dr. Hugo N. Catalano.

Presentación del tema: "Revisiones Sistemáticas Recomendaciones Capítulo final Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Prof. Dr. Hugo N. Catalano."— Transcripción de la presentación:

1 Revisiones Sistemáticas Recomendaciones Capítulo final Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Prof. Dr. Hugo N. Catalano Hospital Alemán - 2012

2 21 5 101 12 8 7 8 12 4 3 1 1 2 8 7 2 1 1 1 2 8 1 5 15 6 Not Mentioned Routine Experimental Rare/Never Specific M M M M M M Textbook/Review Recommendations Odds Ratio (Log Scale) 0.51.02.0 Favours TreatmentFavours Control RCTsPts 1 23 2 65 3 149 4 316 7 1793 10 2544 11 2651 15 3311 17 3929 22 5452 P<.01 23 5767 27 6125 30 6346 33 6571 43 21 059 54 22 051 67 47 531 65 47 185 70 48 154 P<.001 P<.00001 Cumulative Year 1960 1965 1970 1980 1985 1990 Thrombolytic Therapy

3 Situación Clínica Un experimentado médico de nuestro servicio sostenía, hace muchos años, que retirar la sal de la dieta a los pacientes, aún a los cardiópatas, era desaconsejable. Los más jóvenes lo miraban con escepticismo casi con desprecio. Decidimos que vamos a discutir con la mejor evidencia disponible

4 ¿Y si buscamos una Revisión?

5 Algunas definiciones básicas Revisión: resumen de un tema que incluye etiología, pronóstico y algunos tratamientos y puede responder a preguntas de conocimiento básico. No hay una sistemática al realizarlo y ofrece el punto de vista del autor

6 Algunas definiciones básicas Revisión sistemática: resumen que intenta responder a una pregunta específica con una metodología particular para reducir los sesgos. Puede ser de Tratamiento, Pronóstico, Diagnóstico. Análisis Cualitativo. Overview = systematic review

7 Algunas definiciones básicas Meta-análisis Métodos cuantitativos para resumir los resultados

8

9 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad

10 CalidadDefinición AltaMucha confianza en el Resultado encontrado ModeradaConfiamos, pero el Resultado puede ser diferente BajaLimitada confianza en el Resultado Muy BajaMuy poca confianza, el Resultado puede ser diferente ¿Qué queremos decir con Evidencia de Alta Calidad?

11 http://www.ims.cochrane.org/revman/gradepro ¿Qué queremos decir con Evidencia de Alta Calidad?

12 ¿Tiene esta Revisión Sistemática un Diseño Adecuado?

13 La quimioterapia ¿reduce la mortalidad en todos los tipos de cáncer? Los antibióticos ¿reducen la mortalidad en todas las infecciones? ¿qué le parece mal en estas preguntas? Primer criterio de validez

14 Hay algunas preguntas que son demasiado amplias y sus respuestas, demasiado ambiguas por lo que no nos podrán ayudar en nuestra práctica clínica. Algunos tipos de quimioterapia para determinados cánceres reducen la mortalidad mientras que en otros no. Todas las infecciones no pueden ser tratadas con antibióticos por lo que en algunas de ellas no podrá reducir la mortalidad. Estas dos preguntas son demasiado amplias para tener una sola respuesta

15 ¿Cómo sabemos si la pregunta es adecuada? Hay que preguntarse si en los diferentes tipos de pacientes, intervenciones, comparaciones y los desenlaces, las intervenciones tendrán el mismo resultado y esperar a ver los resultados para saber si fue adecuado agruparlos. Debe haber criterios específicos definidos acerca de cada componente de la pregunta. Pregunta adecuada

16 La pregunta adecuada es sinónimo de una buena hipótesis de trabajo. Una pregunta adecuada es el punto de partida de una RS que buscará luego evitar sesgos (desvíos sistemáticos y procurará exactitud en sus resultados). Pregunta adecuada

17 Desafortunadamente NUNCA la conoceremos. El verdadero efecto en una investigación tiene dos amenazas: error sistemático (sesgos) y error por azar. Hasta aquí intentamos controlar SESGOS: por lo tanto el error sistemático. ¿Qué hacemos con el ERROR por azar? Buscamos la VERDAD

18 ¿Qué hacemos con el ERROR por azar? Calcular la p Estimar el efecto (Magnitud) Máximo y mínimo (Precisión)

19 Magnitud del efecto: Reducción ó Aumento de Riesgo Absoluto (RRA, ARA) Riesgo Relativo (RR) Odds Ratio (OR) Hazard Ratio (HR) Reducción ó Aumento de Riesgo Relativo (RRR, ARR) Número Necesario para Tratar (NNT) Número Necesario para Dañar (NND) Precisión del efecto: Intervalos de Confianza Medidas que evalúan Resultados

20 La Revisión Sistemática Background An earlier Cochrane review of dietary advice identified insufficient evidence to assess effects of reduced salt intake on mortality or cardiovascular events. Objective To assess the long term effects of interventions aimed at reducing dietary salt on mortality and cardiovascular morbidity.

21 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación ¿Pregunta adecuada?

22 Evidencia Directa ó Indirecta La evidencia directa o indirecta indica hasta qué punto los sujetos, las intervenciones y las medidas de resultado de los estudios son similares a aquellos de nuestro interés. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello

23 Por ejemplo, puede haber incertidumbre sobre si la evidencia es directa cuando la población de interés es mayor, está más enferma o presenta más comorbilidad que la población de los estudios. Para determinar si la incertidumbre es importante, nos podemos preguntar sobre posibles motivos que justifiquen que encontremos diferencias importantes en la magnitud del efecto. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Evidencia Directa ó Indirecta

24 No es necesario aplicar criterios excesivamente estrictos para decidir si la evidencia es directa, ya que muchas intervenciones tienen efectos similares en la mayoría de los grupos de pacientes. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Evidencia Directa ó Indirecta

25 ¿Cómo lo calificamos? GRADE Alta Moderada Baja Muy Baja Alguna (–1) o máxima (–2) incertidumbre sobre si la evidencia es directa o indirecta Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello

26 Evidencia Directa ó Indirecta Types of studies Randomised controlled trials (RCTs; individual or cluster level) with follow up of at least six months. Types of participants Studies of adults (18 years or older), irrespective of gender or ethnicity. Studies of children or pregnant women were excluded. Types of intervention The desired intervention was reduced dietary salt and could include studies that involved participants receiving a dietary intervention that restricted salt or studies where the intervention was advice to reduce salt intake. The comparison group could include usual, control or placebo diet, or no intervention.

27 GRADE Alta Moderada Baja Muy Baja Evidencia Directa ó Indirecta ¿Cómo lo calificamos?

28 ¿Les parece que este artículo cumple el primer criterio de validez? ¿Pregunta adecuada?

29 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Evidencia de Alta Calidad

30 Existe una pregunta clínica explícita y sensata ¿Se realizó una búsqueda exhaustiva y detallada? ¿Eran los estudios primarios de alta calidad metodológica? ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

31 Segundo criterio de validez En un meta-análisis se intenta conocer la respuesta del Bacilo de Koch a los antibióticos. Para contestar esta pregunta se seleccionan artículos en Inglés. ¿le parece adecuada esta estrategia? ¿por qué?

32 Búsqueda exhaustiva y detallada Debe hacerse una búsqueda detallada para evitar el sesgo de publicación. Sesgo publicación: sólo se analizan artículos publicados. La mayoría de los artículos que se publican son aquellos con resultados positivos, o sea que cumplen la hipótesis planteada. La búsqueda debe ser lo más amplia posible: todas las bases de datos, manual, mirar las referencias, contactar autores en búsqueda de material no publicado, no limitarse por idioma.

33 Sesgo de Publicación

34 Funnel Plot

35 Analicemos el segundo criterio de validez ¿Dónde se realizó la búsqueda?

36 ¿Búsqueda exhaustiva y detallada? Search methods for identification of studies Electronic searches Randomised controlled trials were identified by searching the Cochrane Central Register of Controlled Trials (CENTRAL) in The Cochrane Library (Issue 4, 2008), MEDLINE (Ovid, 1950 to 29 October 2008), EMBASE (Ovid, 1980 to 30 October 2008), CINAHL (Ovid, 2001 to 3 November 2008), and PsycINFO (Ovid, 1806 to October 2008), Health Technology Assessment (HTA) and Abstracts of Reviews of Effects (DARE) databases were searched via The Cochrane Library (Issue 4, 2008). Searches conducted in MEDLINE, EMBASE, CINAHL, and PsycINFO included a controlled trials filter. Additional filters were applied to restrict searches to non- animal studies in MEDLINE and EMBASE and to exclude certain publication types from the search results [Medline: case reports/letters, EMBASE: letters/editorials, and PsycInfo: editorials/letters]. No language or additional limits or filters were utilized.. Searching other resources Reference lists of all eligible trials and relevant systematic reviews were searched for additional studies.

37 Sesgo de Publicación Las pruebas derivan de un pequeño número de estudios. La mayor parte de los cuáles han sido comercialmente sustentados. Revisiones con pocos estudios tiene un riesgo de discrepancia del 20 % respecto a grandes revisiones.

38 Sesgo de Publicación ¿Cómo lo calificamos? GRADE Alta Moderada Baja Muy Baja Alta probabilidad de sesgo de información (–1) Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Muy difícil de evaluar: no detectado ó fuertemente sospechado.

39 GRADE Alta Moderada Baja Muy Baja Sesgo de Publicación

40 ¿Les parece que este artículo cumple este segundo criterio de validez? ¿Búsqueda exhaustiva y detallada?

41 Existe una pregunta clínica explícita y sensata Se realizó una búsqueda exhaustiva y detallada ¿Eran los estudios primarios de alta calidad metodológica? ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

42 Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

43 Tercer criterio Estudios Primarios de Alta calidad metodológica ¿Cómo podemos saber que un estudio es de alta calidad metodológica? Hagamos un pequeño paréntesis y repasemos cuáles son las posibilidades de sesgos y de error por azar que puede haber en los distintos tipos de estudios y los criterios de validez de un estudio de terapéutica...

44 Randomización Enmascaramiento CIEGOS (Pacientes, médicos, recolector de datos, adjudicador, estadistas) Seguimiento completo Finalización del estudio. Análisis de eventos Intención de tratar No detener tempranamente por Beneficio Estudios Primarios de Alta calidad Metodológica Revisión Sistemática de Tratamiento

45 Duda diagnóstica en la población ( pacientes/muestras) del estudio. Aplicación de una Prueba de Oro adecuada en forma ciega e independiente. Aplicación de la Prueba de Oro en todos los pacientes/muestras sin importar los resultados de la prueba en estudio. Estudios Primarios de Alta calidad Metodológica Revisión Sistemática de Diagnóstico

46 Tercer criterio Estudios Primarios de Alta calidad metodológica Risk of bias in included studies A number of studies failed to give sufficient detail to assess their potential risk of bias. Details of generation and concealment of random allocation sequence were particularly poorly reported. However, in all cases there was objective evidence of balance in baseline characteristics of intervention and control participants. While studies reported loss to follow up and reasons for loss for follow, only a few undertook a sensitivity or imputation analysis to assess the impact of these losses, followed up participants for event outcomes and described reasons for loss to follow up for other outcomes.

47 ¿Les parece que este artículo cumple este Tercer criterio de validez? ¿Estudios Primarios de Alta calidad metodológica?

48 Riesgo de Sesgo – Diseño ¿Cómo lo calificamos? Ensayo aleatorizados: alta Estudio observacional: baja Cualquier otra evidencia: muy baja Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Limitación importante (–1) o muy importante (–2) en la calidad del estudio GRADE Alta Moderada Baja Muy Baja

49 GRADE Alta Moderada Baja Muy Baja Estudios Primarios de Alta calidad metodológica

50 Existe una pregunta clínica explícita y sensata Se realizó una búsqueda exhaustiva y detallada Los estudios primarios eran de alta calidad metodológica ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

51 Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

52 Cuarto criterio de validez Así como, a veces, no podemos con certeza decidir si estamos de acuerdo en la lectura de un estudio, si un paciente tuvo o no una convulsión, también podemos no estar de acuerdo si los estudios son válidos o no, si tenemos que incluirlos o no, etc.. Idealmente las revisiones sistemáticas deberían tener dos o más personas evaluando los estudios y debería obtenerse alguna medida objetiva de acuerdo

53 Consenso en la evaluación de los estudios. Métodos para determinar el acuerdo más allá del azar. Una de los usados es el Coeficiente Kappa: 0 no acuerdo 0 a 0,2 acuerdo mínimo 0,2 a 0,4 acuerdo medio 0,4 a 0,6 acuerdo moderado 0,6 a 0,8 acuerdo sustancial 0,8 a 1 acuerdo casi perfecto

54 Nuestro artículo Selection of studies The titles and abstracts of studies identified by the search were independently screened by two reviewers (KA & RST) and clearly irrelevant studies discarded. In order to be selected, abstracts had to clearly identify the study design, an appropriate population and a relevant intervention/exposure, as described above. The full text reports of all potentially relevant studies were obtained and assessed independently for eligibility, based on the defined inclusion criteria, by two reviewers (KA & RST). Any disagreement was resolved by discussion or where agreement could not be reached, by consultation with an independent third person (LH).

55 Nuestro artículo Data extraction and management Standardised data extraction forms were used. Relevant data regarding inclusion criteria (study design, participants, intervention/exposure, and outcomes), risk of bias (see below) and outcome data were extracted. Data extraction was carried out by a single reviewer (KA or RST) and checked by a second reviewer (RST or KA). Disagreements were resolved by discussion or if necessary by a third reviewer (LH). We extracted outcomes at the latest follow up point within the trial, and also at the latest follow up after the trial where this was available, as we reasoned this would maximise the number of events reported. All included authors were contacted to clarify any missing outcome data or issues of risk of bias assessment.

56 Nuestro artículo Assessment of risk of bias in included studies Factors considered included random sequence generation and allocation concealment, description of drop-outs and withdrawals, blinding (participants, personnel and outcome assessment) and selective outcome reporting. In addition evidence was sought that the groups were balanced at baseline, that intention to treat analysis was undertaken and whether the period over which the salt intervention lasted and follow up of outcome were equivalent. The risk of bias of included studies was assessed by a single reviewer (KA) and checked by a second reviewer (RST). Disagreements were resolved by discussion or if necessary by a third reviewer (LH).

57 ¿Les parece que este artículo cumple este Cuarto criterio de validez? Consenso en la evaluación de los estudios.

58 GRADE Alta Moderada Baja Muy Baja Consenso en la evaluación de los estudios.

59 ¿Existe una pregunta clínica explícita y sensata? ¿Se realizó una búsqueda exhaustiva y detallada? ¿Eran los estudios primarios de alta calidad metodológica? ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

60 Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

61 Resultados Los resultados de los estudios pueden ser distintos porque los estudios son diferentes entre sí. (HETEROGÉNEOS) ¿Qué hace a la diferencia entre estudios? Diferentes pacientes, diferente patología de base, diferencias en la intervención, cointervenciones farmacológicas, tipos de procedimientos.

62 ¿En cuál de las siguientes revisiones sistemáticas haría un meta-análisis? Resultados

63 ¿Cómo distinguir la heterogeneidad de un vistazo? Mirar los intervalos de confianza Mirar la estimación del efecto IC no se superponen Estimación del efecto a ambos lados de la línea de no efecto Resultados

64

65

66 Pruebas que estiman Heterogeneidad Análisis estadísticos que evalúan la diferencia entre las muestras. Cuando el valor de la P asociado al test es <0.05 la diferencia observada es real y no se debe al azar.

67 Es decir, una P< 0,05 nos dice que los trabajos son muy distintos entre sí. Hay que buscar la explicación de las diferencias por parte de los autores: pacientes, intervenciones, medición de desenlaces o metodología. Pruebas que estiman Heterogeneidad

68 ¿Se plantearon a priori Hipótesis De Heterogeneidad? Resultados

69 Subgroup analysis and investigation of heterogeneity It was planned to use stratified meta-analysis to explore the differential effects that occur as a result of: individual advice vs. population level interventions, baseline risk of cardiovascualr disease (CVD), and salt reduction only interventions vs. multi-component dietary interventions that include salt restriction; and meta-regression to assess the effects of level of salt reduction achieved, baseline blood pressure (BP) and change in BP on mortality and CV event outcomes.

70 Consistencia La consistencia se refiere a la similitud en las estimaciones del efecto entre los estudios. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación

71 10.81025 0.50.3 DIRECCIÓN DIFERENTE PERO CONSISTENTE

72 10.81025 0.50.3 INCONSISTENCIA DE DUDOSA IMPORTANCIA CLÍNICA

73 10.81025 0.50.3 INCONSISTENCIA OBVIA DE IMPORTANCIA CLÍNICA

74 Consistencia ¿Cómo lo calificamos? Inconsistencia importante (–1) GRADE Alta Moderada Baja Muy Baja Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello

75 Resultados

76

77 GRADE Alta Moderada Baja Muy Baja Consistencia

78 Precisión No se dispone de una base empírica para definir los datos como imprecisos o escasos Los datos son escasos si los resultados incluyen únicamente unos pocos eventos u observaciones. Los datos son imprecisos si los intervalos de confianza son suficientemente amplios como para poder estimar tanto los riesgos como los beneficios. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación

79 Precisión ¿Cómo lo calificamos? GRADE Alta Moderada Baja Muy Baja Información imprecisa o escasa (–1) Cumulating Evidence from Randomized Trials: Utilizing Sequential Monitoring Boundaries for Cumulative Meta-Analysis Janice M. Pogue,Salim Yusuf. Controlled Clin Trials 1997;18:580-593 Más de 400 eventos Más de 4000 pacientes Tamaño Información Óptima

80 Resultados

81

82 GRADE Alta Moderada Baja Muy Baja Precisión

83 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

84 CalidadDefinición AltaMucha confianza en el Resultado encontrado ModeradaConfiamos, pero el Resultado puede ser diferente BajaLimitada confianza en el Resultado Muy BajaMuy poca confianza, el Resultado puede ser diferente Conclusiones

85 CalidadDefinición AltaMucha confianza en el Resultado encontrado ModeradaConfiamos, pero el Resultado puede ser diferente BajaLimitada confianza en el Resultado Muy BajaMuy poca confianza, el Resultado puede ser diferente Conclusiones

86 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Prof. Dr. Hugo N. Catalano Hospital Alemán - 2011 ¿Qué Recomendamos?

87 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana EVALUACIONCOMENTARIO ANALISIS CRÍTICOCALIDAD ESTUDIOS RESULTADOS IMPORTANTESMortalidad – Riesgo CV EFECTOIMPRECISO CALIDAD DE EVIDENCIABAJA VALORES Y PREFERENCIASA DEFINIR RECURSOSPOSIBLES RECOMENDACIÓN???? ¿Cómo decidir?

88 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana MAGNITUD DEL EFECTO? IMPORTANCIA DEL EFECTO DEL TRATAMIENTO? CALIDAD METODOLOGICA DE LO LEIDO? MÍNIMO O MÁXIMO EFECTO? RIESGOS DEL TRATAMIENTO? MOLESTIAS PARA EL PACIENTE? COSTOS? RIESGOS INHERENTES A LA ENFERMEDAD? VALORES DE GRUPOS O INDIVIDUOS?

89 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Optativa para no disminuir la sal en pacientes que tienen dicha sugerencia ¿Recomendación?

90 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana ¿Se pueden tomar Decisiones Clínicas solamente por Intuición/Experiencia?

91 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Se puede Pero….. ¿se debe?

92 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana La buena medicina no consiste, en la aplicación indiscriminada de estudios a los pacientes, sino en la clara comprensión de su situación clínica, el diagnóstico probable y el conocimiento de qué estudios se espera ofrezcan información de valor para tomar decisiones terapéuticas. G.W. Peabody, The physician and the laboratory. Boston Med Surg J 1922; 187:324–327

93 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana ¿Cómo tomamos decisiones clínicas? Medicina basada en la Experiencia e Intuición Medicina basada en las Evidencias (Pruebas) hcatalano@fmed.uba.ar 2012