Revisiones Sistemáticas ¿Previa a una Investigación? ¿Un trabajo de Investigación? Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana.

Presentación del tema: "Revisiones Sistemáticas ¿Previa a una Investigación? ¿Un trabajo de Investigación? Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana."— Transcripción de la presentación:

1 Revisiones Sistemáticas ¿Previa a una Investigación? ¿Un trabajo de Investigación? Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana Análisis de la Bibliografía aplicada a la Metodología de la Investigación

2 21 5 101 12 8 7 8 12 4 3 1 1 2 8 7 2 1 1 1 2 8 1 5 15 6 Not Mentioned Routine Experimental Rare/Never Specific M M M M M M Textbook/Review Recommendations Odds Ratio (Log Scale) 0.51.02.0 Favours TreatmentFavours Control RCTsPts 1 23 2 65 3 149 4 316 7 1793 10 2544 11 2651 15 3311 17 3929 22 5452 P<.01 23 5767 27 6125 30 6346 33 6571 43 21 059 54 22 051 67 47 531 65 47 185 70 48 154 P<.001 P<.00001 Cumulative Year 1960 1965 1970 1980 1985 1990 Thrombolytic Therapy

3 Situación Clínica Discuten en su hospital si los probióticos tendrán efectividad en la prevención de la diarrea, luego de medicación antibiótica, por Clostridium difficile… Decidimos que vamos a discutir con la mejor evidencia disponible

4 Nos planteamos la pregunta, emprendemos la búsqueda sobre probióticos y Clostridium difficile ….

5 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana ¿Una Pregunta de? ¡ P: I: C: O: T: probióticos ??? Prevención diarrea por Clostridium

6 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana TIPOTIEMPOINVESTIGACIÓNUTILIDAD CORTE TRANSVERSAL MOMENTOOBSERVACIONALPREVALENCIA COHORTESLONGITUDINAL PROSPECTIVO OBSERVACIONALPRONOSTICO HISTORIA ETIOLOGÍA CASO CONTROLLONGITUDINAL RETROSPECTIVO OBSERVACIONALETIOLOGÍA EXPERIMENTO CONTROLADO LONGITUDINAL PROSPECTIVO EXPERIMENTALEVALUAR TRATAMIENTOS LABORATORIO ¿Qué diseño buscamos?

7 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana ¿Una Pregunta de? ¡ P: I: C: O: T: probióticos ??? Prevención diarrea por Clostridium

8 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana ¿Una Pregunta de? ¡ P: I: C: O: T: probióticos Episodios diarrea tratamiento placebo Prevención diarrea por Clostridium aleatorizado

9 ¿Y si buscamos una Revisión?

10 Algunas definiciones básicas Revisión: resumen de un tema que incluye etiología, pronóstico y algunos tratamientos y puede responder a preguntas de conocimiento básico. No hay una sistemática al realizarlo y ofrece el punto de vista del autor

11 Algunas definiciones básicas Revisión sistemática: resumen que intenta responder a una pregunta específica con una metodología particular para reducir los sesgos. Puede ser de Tratamiento, Pronóstico, Diagnóstico. Análisis Cualitativo. Overview = systematic review

12 Algunas definiciones básicas Meta-análisis Métodos cuantitativos para resumir los resultados

13 Servicio Clínica Médica Centro Adherente a la Red Cochrane Ibero Americana ¿Una Pregunta de? ¡ P: I: C: O: T: probióticos Episodios diarrea tratamiento placebo Prevención diarrea por Clostridium aleatorizado

14

15 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad

16 CalidadDefinición AltaMucha confianza en el Resultado encontrado ModeradaConfiamos, pero el Resultado puede ser diferente BajaLimitada confianza en el Resultado Muy BajaMuy poca confianza, el Resultado puede ser diferente ¿Qué queremos decir con Evidencia de Alta Calidad?

17 http://www.ims.cochrane.org/revman/gradepro ¿Qué queremos decir con Evidencia de Alta Calidad?

18

19 ¿Tiene esta Revisión Sistemática un Diseño Adecuado?

20 La quimioterapia ¿reduce la mortalidad en todos los tipos de cáncer? Los antibióticos ¿reducen la mortalidad en todas las infecciones? ¿qué le parece mal en estas preguntas? Primer criterio de validez

21 Hay algunas preguntas que son demasiado amplias y sus respuestas, demasiado ambiguas por lo que no nos podrán ayudar en nuestra práctica clínica. Algunos tipos de quimioterapia para determinados cánceres reducen la mortalidad mientras que en otros no. “Todas las infecciones” no pueden ser tratadas con antibióticos por lo que en algunas de ellas no podrá reducir la mortalidad. Estas dos preguntas son demasiado amplias para tener una sola respuesta

22 ¿Cómo sabemos si la pregunta es adecuada? Hay que preguntarse si en los diferentes tipos de pacientes, intervenciones, comparaciones y los desenlaces, las intervenciones tendrán el mismo resultado y esperar a ver los resultados para saber si fue adecuado agruparlos. Debe haber criterios específicos definidos acerca de cada componente de la pregunta. Pregunta adecuada

23 La pregunta adecuada es sinónimo de una buena hipótesis de trabajo. Una pregunta adecuada es el punto de partida de una RS que buscará luego evitar sesgos (desvíos sistemáticos y procurará exactitud en sus resultados). Pregunta adecuada

24 ¿Qué pueden provocar los SESGOS ? Pueden llevar a que SÍ se encuentren diferencias en dónde NO las hay. Pueden llevar a que NO se encuentren diferencias en dónde SÍ las hay. En nuestro artículo ¿Cuáles son las Variables a comparar? Curación Clínica, Bacteriológica, Efectos Adversos.

25 VERDAD Existe diferencia No existe diferencia RESULTADO DE LA INVESTIGACIÓN Existe diferencia Significativa No hay error Hay error (Error tipo I Error α) No existe diferencia Significativa Hay Error (Error tipo II Error β) No hay error Curación Clínica, Bacteriológica, Efectos Adversos.

26 VERDAD Existe diferencia No existe diferencia RESULTADO DE LA INVESTIGACIÓN Existe diferencia Significativa No hay error Error α aceptado 5 % (p < 0.05) No existe diferencia Significativa Hay Error (Error tipo II Error β) No hay error Curación Clínica, Bacteriológica, Efectos Adversos.

27 Buscamos la VERDAD. Desafortunadamente NUNCA la conoceremos. El verdadero efecto en una investigación tiene dos amenazas: error sistemático (sesgos) y error por azar. Hasta aquí intentamos controlar SESGOS: por lo tanto el error sistemático. ¿Qué hacemos con el ERROR por azar? Curación Clínica, Bacteriológica, Efectos Adversos.

28 ¿Qué hacemos con el ERROR por azar? Calcular la p Estimar el efecto (Magnitud) Máximo y mínimo (Precisión) Curación Clínica, Bacteriológica, Efectos Adversos.

29 Magnitud del efecto: Riesgo de un Evento Reducción ó Aumento de Riesgo Absoluto (RRA, ARA) Riesgo Relativo (RR) Odds Ratio (OR) Hazard Ratio (HR) Reducción ó Aumento de Riesgo Relativo (RRR, ARR) Número Necesario para Tratar (NNT) Número Necesario para Dañar (NND) Precisión del efecto: Intervalos de Confianza Medidas que evalúan Resultados Curación Clínica, Bacteriológica, Efectos Adversos.

30 La Revisión Sistemática

31 ¿Pregunta adecuada? P: I: C: O: T: probióticos Episodios diarrea tratamiento placebo Prevención diarrea por Clostridium aleatorizado

32 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad

33 Evidencia Directa ó Indirecta La evidencia directa o indirecta indica hasta qué punto los sujetos, las intervenciones y las medidas de resultado de los estudios son similares a aquellos de nuestro interés. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello

34 Por ejemplo, puede haber incertidumbre sobre si la evidencia es directa cuando la población de interés es mayor, está más enferma o presenta más comorbilidad que la población de los estudios. Para determinar si la incertidumbre es importante, nos podemos preguntar sobre posibles motivos que justifiquen que encontremos diferencias importantes en la magnitud del efecto. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Evidencia Directa ó Indirecta

35 No es necesario aplicar criterios excesivamente estrictos para decidir si la evidencia es directa, ya que muchas intervenciones tienen efectos similares en la mayoría de los grupos de pacientes. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Evidencia Directa ó Indirecta

36 ¿Cómo lo calificamos? GRADE Alta ⊕⊕⊕⊕ Moderada ⊕⊕⊕  Baja ⊕⊕   Muy Baja ⊕    Alguna (–1) o máxima (–2) incertidumbre sobre si la evidencia es directa o indirecta Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello

37 Evidencia Directa ó Indirecta

38 ¿Les parece que este artículo cumple el primer criterio de validez? ¿Pregunta adecuada?

39 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad

40 Existe una pregunta clínica explícita y sensata ¿Se realizó una búsqueda exhaustiva y detallada? ¿Eran los estudios primarios de alta calidad metodológica? ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

41 Segundo criterio de validez En un meta-análisis se intenta conocer la respuesta del Bacilo de Koch a los antibióticos. Para contestar esta pregunta se seleccionan artículos en Inglés. ¿le parece adecuada esta estrategia? ¿por qué?

42 Búsqueda exhaustiva y detallada Debe hacerse una búsqueda detallada para evitar el sesgo de publicación. Sesgo publicación: sólo se analizan artículos publicados. La mayoría de los artículos que se publican son aquellos con resultados positivos, o sea que cumplen la hipótesis planteada. La búsqueda debe ser lo más amplia posible: todas las bases de datos, manual, mirar las referencias, contactar autores en búsqueda de material no publicado, no limitarse por idioma.

43 Sesgo de Publicación

44 Funnel Plot

45 Analicemos el segundo criterio de validez ¿Dónde se realizó la búsqueda?

46 ¿Búsqueda exhaustiva y detallada?

47

48 Funnel Plot

49 Sesgo de Publicación Las pruebas derivan de un pequeño número de estudios. La mayor parte de los cuáles han sido comercialmente sustentados. Revisiones con pocos estudios tiene un riesgo de discrepancia del 20 % respecto a grandes revisiones. Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación

50 ¿Cómo lo calificamos? GRADE Alta ⊕⊕⊕⊕ Moderada ⊕⊕⊕  Baja ⊕⊕   Muy Baja ⊕    Alta probabilidad de sesgo de información (–1) Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Muy difícil de evaluar: “no detectado” ó “fuertemente sospechado”.

51 ¿Les parece que este artículo cumple este segundo criterio de validez? ¿Búsqueda exhaustiva y detallada?

52 Existe una pregunta clínica explícita y sensata Se realizó una búsqueda exhaustiva y detallada ¿Eran los estudios primarios de alta calidad metodológica? ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

53 Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

54 Tercer criterio Estudios Primarios de Alta calidad metodológica ¿Cómo podemos saber que un estudio es de alta calidad metodológica? Hagamos un pequeño paréntesis y repasemos cuáles son las posibilidades de sesgos y de error por azar que puede haber en los distintos tipos de estudios y los criterios de validez de un estudio de terapéutica...

55 Error Aleatorio y Sesgos

56 Randomización Enmascaramiento CIEGOS (Pacientes, médicos, recolector de datos, adjudicador, estadistas) Seguimiento completo Finalización del estudio. Análisis de eventos Intención de tratar No detener tempranamente por Beneficio Estudios Primarios de Alta calidad Metodológica Revisión Sistemática de Tratamiento

57 Muestra representativa. Pacientes homogéneos en cuanto a factores pronósticos (o ajuste de los mismos). Seguimiento completo (todos los pacientes y por tiempo suficiente). Desenlace o evento objetivo no sesgado. Estudios Primarios de Alta calidad Metodológica Revisión Sistemática de Pronóstico

58 Duda diagnóstica en la población ( pacientes/muestras) del estudio. Aplicación de una Prueba de Oro adecuada en forma ciega e independiente. Aplicación de la Prueba de Oro en todos los pacientes/muestras sin importar los resultados de la prueba en estudio. Estudios Primarios de Alta calidad Metodológica Revisión Sistemática de Diagnóstico

59

60 Tercer criterio Estudios Primarios de Alta calidad metodológica

61 ¿Les parece que este artículo cumple este Tercer criterio de validez? ¿Estudios Primarios de Alta calidad metodológica?

62 Existe una pregunta clínica explícita y sensata Se realizó una búsqueda exhaustiva y detallada Los estudios primarios eran de alta calidad metodológica ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

63 Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

64 Cuarto criterio de validez Así como, a veces, no podemos con certeza decidir si estamos de acuerdo en la lectura de un estudio, si un paciente tuvo o no una convulsión, también podemos no estar de acuerdo si los estudios son válidos o no, si tenemos que incluirlos o no, etc.. Idealmente las revisiones sistemáticas deberían tener dos o más personas evaluando los estudios y debería obtenerse alguna medida objetiva de acuerdo

65 Consenso en la evaluación de los estudios. Métodos para determinar el acuerdo más allá del azar. Una de los usados es el Coeficiente Kappa: 0 no acuerdo 0 a 0,2 acuerdo mínimo 0,2 a 0,4 acuerdo medio 0,4 a 0,6 acuerdo moderado 0,6 a 0,8 acuerdo sustancial 0,8 a 1 acuerdo casi perfecto

66 Nuestro artículo

67 ¿Les parece que este artículo cumple este Cuarto criterio de validez? Consenso en la evaluación de los estudios.

68 Existe una pregunta clínica explícita y sensata Se realizó una búsqueda exhaustiva y detallada Los estudios primarios eran de alta calidad metodológica Existió consenso en la evaluación de los estudios Riesgo de Sesgo - Diseño

69 ¿Existe una pregunta clínica explícita y sensata? ¿Se realizó una búsqueda exhaustiva y detallada? ¿Eran los estudios primarios de alta calidad metodológica? ¿Existió consenso en la evaluación de los estudios? Riesgo de Sesgo - Diseño

70 Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

71 Resultados Los resultados de los estudios pueden ser distintos porque los estudios son diferentes entre sí. (HETEROGÉNEOS) ¿Qué hace a la diferencia entre estudios? Diferentes pacientes, diferente patología de base, diferencias en la intervención, cointervenciones farmacológicas, tipos de procedimientos.

72 ¿En cuál de las siguientes revisiones sistemáticas haría un meta-análisis? Resultados

73 ¿Cómo distinguir la heterogeneidad de un vistazo?  Mirar los intervalos de confianza  Mirar la estimación del efecto  IC no se superponen  Estimación del efecto a ambos lados de la línea de no efecto Resultados

74

75

76 Pruebas que estiman Heterogeneidad Análisis estadísticos que evalúan la diferencia entre las muestras. Cuando el valor de la P asociado al test es <0.05 la diferencia observada es real y no se debe al

77 Es decir, una P< 0,05 nos dice que los trabajos son muy distintos entre sí. Hay que buscar la explicación de las diferencias por parte de los autores: pacientes, intervenciones, medición de desenlaces o metodología. Pruebas que estiman Heterogeneidad

78 ¿Se plantearon a priori Hipótesis De Heterogeneidad? Resultados

79

80

81

82 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

83 Riesgo de Sesgo – Diseño ¿Cómo lo calificamos? Ensayo aleatorizados: alta Estudio observacional: baja Cualquier otra evidencia: muy baja Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Limitación importante (–1) o muy importante (–2) en la calidad del estudio GRADE Alta ⊕⊕⊕⊕ Moderada ⊕⊕⊕  Baja ⊕⊕   Muy Baja ⊕   

84 Consistencia La consistencia se refiere a la similitud en las estimaciones del efecto entre los estudios. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación

85 10.81025 0.50.3 DIRECCIÓN DIFERENTE PERO CONSISTENTE

86 10.81025 0.50.3 INCONSISTENCIA DE DUDOSA IMPORTANCIA CLÍNICA

87 10.81025 0.50.3 INCONSISTENCIA OBVIA DE IMPORTANCIA CLÍNICA

88 Consistencia ¿Cómo lo calificamos? Inconsistencia importante (–1) GRADE Alta ⊕⊕⊕⊕ Moderada ⊕⊕⊕  Baja ⊕⊕   Muy Baja ⊕    Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello

89

90 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

91 Precisión No se dispone de una base empírica para definir los datos como imprecisos o escasos Los datos son escasos si los resultados incluyen únicamente unos pocos eventos u observaciones. Los datos son imprecisos si los intervalos de confianza son suficientemente amplios como para poder estimar tanto los riesgos como los beneficios. Clasificación de la calidad de la evidencia y fuerza de las recomendaciones GRADE Working Group M. Marzo-Castillejo y P. Alonso-Coello Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación

92 Precisión ¿Cómo lo calificamos? GRADE Alta ⊕⊕⊕⊕ Moderada ⊕⊕⊕  Baja ⊕⊕   Muy Baja ⊕    Información imprecisa o escasa (–1) Cumulating Evidence from Randomized Trials: Utilizing Sequential Monitoring Boundaries for Cumulative Meta-Analysis Janice M. Pogue,Salim Yusuf. Controlled Clin Trials 1997;18:580-593 Más de 400 eventos Más de 4000 pacientes “Tamaño Información Óptima”

93

94 Riesgo de Sesgo - Diseño Consistencia Precisión Evidencia Directa ó Indirecta Sesgo de Publicación Calidad de las pruebas que soportan los resultados

95 ¿Qué recomendación surgirá de nuestra investigación? Calidad de la evidencia Efectos adversos y costos Preferencias del paciente RECOMENDACIÓN: -DÉBIL o FUERTE - A FAVOR o EN CONTRA

96 RECOMENDACIÓN FUERTE A FAVOR Pacientes LA MAYORIA DE LOS PACIENTES BIEN INFORMADOS ELEGIRIAN LO QUE SE LES PROPONE Y SÓLO UNA PEQUEÑA PROPORCIÓN NO LO HARÍA Médicos LA MAYORÍA DE LOS PACIENTES DEBERÍAN RECIBIR ESTA INTERVENCIÓN

97 Pacientes LA MAYORIA DE LOS PACIENTES BIEN INFORMADOS ELEGIRIAN LO QUE SE LES PROPONE Y SÓLO UNA PEQUEÑA PROPORCIÓN NO LO HARÍA Médicos LA MAYORÍA DE LOS PACIENTES DEBERÍAN RECIBIR ESTA INTERVENCIÓN RECOMENDACIÓN FUERTE EN CONTRA

98 RECOMENDACIÓN DÉBIL A FAVOR Pacientes LA MAYORIA DE LOS PACIENTES BIEN INFORMADOS ELEGIRIAN LO QUE SE LES PROPONE, PERO MUCHOS DE LOS PACIENTES NO LO HARÍAN Médicos OFRECER LA INTERVENCIÓN Y AYUDAR A LOS PACIENTES A TOMAR LA DECISIÓN. DISCUTIR CON EL PACIENTES LOS FACTORES QUE INFLUYEN EN LA DECISIÓN

99 Pacientes LA MAYORIA DE LOS PACIENTES BIEN INFORMADOS ELEGIRIAN LO QUE SE LES PROPONE, PERO MUCHOS DE LOS PACIENTES NO LO HARÍAN Médicos OFRECER LA INTERVENCIÓN Y AYUDAR A LOS PACIENTES A TOMAR LA DECISIÓN. DISCUTIR CON EL PACIENTES LOS FACTORES QUE INFLUYEN EN LA DECISIÓN RECOMENDACIÓN DÉBIL EN CONTRA

100 ¿Qué recomendación surgirá de nuestra investigación? Calidad de la evidencia Efectos adversos y costos Preferencias del paciente RECOMENDACIÓN: -DÉBIL o FUERTE - A FAVOR o EN CONTRA

101 CalidadDefinición AltaMucha confianza en el Resultado encontrado ModeradaConfiamos, pero el Resultado puede ser diferente BajaLimitada confianza en el Resultado Muy BajaMuy poca confianza, el Resultado puede ser diferente Conclusiones

102 CalidadDefinición AltaMucha confianza en el Resultado encontrado ModeradaConfiamos, pero el Resultado puede ser diferente BajaLimitada confianza en el Resultado Muy BajaMuy poca confianza, el Resultado puede ser diferente Conclusiones

103

104 ¿Qué recomendación surgirá de nuestra investigación? Calidad de la evidencia Efectos adversos y costos Preferencias del paciente RECOMENDACIÓN: -DÉBIL o FUERTE - A FAVOR o EN CONTRA