John N. Lavis, MD, PhD Associate Professor and Canada Research Chair in Knowledge Transfer and Exchange McMaster University Programa sobre la Toma de Decisiones.

Presentación del tema: "John N. Lavis, MD, PhD Associate Professor and Canada Research Chair in Knowledge Transfer and Exchange McMaster University Programa sobre la Toma de Decisiones."— Transcripción de la presentación:

1 John N. Lavis, MD, PhD Associate Professor and Canada Research Chair in Knowledge Transfer and Exchange McMaster University Programa sobre la Toma de Decisiones en Políticas Universidad McMaster 27 Octubre de 2009 Taller para la elaboración de policy briefs: 6. Buscando y evaluando evidencia (revisiones sistemáticas) sobre las opciones de políticas que se estén considerando

2 2 Objetivos de esta sesión Comprender las principales características de las revisiones sistemáticas y sus ventajas en comparación con los estudios aislados para la determinación de las opciones en materia de políticas y programas Conocer donde buscar revisiones sistemáticas acerca de opciones de políticas Familiarizarse con dos listados de preguntas para evaluar la confiabilidad (calidad) y aplicabilidad local de las revisiones sistemáticas Revisar y discutir la evaluación de calidad y aplicabilidad local de una revisión sistemática

3 Resumiendo. Caracterización de las opciones Tipo de evidencia necesaria Beneficios de cada opción (o cada elemento en una opción) (Revisiones de) estudios de efectividad Daños de cada opción (Revisiones de) efectividad o estudios observacionales Costo-efectividad de cada opción (Revisiones de) análisis de costo-efectividad (pero idealmente CEAs locales) Cómo y por qué la opción da resultado (Revisiones de) evaluaciones de proceso (estudios cualitativos) Puntos de vista y experiencia grupos de interés (Revisiones de) estudios cualitativos

4 Revisión Sistemática (RS) …una revisión que ha sido preparada usando una aproximación sistemática documentada en la sección de métodos, para evitar los sesgos y minimizar los errores puede o no incluir un meta-análisis (Egger M et al. Systematic Reviews in health care. London: BMJ Books, 2001)

5 Meta-análisis. Definición …el análisis estadístico de los resultados de estudios independientes, que generalmente intenta producir un estimador único del efecto del tratamiento (Egger M et al. Systematic Reviews in health care. London: BMJ Books, 2001)

6 Revisión Sistemática. Etapas Determinar la pregunta focalizada Identificar, seleccionar y analizar críticamente los estudios relevantes Recolectar y resumir (cualitativa y/o cuantitativamente) la información relevante Sacar conclusiones

7 Revisión Sistemática. Etapas Formulación de la pregunta Definición criterios de inclusión y exclusión Localización (búsqueda) de los estudios Selección de los estudios (aplicación criterios inclusión & exclusión) Evaluación calidad (riesgo de sesgo) de los estudios Extraección de los datos Análisis y presentación de los resultados (Meta- análisis) Interpretación de los resultados

8 8 Revisiones sistemáticas Las revisiones sistemáticas ofrecen dos ventajas en comparación con los estudios aislados para caracterizar la eficacia de una opción en política: Reduce la probabilidad de que los formuladores de políticas sean inducidos a error por la investigación (al ser más sistemáticos y transparentes en la búsqueda, selección, evaluación y síntesis de estudios) Mejora la confianza entre los formuladores de políticas acerca de lo que se puede esperar de una intervención (al aumentar el número de unidades para el estudio) Note que una revisión sistemática que incluye una síntesis estadística de los resultados como paso final se denomina meta- análisis.

9 9 Revisiones sistemáticas (2) Las revisiones sistemáticas ofrecen dos ventajas en comparación con los estudios aislados para definir los problemas o caracterizar las opciones en políticas: Permiten que los formuladores de políticas se concentren en la determinación de la aplicabilidad local de las revisiones sistemáticas (en vez de tener también que buscar y sintetizar la evidencia de investigación disponible por su cuenta) y en la recopilación y síntesis de otros tipos de datos probatorios, como evidencias probatorias locales acerca de la factibilidad técnica, el encuadramiento en los valores predominantes y la actitud actual de la provincia o el país y la aceptabilidad en cuanto a la viabilidad presupuestaria y el apoyo o la oposición que probablemente encuentre. Permiten que los interesados directos, entre ellos grupos que defienden el interés público y grupos de la sociedad civil, cuestionen constructivamente las evidencias de investigación porque se los presenta de una manera más sistemática y transparente.

10 10 Revisiones sistemáticas (3) También se pueden hacer revisiones sistemáticas de: Estudios de bases de datos administrativos y encuestas de la comunidad que ayuden a colocar los problemas en una perspectiva comparativa Estudios observacionales que ayuden a caracterizar los daños o riesgos probables de las opciones en políticas Estudios cualitativos que ayuden a comprender el significado atribuido a un problema por personas o grupos, cómo y por qué determinadas políticas dan resultado, y los puntos de vista y las experiencias de los interesados directos con determinadas opciones en políticas

11 11 Revisiones sistemáticas (4) Las revisiones sistemáticas de estudios cualitativos (o las revisión sistemáticas de estudios cualitativos y cuantitativos en la misma revisión) pueden recibir muchos nombres: Resumen narrativo / Análisis temático Teoría fundamentada / Meta-etnografía Meta-estudio / Síntesis realista Técnicas de casos cruzados / Análisis del contenido Sondeo de casos / Análisis comparativo cualitativo Metanálisis bayesiano

12 12 Revisiones sistemáticas (5) Algo de jerga: Revisiones sistemáticas Overviews de revisiones sistemáticas -Mapeo y síntesis de todas las revisiones en un dominio específico (recursos humanos en salud, atención primaria), típicamente organizados utilizando un marco teórico dominio-específico Policy briefs -Síntesis de revisiones que informan las distintas etapas del proceso de formulación políticas: definición del problema, caracterización de las opciones y plan de implementación

13 13 Revisiones sistemáticas (6) Varias limitaciones han obstaculizado un mayor uso de las revisiones sistemáticas en la gestión y en la formulación de políticas de salud Concepciones erróneas acerca de ellas (por ejemplo, sólo para ensayos clínicos randomizados, sólo en relación a los efectos, sólo para aquellos que trabajan con paradigmas biomédicos, sólo si se puede hacer una síntesis estadística) Dificultad para encontrarlos: se necesita un lugar centralizado donde se puedan hacer búsquedas (one-stop shopping) Dificultad para comprenderlos: se necesitan resúmenes de revisiones sistemáticas que sean fáciles de usar

14 ¿dónde buscar? 14

15 15 Buscando revisiones sistemáticas Revisiones acerca de programas, servicios o drogas Biblioteca Cochrane -Revisiones de efectos – tanto aquellas producidas por la Colaboración Cochrane como por otros -Protocolos de revisiones de efectos – producidos por la Colaboración Cochrane -Evaluaciones económicas – producidas por otros Revisiones acerca de estrategias de implementación dirigidas a pacientes (consumidores) y trabajadores de la salud Rx for change – Resumenes de revisiones de efectos Biblioteca Cochrane – ver arriba

16 16 Buscando revisiones sistemáticas (2) Revisiones acerca de mecanismos del sistema de salud (gobernanza, financieros, provisión) PPD/CCNC database -Contenidos -Revisiones (>900) abordando todo tipo de preguntas, pero no protocolos ni evaluaciones económicas -Overviews de revisiones -Policy briefs -Links -Resúmenes amigables -Resumen científico -Texto completo (si está disponible públicamente)

17 17

18 18

19 19

20 20

21 Buscando revisiones sistemáticas - Recap Revisiones acerca de programas, servicios o drogas Biblioteca Cochrane (preguntas de efectividad y costo- efectividad) Revisiones acerca de mecanismos del sistema de salud (gobernanza, financieros, provisión) Base de datos PPD/CCNC (todo tipo de preguntas) Revisiones acerca de estrategias de implementación dirigidas a pacientes (consumidores) y trabajadores de la salud Rx for change (preguntas de efectividad) Biblioteca Cochrane (preguntas de E y CE) (Pronto, la base de datos PPD/CCNC)

22 Evaluando críticamente las revisiones sistemáticas Como con cualquier tipo de investigación, las revisiones sistemáticas deben ser evaluadas críticamente respecto a su: Confiabilidad (calidad) Aplicabilidad

23 23 1.¿Se ha proporcionado un diseño a priori? Sí/No/No sabe/No corresponde 2.¿Se han seleccionado estudios y extraído datos por duplicado? Sí/No/No sabe/No corresponde 3.¿Se ha hecho una búsqueda exhaustiva en la bibliografía? Sí/No/No sabe/No corresponde 4.¿NO se ha usado como criterio de inclusión el status de la publicación? Sí/No/No sabe/No corresponde 5.¿Se ha proporcionado una lista de estudios (incluidos y excluidos)? Sí/No/No sabe/No corresponde 6.¿Se han proporcionado las características de los estudios incluidos? Sí/No/No sabe/No corresponde Criterios para evaluar la calidad de las revisiones sistemáticas (1)

24 24 Criterios para evaluar la calidad de las revisiones sistemáticas (2) 7.¿Se ha evaluado la calidad científica de los estudios incluidos? Sí/No/No sabe/No corresponde 8.¿Se ha usado debidamente la calidad científica de los estudios incluidos en la formulación de conclusiones? Sí/No/No sabe/No corresponde 9.¿Se han usado métodos apropiados para combinar los resultados de los estudios? Sí/No/No sabe/No corresponde 10. ¿Se ha evaluado la probabilidad de que haya sesgo de publicación? Sí/No/No sabe/No corresponde 11. ¿Se ha establecido un conflicto de intereses? Sí/No/No sabe/No corresponde

25 25 Aplicación de los criterios de calidad a la revisión sistemática de Shepperd 1.¿Se ha proporcionado un diseño a priori? Sí: pág. 30 en relación con el protocolo, pág. 3 en relación con la actualización 2.¿Se han seleccionado estudios y extraído datos por duplicado? Sí: pág. 4 en relación a la duplicación en la selección de estudios (pero no resúmenes) y pág. 1 en relación a la duplicación de la extracción de datos (pero no en consenso) 3.¿Se ha hecho una búsqueda exhaustiva en la bibliografía? Sí: págs. 1, 3 y 4 en relación con 10 bases de datos (años), pág. 4 en relación con expertos y referencias (pero no sobre la estrategia de búsqueda) 4.¿NO se ha usado como criterio de inclusión el status de la publicación? No se sabe

26 26 5.¿Se ha proporcionado una lista de estudios (incluidos y excluidos)? Si: pag. 14 y 15 para los incluidos y págs. 15 para los excluidos 6.¿Se han proporcionado las características de los estudios incluidos? Sí: págs. 17 a 28 7.¿Se ha evaluado la calidad científica de los estudios incluidos? Sí: pág. 5 8.¿Se ha usado debidamente la calidad científica de los estudios incluidos en la formulación de las conclusiones? Sí: págs. 12, pero no vinculada claramente a criterios de calidad. 9.¿Se han usado métodos apropiados para combinar los resultados de los estudios? Sí: págs. 4 y 12 (pero no pruebas estadísticas) Aplicación de los criterios de calidad a la revisión sistemática de Shepperd (2)

27 27 10. ¿Se ha evaluado la probabilidad de que haya sesgo de publicación? No 11. ¿Se ha establecido un conflicto de intereses? Sí: pág. 14 Aplicación de los criterios de calidad a la revisión sistemática de Shepperd (3)

28 28 1.¿los estudios incluidos en la revisión sistemática fueron realizados en el mismo ámbito o fueron los hallazgos consistentes en diferentes ámbitos o períodos de tiempo? 2.¿existen diferencias importantes en las realidades y limitaciones prácticas que puedan alterar sustancialmente la factibilidad y aceptabilidad de la opción que se está considerando? 3.¿existen diferencias importantes en los mecanismos del sistema de salud que pueda hacer que una opción no funciones de la misma manera? 4.¿existen diferencias importantes en las condiciones basales que puedan producir efectos absolutos diferentes aún si la efectividad relativa es la misma? 5.¿qué reflexiones pueden obtenerse acerca de la expansión, implementación y monitoreo/evaluación de la opción que se está considerando? Preguntas para evaluar la aplicabilidad local de una revisión

29 29 ¿los estudios incluidos en la revisión sistemática fueron realizados en el mismo ámbito o fueron los hallazgos consistentes en diferentes ámbitos o períodos de tiempo? Por ejemplo, es posible que se hayan hecho investigaciones sobre las ventajas de recibir tratamiento en hospitales sin fines de lucro (en comparación con hospitales con fines de lucro) durante varios decenios en un solo país y que el sistema de atención de salud haya cambiado extraordinariamente durante ese período, mientras que muchos formuladores de políticas quizá trabajen en países donde el sistema de atención de salud haya sido muy similar al de ese país inicialmente pero ahora sea muy diferente. P1: Mismo ámbito o resultados consistentes

30 30 ¿existen diferencias importantes en las realidades y limitaciones prácticas que puedan alterar sustancialmente la factibilidad y aceptabilidad de la opción que se está considerando? Por ejemplo, tal vez se hayan hecho investigaciones sobre la eficacia de un método basado en la labor de un equipo de atención médica materna para reducir la morbilidad materno-infantil en países con parteras tanto profesionales como tradicionales, mientras que muchos formuladores de políticas quizá trabajen en países donde no hay ninguno de estos dos tipos de proveedores de servicios de salud. P2: Diferentes realidades y limitaciones prácticas

31 31 P3: Diferentes mecanismos del sistema de salud ¿existen diferencias importantes en los mecanismos del sistema de salud que pueda hacer que una opción no funciones de la misma manera? Por ejemplo, tal vez se hayan hecho investigaciones sobre la eficacia de mecanismos de adquisición en grandes cantidades para reducir los precios de los medicamentos de venta con receta en países donde no hay una concentración de la propiedad de las farmacias, mientras que muchos formuladores de políticas quizá trabajen en países con un monopolio de la propiedad de las farmacias.

32 32 ¿existen diferencias importantes en las condiciones basales que puedan producir efectos absolutos diferentes aún si la efectividad relativa es la misma? Por ejemplo, tal vez se hayan hecho investigaciones sobre la eficacia de una estrategia para promover las pruebas de detección del VIH en las embarazadas en países donde dicha prueba se ofrecía a menos del 10% de las embarazadas, mientras que muchos formuladores de políticas quizá trabajen en países donde se les ofrece la prueba al 85% o más de las embarazadas. P4: Diferentes condiciones basales

33 33 ¿qué reflexiones pueden obtenerse acerca de la expansión, implementación y monitoreo/evaluación de la opción que se está considerando? P5: Otras reflexiones

34 34 Example -P1: Mismo ámbito o resultados consistentes ¿los estudios incluidos en la revisión sistemática fueron realizados en el mismo ámbito o fueron los hallazgos consistentes en diferentes ámbitos o períodos de tiempo? La revisión incluyó 22 estudios: nueve del Reino Unido, tres de Australia, uno de Italia, Noruega y Estados Unidos, respectivamente. Siete no se describen de una manera que permita identificar el país donde se realizó el estudio. Dos de 1978, pero el resto después de 1992 (muchos no especifican un período de tiempo)

35 35 ¿existen diferencias importantes en las realidades y limitaciones prácticas que puedan alterar sustancialmente la factibilidad y aceptabilidad de la opción que se está considerando? Gran demanda de enfermeras y no aprovechadas al máximo Las enfermeras podrían enfrentarse con una disminución de su remuneración si pasan de los hospitales a la comunidad. Los asistentes de salud podrían enfrentarse con una carga laboral mayor que no es proporcionada por los servicios sociales (fuera de Quebec). Diferencias entre los pacientes con respecto a una cobertura complementaria que permita una atención domiciliaria más intensiva Distancia del hospital Example – P2: Diferentes realidades y limitaciones prácticas

36 36 ¿existen diferencias importantes en los mecanismos del sistema de salud que pueda hacer que una opción no funciones de la misma manera? Separación entre la salud y los servicios sociales (fuera de Quebec) Compromiso con la cobertura completa sin franquicia para la atención hospitalaria y proporcionada por médicos solamente Falta de adhesión a una práctica de atención primaria (multidisciplinaria) Example – P3: Diferentes mecanismos del sistema de salud

37 37 ¿existen diferencias importantes en las condiciones basales que puedan producir efectos absolutos diferentes aún si la efectividad relativa es la misma? Ya se ha afianzado la asistencia domiciliaria para la mayoría de los tipos de atención Example – P4: Diferentes condiciones basales

38 38 ¿qué reflexiones pueden obtenerse acerca de la expansión, implementación y monitoreo/evaluación de la opción que se está considerando? Considerar la atención domiciliaria para evitar admisiones Example – P5: Otras reflexiones