INTRODUCCION AL METODO GRADE DR. MARIO TRISTAN GRADE GROUP CENTRO COCHRANE CENTROAMERICANO

Valorar la evidencia y generar recomendaciones es complejo Los clínicos deben decidir cuales resultados considerar, y cómo evaluar la calidad de la evidencia. Los clínicos deben decidir cuales resultados considerar, y cómo evaluar la calidad de la evidencia. Decidir si los beneficios adicionales para la salud se justifican con los costos incrementales. Decidir si los beneficios adicionales para la salud se justifican con los costos incrementales. No es práctico para los médicos y pacientes individuales No es práctico para los médicos y pacientes individuales → Utilización de las guías de práctica clínica. Recomendaciones desarrolladas sistemáticamente por grupos de personas con acceso a la evidencia disponible, comprensión de la clínica, métodos de investigación, y tiempo suficiente para la reflexión. Recomendaciones desarrolladas sistemáticamente por grupos de personas con acceso a la evidencia disponible, comprensión de la clínica, métodos de investigación, y tiempo suficiente para la reflexión.

Valorar la evidencia y generar recomendaciones es complejo Los clínicos deben decidir cuales resultados considerar, y cómo evaluar la calidad de la evidencia. Los clínicos deben decidir cuales resultados considerar, y cómo evaluar la calidad de la evidencia. Decidir si los beneficios adicionales para la salud se justifican con los costos incrementales. Decidir si los beneficios adicionales para la salud se justifican con los costos incrementales. No es práctico para los médicos y pacientes individuales No es práctico para los médicos y pacientes individuales → Utilización de las guías de práctica clínica. Recomendaciones desarrolladas sistemáticamente por grupos de personas con acceso a la evidencia disponible, comprensión de la clínica, métodos de investigación, y tiempo suficiente para la reflexión. Recomendaciones desarrolladas sistemáticamente por grupos de personas con acceso a la evidencia disponible, comprensión de la clínica, métodos de investigación, y tiempo suficiente para la reflexión.

¿Porqué graduar la calidad de la evidencia? Una estrategia sistemática y explícita puede ayudar: Una estrategia sistemática y explícita puede ayudar: –a protegerse de errores –resolver desacuerdos –facilitar la lectura crítica –comunicar información Sin embargo hay una gran variación en la aplicación de estrategias Sin embargo hay una gran variación en la aplicación de estrategias

GRADE Clasificación de la evaluación, desarrollo y valoración de las recomendaciones Desde el año 2000 Desde el año 2000 Investigadores / desarrolladores de Guías con interés en metodología Investigadores / desarrolladores de Guías con interés en metodología Objetivo: desarrollar un sistema de clasificación de la calidad de la evidencia y fuerza de las recomendaciones con enfoque común, transparente y sensible Objetivo: desarrollar un sistema de clasificación de la calidad de la evidencia y fuerza de las recomendaciones con enfoque común, transparente y sensible Evaluación de los sistemas existentes Evaluación de los sistemas existentes Grading of Recommendations Assessment Development and Evaluation

ventaja de calificar de manera sistemática las evidencias y las recomendaciones Puede minimizar los sesgos. Puede minimizar los sesgos. Ayuda a interpretar las guías de práctica clínica elaboradas por personas expertas. Ayuda a interpretar las guías de práctica clínica elaboradas por personas expertas. La mayoría de grupos que elaboran guías han aceptado la necesidad de disponer de algún tipo de sistema de clasificación. La mayoría de grupos que elaboran guías han aceptado la necesidad de disponer de algún tipo de sistema de clasificación.

¿Qué significa "fuerza de recomendación"? Las recomendaciones para realizar, o no realizar una intervención, deberían estar basadas en el balance entre los beneficios por un lado y los riesgos, los inconvenientes y, potencialmente, los costes, en otro. Las recomendaciones para realizar, o no realizar una intervención, deberían estar basadas en el balance entre los beneficios por un lado y los riesgos, los inconvenientes y, potencialmente, los costes, en otro. Si los beneficios superan a los riesgos e inconvenientes, las personas expertas recomendarán que los clínicos ofrezcan el tratamiento a los pacientes. Si los beneficios superan a los riesgos e inconvenientes, las personas expertas recomendarán que los clínicos ofrezcan el tratamiento a los pacientes. La incertidumbre asociada con el balance entre los beneficios, riesgos e inconvenientes será la que determine la fuerza de las recomendaciones. La incertidumbre asociada con el balance entre los beneficios, riesgos e inconvenientes será la que determine la fuerza de las recomendaciones.

GRADE: El proceso 1. E stablecer el proceso 2. R evisión sistemática: Hacerla o analizar críticamente las que hay. Recopilar la evidencia para cada grupo. 3. G raduación de la evidencia 4. I mplementación

Puntos importantes Evaluación es por Outcome( resultado) Evaluación es por Outcome( resultado) –No toda la evidencia es igual para los distintos outcomes. –Por ej: Excelente evidencia que agonistas  de larga vida media disminuyen las exacerbaciones de asma. Excelente evidencia que agonistas  de larga vida media disminuyen las exacerbaciones de asma. Mala evidencia que disminuyen la mortalidad (incluso podrían aumentarla) Mala evidencia que disminuyen la mortalidad (incluso podrían aumentarla)

Importancia relativa de cada resultado Flatulencia 2 Importancia de resultados Críticos para la toma de decisión Importantes pero no críticos para la toma de decisión Baja importancia 5 Dolor de partes blandas 6 Fracturas 7 Infarto de miocardio 8 Mortalidad

Aunque el nivel de calidad es un continuum, se utilizan 4 categorías Alto Alto Moderado Moderado Bajo Bajo Muy bajo Muy bajo

Categorías de calidad Alto: Es muy improbable que futuras investigaciones cambien la estimación de efecto. A Alto: Es muy improbable que futuras investigaciones cambien la estimación de efecto. A Moderado: es probable que futuras investigaciones puedan cambiar la estimación de efecto. B Moderado: es probable que futuras investigaciones puedan cambiar la estimación de efecto. B Bajo: es muy probable que futuras investigaciones cambien la estimación de efecto. C Bajo: es muy probable que futuras investigaciones cambien la estimación de efecto. C Muy bajo: cualquier estimación de efecto es incierta. D Muy bajo: cualquier estimación de efecto es incierta. D

Factores que reducen la calidad de la evidencia  Limitaciones de diseño (riesgo de sesgo)  Inconsistencia de resultados  Aplicabilidad de la evidencia  Imprecisión de resultados  Sesgo de publicación

Diseño del estudio Los sistemas de graduación de calidad se limitaban casi exclusivamente al diseño del estudio. Los sistemas de graduación de calidad se limitaban casi exclusivamente al diseño del estudio. ECCA, en general, proveen mejor evidencia que los observacionales. ECCA, en general, proveen mejor evidencia que los observacionales. –Los ECCA parten alto –Los observacionales parten bajo Sin embargo, otros factores pueden incrementar o disminuir la calidad de la evidencia Sin embargo, otros factores pueden incrementar o disminuir la calidad de la evidencia

En el contexto de una revisión sistemática La calidad de la evidencia refleja el grado de confianza en que la estimación de efecto es correcta. La calidad de la evidencia refleja el grado de confianza en que la estimación de efecto es correcta. Una revisión sistemática de la evidencia disponible, debe guiar este juicio. Una revisión sistemática de la evidencia disponible, debe guiar este juicio. Considerar cuatro elementos claves en los estudios: Considerar cuatro elementos claves en los estudios:DiseñoCalidadConsistenciaAplicabilidad

Inconsistencia de resultados Explicaciones Explicaciones –pacientes, intervenciones, resultados, métodos Valoraciones Valoraciones –Variaciones del tamaño del efecto –Superposición de intervalos de confianza –Heterogeneidad estadísticamente significativa –I 2

Aplicabilidad (Directness) Se refiere a la extensión con que la población, las intervenciones y las medidas resultado son las que verdaderamente interesan. Se refiere a la extensión con que la población, las intervenciones y las medidas resultado son las que verdaderamente interesan. Si la evidencia procede de ensayos clínicos aleatorizados realizados en poblaciones similares, pero no idénticas a las de interés. Si la evidencia procede de ensayos clínicos aleatorizados realizados en poblaciones similares, pero no idénticas a las de interés. Se debería considerar como evidencia indirecta y se tendría que disminuir el nivel de evidencia según el grado de incertidumbre sobre la aplicabilidad en una población determinada. Se debería considerar como evidencia indirecta y se tendría que disminuir el nivel de evidencia según el grado de incertidumbre sobre la aplicabilidad en una población determinada.

Evidencia indirecta Pregunta de interés Comparación del efecto de alendronato y risedronato en osteoporosis Comparación del efecto de alendronato y risedronato en osteoporosis Oseltamivir para profilaxis de gripe aviar causada por virus influenza A(H5N1) Oseltamivir para profilaxis de gripe aviar causada por virus influenza A(H5N1) Screening sigmoidoscópico para la prevención de la mortalidad por cáncer de colon Screening sigmoidoscópico para la prevención de la mortalidad por cáncer de colon Fármaco de elección en esquizofrenia. Fármaco de elección en esquizofrenia. Rosiglitazona para la prevención de complicaciones en pacientes con alto riesgo de desarrollar diabetes. Rosiglitazona para la prevención de complicaciones en pacientes con alto riesgo de desarrollar diabetes. Motivo que hace a la evidencia indirecta: Comparación indirecta: Estudios randomizados han comparado alendronato con placebo y risedronato con placebo, pero no los comparan entre ellos. Comparación indirecta: Estudios randomizados han comparado alendronato con placebo y risedronato con placebo, pero no los comparan entre ellos. Diferencias en población: ECRs de oseltamivir se han realizado para influenza estacional, pero no para gripe aviar. Diferencias en población: ECRs de oseltamivir se han realizado para influenza estacional, pero no para gripe aviar. Diferencias en la Intervención: ECRs de screening con test de sangre oculta en deposiciones hacen pensar que la sigmoidoscopía podría servir. Diferencias en la Intervención: ECRs de screening con test de sangre oculta en deposiciones hacen pensar que la sigmoidoscopía podría servir. Diferencias en la comparación: Una serie de estudios compararon neurolépticos de nueva generación con dosis de 20 mg de haloperidol, lo cual es una dosis mucho mayor de la usada en la práctica Diferencias en la comparación: Una serie de estudios compararon neurolépticos de nueva generación con dosis de 20 mg de haloperidol, lo cual es una dosis mucho mayor de la usada en la práctica Diferencias en el Outcome: Un estudio randomizado muestra que el desarrollo de diabetes es menor con rosiglitazona, pero es muy pequeño para evaluar complicaciones de la diabetes. Diferencias en el Outcome: Un estudio randomizado muestra que el desarrollo de diabetes es menor con rosiglitazona, pero es muy pequeño para evaluar complicaciones de la diabetes. Oxman, GRADE Working group

ACV isquémico Imprecisión: los Umbrales son claves Favorece Intervención Favorece Control Diferencia de Riesgo in % Umbral NNT = 200 Los IC de un resultado son tan amplios que, sin tener en cuenta los otros resultados, la estimación es compatible con recomendaciones opuestas. Umbral NNT = 1000

Ischemic stroke Downgrading for imprecision: Thresholds are key Favors Intervention Favors Control Risk difference in % Threshold NNT = 100

Sesgo de publicación Reporte de resultados Reporte de resultados –Reporte selectivo de resultados Reporte de estudios Reporte de estudios –Sesgo de publicación Estudios pequeños Estudios pequeños Financiados por la industria Financiados por la industria

Factores que pueden incrementar la calidad de la evidencia  Gran magnitud de efecto  Relación dosis-respuesta  Ajuste o descarte de posibles confusores

Materiales de lectura Cochrane Handbook for Systematic Reviews of Interventions Cochrane Handbook for Systematic Reviews of Interventions –Chapter 11: Presenting results and Summary of findings tables –Chapter 12: Interpreting results and drawing conclusions GRADE Profiler – RevMan 5 GRADE Profiler – RevMan 5 GRADE JCE series – detailed guidelines GRADE JCE series – detailed guidelines Alternatives for presenting continuous outcomes Alternatives for presenting continuous outcomes Support, training, examples Support, training, examples Cochrane SoF explanations Cochrane SoF explanations GRADE BMJ series – general introduction GRADE BMJ series – general introduction

Conclusiones Hacer tablas SoF consume un tiempo importante y es difícil completarlas para la mayoría de las revisiones. Hacer tablas SoF consume un tiempo importante y es difícil completarlas para la mayoría de las revisiones. Su construcción requiere evaluaciones difíciles. Su construcción requiere evaluaciones difíciles. Es infrecuente encontrar evaluación de calidad por resultado. Es infrecuente encontrar evaluación de calidad por resultado. Los resultados continuos son difíciles o imposibles de interpretar. Los resultados continuos son difíciles o imposibles de interpretar. Es infrecuente encontrar información sobre efectos adversos Es infrecuente encontrar información sobre efectos adversos

Los Productos del GRADEpro(Grade Profiler software)

Los encabezados especifican la comparación y aplicabilidad de las tablas SoF ( SUMMARY OF FINDINGS

Hasta 7 resultados importantes para pacientes

El efecto relativo (Ej. risk ratio)

Ilustrativos riesgos absolutos comparativos en relación a un riesgo basal o del grupo control (“assumed risks”)

¿Cuánta evidencia hay?

La calidad de la evidencia

Comentarios

Notas al pie de página (Footnotes) Sobre la intervención Grupos de alto y bajo riesgo Valoración sobre la calidad Explicación de los resultados

Preparacion de tablas SoF Grupos de 3 Grupos de 3 Identificar la principal comparación Identificar la principal comparación Select hasta 5 resultados importantes Select hasta 5 resultados importantes Complete mediante GRADEpro la valoración de calidad y tablas SoF tantos resultados como sea posible de los 5 Complete mediante GRADEpro la valoración de calidad y tablas SoF tantos resultados como sea posible de los 5

Al trabajo!