Evaluación del riesgo de sesgo de los estudios incluidos

Presentación del tema: "Evaluación del riesgo de sesgo de los estudios incluidos"— Transcripción de la presentación:

1 Evaluación del riesgo de sesgo de los estudios incluidos
Bienvenido a esta presentación sobre la evaluación del riesgo de sesgo de los estudios incluidos en su revisión sistemática Cochrane

2 Pasos de una revisión sistemática Cochrane
Formular la pregunta Planificar los criterios de elegibilidad Planificar la metodología Buscar los estudios Aplicar los criterios de elegibilidad Obtener los datos Evaluar el riesgo de sesgo de los estudios Analizar y presentar los resultados Interpretar los resultados y obtener conclusiones Mejorar y actualizar la revisión Una vez que ha identificado los estudios a incluir en su revisión, el paso siguiente es evaluar la fiabilidad de sus resultados, mediante una evaluación del riesgo de sesgo de cada uno de ellos.

3 Índice Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Esta presentación proporcionará una visión general del tema. En el Capítulo 8 del Manual Cochrane de Revisiones Sistemáticas de Intervención encontrarán una guía más detallada sobre cómo evaluar el riesgo de sesgo y sobre cada uno de los temas específicos discutidos. Animamos a los investigadores a leer el Capítulo 8 antes de continuar. Ver el Capítulo 8 del Cochrane Handbook

4 ¿Qué es el sesgo? Error sistemático o desviación de la verdad Las revisiones sistemáticas dependen de los estudios incluidos Estudios incorrectos = revisiones con resultados engañosos ¿Nos podemos creer los resultados? Evaluar el riesgo de sesgo de cada estudio No podemos medir la presencia de sesgo Los sesgos pueden sobreestimar o subestimar el efecto Debemos buscar métodos que minimizan el riesgo de sesgo Hay dos elementos que afectan la validez de los hallazgos de su revisión sistemática. Uno es la validez externa, o la aplicabilidad de sus resultados a situaciones externas. El segundo es la validez interna, o cuán correcta es su estimación del efecto que intenta medir. La validez interna depende del sesgo (un error sistemático o desviación de la verdad, que causa que sus resultados no sean correctos). Si su revisión está afectada por el sesgo, sus resultados pueden ser engañosos y no ser apropiada para decirnos la “verdad” acerca de la diferencia real entre su intervención y su control o comparación. Intentamos minimizar el sesgo durante todo el proceso de revisión, por ejemplo, al intentar establecer criterios de inclusión objetivos, de manera que los estudios potencialmente elegibles no se excluyan injustamente, y al realizar una búsqueda rigurosa para minimizar el riesgo de perder algún estudio elegible. Aunque minimizen el sesgo introducido por nuestros propios métodos, las revisiones sistemáticas dependen de los hallazgos de los estudios individuales incluidos. Si los estudios incluidos están afectados por el sesgo, entonces los resultados de la revisión estarán sesgados (basura dentro, basura fuera). Por lo tanto, antes de establecer conclusiones acerca de los resultados, evaluamos cada estudio incluido con respecto al sesgo. No podemos medir la presencia del sesgo, ajustar por él, ni incluso saber en qué dirección afectará nuestros resultados. Todo lo que podemos hacer es evaluar el riesgo de sesgo (principalmente mediante la búsqueda de aspectos metodológicos en los ensayos que sabemos que minimizan los riesgos importantes). Sabemos qué métodos son los más importantes a partir de la investigación metodológica (la llamada “metaepidemiología”) que examina grandes números de ensayos y metanálisis, e identifica qué factores parecen producir sistemáticamente resultados diferentes.

5 Sesgo no es lo mismo que Calidad Imprecisión Informe
Error aleatorio debido a variaciones en el muestreo Se refleja en el intervalo de confianza Estudios desarrollados correctamente también pueden estar sesgados No todas las debilidades metodológicas introducen sesgos Calidad Imprecisión Informe Puede que los métodos utilizados sean apropiados, pero que éstos no estén descritos adecuadamente Sesgo no es lo mismo que imprecisión Imprecisión se refiere a un error al azar. Cada vez que tomamos una muestra y medimos resultados obtendremos variaciones naturales de los valores “reales” en la población total. Cuanto más pequeña es la muestra, mayor variabilidad se obtendrá. La imprecisión se refleja en el intervalo de confianza de los resultados que presentamos. Sesgo no es lo mismo que calidad en la realización de un estudio Calidad es “¿Lo hicieron lo mejor posible?” Sesgo es “¿Puedo confiar en los resultados?” A menudo estos términos se utilizan indistintamente, pero estamos más interesados en la credibilidad del resultado que en criticar los esfuerzos hechos por los autores del estudio. Incluso un estudio bien realizado puede tener riesgo de sesgo, por ejemplo, los estudios donde no fue posible el cegamiento (por ejemplo, comparando natación versus carrera como formas de ejercicio, donde es difícil cegar a los participantes, o ensayos quirúrgicos donde no es posible cegar al cirujano). En estos casos no podemos criticar a los autores, pero debemos reconocer la posibilidad de que los resultados del estudio pueden verse afectados. De manera similar, no todas las deficiencias metodológicas son relevantes para el sesgo. Por ejemplo, la imposibilidad de realizar un cálculo del tamaño de la muestra o de obtener la aprobación ética son marcadores importantes de la calidad del estudio, pero es poco probable que tengan una repercusión directa sobre el riesgo de sesgo. Sesgo no es lo mismo que calidad del informe Pocas veces los estudios describen exhaustivamente los métodos utilizados y a menudo pueden haber usado métodos rigurosos incluso si no se describen en el artículo publicado. La descripción detallada de los métodos ha mejorado con iniciativas como la declaración CONSORT. Es importante no discriminar los estudios más antiguos que se publicaron antes de estas iniciativas y dejar claro en qué casos las valoraciones se basan en métodos informados, y en qué casos no se dispone de información suficiente o ésta es poco clara.

6 Escalas de calidad y listas de verificación (checklists)
Hay muchas escalas disponibles No hay evidencia empírica que avale su uso Diferentes escalas llegan a diferentes conclusiones Pueden incluir criterios no relacionados con el sesgo La ponderación numérica no está justificada Puntuaciones difíciles de interpretar por los lectores Hay muchas escalas y listas de verificación publicadas que tienen como objetivo resumir y simplificar la evaluación del sesgo y la calidad de los ensayos clínicos. PREGUNTA:¿Alguno ha utilizado antes una de estas listas de verificación o escalas? Se han realizado varios estudios que analizan este tipo de instrumentos, examinando sus valoraciones de un gran número de estudios. Lamentablemente no existe evidencia suficiente que apoye su uso. Cada escala incorpora diferentes componentes, incluso algunos como el tamaño de la muestra, que no es importante para el sesgo. Algunos de estos instrumentos calculan puntuaciones numéricas de calidad, pero debido a que no existen pruebas empíricas que nos puedan decir de manera precisa en qué medida ha afectado cada factor a los resultados de los estudios individuales, no hay forma de decidir de forma exacta cuánta ponderación numérica debe tener cada elemento. Por lo tanto, escalas diferentes alcanzarán diferentes conclusiones acerca del mismo estudio. Otra dificultad de convertir las puntuaciones de calidad en números es que los mismos son difíciles de interpretar para los lectores. Darle a un estudio una puntuación de “7”, por ejemplo, no explica cuáles fueron los problemas específicos, o cómo este estudio difiere del siguiente estudio que también tuvo una puntuación de “7”. No se recomienda que se utilicen estas escalas en las revisiones Cochrane. Las revisiones Cochrane no deben utilizar escalas de calidad

7 Herramienta de la Colaboración Cochrane para evaluar el “riesgo de sesgo”
Valora 7 dominios apoyados por evidencia científica Valoración de los revisores:  Bajo riesgo de sesgo  Alto riesgo de sesgo ? Riesgo de sesgo poco claro Apoyo para la valoración Pruebas/citas del artículo o de otras fuentes Explicación del autor de la revisión En lugar de utilizar puntuaciones o listas de verificación, las revisiones Cochrane evalúan el riesgo de sesgo de los estudios incluidos mediante un enfoque basado en dominios. El revisor deberá evaluar cada estudio respecto a las fuentes principales de sesgo que afectan los resultados de los estudios, y apoyar sus afirmaciones en la información más detallada posible (citando literalmente lo que los autores dijeron), extraída directamente de la publicación. Esta información se presentará en lo que llamamos tabla de “Riesgo de sesgo” para cada estudio, junto con su valoración de si los estudios abordaron cada dominio de manera apropiada. Si lo hicieron se considerará como bajo riesgo de sesgo. Si no, se considerará como alto riesgo de sesgo. Si no hay suficiente información disponible para alcanzar una valoración, entonces puede responder “poco claro”. Estas valoraciones requieren una decisión subjetiva hecha por los revisores. Como mencionamos, no hay una lista de verificación simple y empíricamente válida que podamos utilizar para tomar una decisión objetiva. Ésta es la razón por la que es muy importante ser transparente con respecto a los fundamentos de su decisión y presentar tantos detalles como sea posible, incluidas citas del texto del artículo. De esa manera los lectores pueden ver claramente cómo llegó a esas conclusiones, y pueden decidir estar en desacuerdo con usted.

8 Dominios a evaluar Generación de la secuencia aleatoria
Ocultamiento de la asignación Cegamiento de los participantes y del personal Cegamiento de los evaluadores del resultado Datos de resultado incompletos Notificación selectiva de los resultados Otras fuentes de sesgo La investigación empírica y la teoría indican que es probable que estos componentes tengan una repercusión importante sobre los resultados de los estudios y den lugar a estimaciones inexactas (a menudo exageradas) del efecto de una intervención. Aunque muchos de estos dominios podrían resultarle familiares es importante recalcar que debe consultar el Capítulo 18 del Manual antes de completar sus evaluaciones del Riesgo de sesgo. En el Manual puede encontrar información detallada sobre las evaluaciones apropiadas, junto con ejemplos y la evidencia que relaciona cada dominio con su repercusión en los resultados de los estudios. Examinaremos en detalle cada uno de estos dominios, y veremos cómo aparecen en los ensayos. Es importante señalar que éstos son los dominios clave relacionados con los ECA. Si su revisión incorpora diseños de estudios no aleatorizados necesitará tener en cuenta factores adicionales relacionados particularmente con el sesgo de selección. Su GRC puede asesorarle sobre cómo modificar su evaluación del riesgo de sesgo para los ensayos no aleatorizados. Es IMPRESCINDIBLE consultar el Manual Cochrane antes de realizar la evaluación del riesgo de sesgo

9 ¿Qué ocurre con los estudios no-aleatorizados?
El riesgo de sesgo también debe evaluarse cuidadosamente El revisor puede querer añadir dominios a evaluar El revisor puede utilizar otro instrumento que sea apropiado El Grupo de Revisión puede tener una opción recomendada Este instrumento estándar de evaluación del riesgo de sesgo se debe utilizar para todos los ECA incluidos en las revisiones Cochrane. Si va a incluir ensayos no aleatorizados en su revisión debe reflexionar sobre el mismo y obtener asesoramiento sobre la mejor manera de evaluar el riesgo de sesgo en estas revisiones. Algunos aspectos pueden ser los mismos, como los datos incompletos o la falta de cegamiento, y algunos de los problemas pueden ser diferentes (en breve discutiremos algunos de ellos). Usted puede decidir incorporar dominios adicionales a su evaluación del riesgo de sesgo, para abordar aspectos especiales de los estudios no aleatorizados, o puede decidir usar un instrumento de evaluación diferente. Asegúrese de consultar el Manual; el Capítulo 13 examina específicamente los métodos relacionados con los estudios no aleatorizados, y obtenga asesoría de su Grupo de Revisión o de alguien con experiencia en estos métodos acerca de la mejor manera de abordarlos, y de cuáles podrían ser los dominios o los instrumentos adicionales más apropiados a utilizar. Ver Sección 13.5 del Manual Cochrane

10 Índice Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Es importante señalar en toda esta presentación que esta es una visión general (en el Manual está disponible una guía más detallada sobre cómo evaluar el riesgo de sesgo y sobre cada uno de los temas específicos discutidos). Se estimula a los revisores a leer el Capítulo 8 completo antes de continuar. Ver el Capítulo 8 del Cochrane Handbook

11 Fuentes de sesgo Generación aleatoria de la secuencia Población diana
Selección Ocultación de la secuencia Asignación Realización e Grupo Intervención Grupo Control Detección Desgaste Ésta es una estructura estándar para un ensayo aleatorizado básico. Pueden surgir diferentes tipos de sesgo durante la realización del ensayo y la diseminación de los resultados. Los dominios clave que buscamos cuando evaluamos el riesgo de sesgo se presentan en diferentes etapas del ensayo y exploramos aspectos metodológicos particulares que minimizan el riesgo de sesgo en cada etapa. [CLICK] La primera etapa de un ensayo es el reclutamiento de los participantes y su asignación a los grupos intervención y control, o los grupos que presente el ensayo. Si esta etapa no se gestiona bien, podemos terminar con diferencias sistemáticas entre las características iniciales de los grupos que se comparan, en lo que se le llama “Sesgo de selección”, que puede afectar los resultados del ensayo. Hay dos dominios aquí que es necesario considerar por separado: la generación de la secuencia y la ocultación de la asignación. Evaluación del resultado Evaluación del resultado Notificación Publicación de los resultados

12 Generación de la secuencia aleatoria
Se realiza al inicio del estudio, antes de la asignación de los participantes a los grupos de estudio Evita el sesgo de selección Determina un orden de asignación aleatorio de los participantes al grupo intervención y control Evita diferencias sistemáticas entre los grupos Tiene en cuenta los factores de confusión conocidos y desconocidos El primer dominio es la generación de la secuencia utilizada para asignar los pacientes a los grupos - idealmente, una secuencia aleatoria. Al utilizar una secuencia aleatoria para asignar a los participantes se evitan diferencias sistemáticas entre los grupos de intervención y se equilibran los posibles factores de confusión que podrían influir en los resultados. Es importante señalar que la aleatorización equilibra los factores de confusión que conocemos y los que no sospechamos. PREGUNTA: ¿Pueden indicar buenos mecanismos para generar una secuencia aleatoria? ¿Y alguna forma inadecuada?

13 Generación de la secuencia aleatoria
Bajo riesgo – no predecible Tabla de números aleatorios Generación de números aleatorios por ordenador Aleatorización estratificada o en bloque Minimización Recursos más rudimentarios - lanzamiento de una moneda, barajar cartas o sobres, lanzar dados, sorteo de tarjetas Alto riesgo – predecible Método cuasi-aleatorio – fecha de nacimiento, día de visita, identificador o número de registro, alternancia Método no-aleatorio – elección por parte del clínico o del paciente, resultados de pruebas, disponibilidad Para considerarla adecuada y otorgarle una calificación de “Bajo riesgo de sesgo” la secuencia debe ser verdaderamente aleatoria e impredecible. Las secuencias aleatorias simples se pueden generar por computadora o mediante métodos más antiguos como lanzar una moneda o utilizar tablas publicadas de números aleatorios. También son correctos los métodos más complejos como la aleatorización estratificada o en bloques o la minimización. La mayoría de los estudios incluidos en una revisión Cochrane serán ECA y por lo tanto cumplirán estos criterios, pero no siempre es el caso. Las secuencias no aleatorias se clasifican en dos categorías principales. Algunos métodos se conocen como “cuasialeatorios”, como la asignación por alternancia o la asignación basada en detalles aparentemente irrelevantes como la fecha de nacimiento de los participantes, el día que visitan la clínica o el número de identificación. A menudo estos métodos se pueden considerar similares a una asignación aleatoria y en ocasiones se les llama aleatorios en los artículos publicados. Estos estudios se podrían incluir en las revisiones Cochrane como “ensayos clínicos controlados”. Sin embargo, aún existe la posibilidad de que un factor no aleatorio pudiera influir en la asignación. Por ejemplo, los pacientes que acuden a la clínica los miércoles por la mañana durante horas laborables podrían ser diferentes de los que acuden los sábados por la mañana. Los números de identificación pueden estar relacionados con la edad o el sexo de los participantes. Estos métodos no se consideran verdaderamente aleatorios. Estos estudios se deben calificar como de “Alto riesgo”. Además, hay métodos claramente no aleatorios como la asignación basada en la decisión del paciente o del médico, o basada en si ese día hay un dispositivo de imagen disponible. Estos estudios se deberían calificar como de “Alto riesgo”, y, de hecho, no se deberían incluir a menos que se vayan a incluir estudios no aleatorizados. [Nota a los formadores: La minimización se puede implementar sin un elemento verdaderamente aleatorio, pero se considera equivalente a la aleatorización. Definición: “Un método de asignación utilizado para proporcionar grupos de comparación que sean muy similares para diversas variables. El siguiente participante se evalúa con respecto a numerosas características y se asigna al grupo de tratamiento que hasta el momento tenía menos personas asignadas. Lo anterior se puede hacer con un componente de aleatorización donde la probabilidad de asignación al grupo con menos participante similares es menor que uno. La minimización se realizar mejor centralmente con la ayuda de un programa de computación para asegurar el ocultamiento de la asignación.” (Glosario Cochrane v ]. Ver Sección 8.9 del Cochrane Handbook

14 Ocultamiento de la secuencia
Ocurre al inicio del estudio, durante la asignación de los participantes Evita el sesgo de selección Cuando una persona es reclutada para el estudio nadie puede predecir a qué grupo será asignada Asegura una implementación estricta de la secuencia de aleatorización Previene cambios de orden Previene seleccionar los participantes a los que reclutar A menudo la ocultación de la asignación aleatoria se confunde con el cegamiento, pero no son lo mismo. La ocultación de la asignación ocurre al inicio del ensayo, antes de que los participantes se hayan asignado a sus grupos o hayan recibido alguna intervención, cuando son reclutados. La ocultación de la asignación casi siempre es posible, incluso en estudios donde el cegamiento no lo es. Si la asignación es oculta, cuando un participante es reclutado en el estudio, ni el participante ni el personal del estudio pueden predecir a qué grupo será asignado. Lo anterior protege la secuencia aleatoria y asegura que se aplique exactamente como se generó y sin interferencia. De esta forma, el personal del estudio no puede cambiar el orden de la asignación para que participantes específicos terminen en un grupo seleccionado, ni pueden decidir no reclutar a pacientes específicos en base a la asignación que les correspondería. PREGUNTA: ¿Pueden indicar maneras adecuadas de ocultar la asignación? ¿Y algún método inadecuado?

15 Ocultamiento de la secuencia
Bajo riesgo – no predecible Asignación centralizada (teléfono, página web, servicio de farmacia ) Sobres opacos, sellados y numerados de manera secuencial Envases de fármaco idénticos y numerados de manera secuencial Alto riesgo- predecible Secuencia conocida previamente por parte del personal Sobres o envases sin una protección apropiada Secuencia no aleatoria, predecible Un adecuado ocultamiento de la asignación es algo que asegura que la naturaleza impredecible de la secuencia aleatoria se ha protegido y no se puede conocer hasta el momento de la asignación. Buenos ejemplos incluyen la aleatorización centralizada (por ejemplo, por computadora o en oficinas separadas no involucradas en el reclutamiento) donde la secuencia de asignación solo se conoce después que el participante está registrado, o el uso de paquetes codificados (por ejemplo, contenedores de fármacos idénticos preparados por una farmacia independiente, o sobres oscuros cerrados) que se abren o distribuyen en un orden numerado. La ocultación de la asignación es inadecuada si la secuencia se conoce de alguna manera por adelantado, o si es posible predecirla. Éste es un problema adicional que puede estar causado por una aleatorización inadecuada; las secuencias cuasialeatorias, e incluso algunos puntos en una secuencia aleatorizada en bloques, pueden ser predichos por el personal de estudio, lo que puede debilitar la ocultación de la asignación. Ver Sección 8.10 del Cochrane Handbook

16 Fuentes de sesgo Población diana Asignación Grupo Intervención
Grupo Control Evaluación del resultado del resutlado Publicación de los resultados Selección Realización Detección Desgaste Notificación Cegamiento de participantes, personal Una vez que se completa la asignación y comienza la fase de intervención del estudio, nos preocupan otras fuentes de sesgo. El sesgo de realización aparece de las diferencias sistemáticas en la manera en la que los grupos son tratados o la manera en la que perciben el ensayo. Esta fuente de sesgo se puede minimizar mediante el cegamiento (si nadie conoce quién recibió la intervención, los participantes no pueden ser tratados de manera diferente).

17 Cegamiento de los participantes y del personal
Evita el sesgo de realización Trato diferente a los grupos del estudio Diferentes expectativas de los participantes Puede conducir a cambios en los propios resultados Evaluar de forma cuidadosa Evitar términos como “simple ciego” y “doble ciego” ¿Es probable que el cegamiento se rompiera? Considerar el impacto, incluso aunque el cegamiento no sea factible para una determinada intervención Para evaluar el cegamiento queremos confiar en que durante todo el estudio se evitó que se conociera qué intervención se asignó a cada participante. Es importante evitar el sesgo de realización durante la fase de intervención. Si el participante conoce que está recibiendo el fármaco experimental nuevo, sus expectativas podrían influir en cómo responde al fármaco. Si el profesional sanitario está al tanto de en qué grupo está el paciente, puede cambiar la manera en la que interactúa con el paciente, como prestarle más atención o proporcionarle más tratamientos complementarios o investigaciones diagnósticas, lo que a su vez puede influir en los resultados. PREGUNTA: ¿Pueden pensar en algún ejemplo donde la falta de cegamiento de los participantes y el personal pueda provocar cambios en los resultados? PREGUNTA: ¿Qué significa doble ciego? Debe considerar el cegamiento de todos los grupos de personas involucrados en el estudio. Lo anterior puede incluir mucho más que dos grupos de personas: los participantes, sus familiares y los cuidadores, múltiples profesionales sanitarios dentro del estudio (médicos, enfermeras, otros profesionales), los profesionales sanitarios habituales de los participantes, el personal administrativo, etc. Describa en detalle quién estaba y quién no estaba cegado, y haga una valoración general acerca de si el cegamiento se implementó de forma adecuada durante el ensayo (minimización del sesgo de realización). Un problema con el cegamiento de cualquiera de estos grupos podría ser suficientemente importante para afectar los resultados del estudio, particularmente porque un grupo no cegado puede comprometer el cegamiento de los otros simplemente al hablar entre ellos. No olvide considerar si el cegamiento se intentó y si considera que fue realmente exitoso. Además, recuerde que es necesario evaluar la posible repercusión de la falta de cegamiento, incluso si el cegamiento es imposible y no era de esperar que el autor del estudio hiciera otra cosa.

18 Cegamiento de los participantes y del personal
Bajo riesgo El cegamiento es correcto y es poco probable que se haya roto Falta de cegamiento o cegamiento incompleto, pero no es probable que influya en los resultados Alto riesgo Falta de cegamiento, cegamiento incompleto o roto, y es probable que influya en los resultados Al evaluar el cegamiento, o si se evitó que se conociera la intervención asignada, puede otorgar una calificación de “Bajo riesgo” para el riesgo de realización si: el cegamiento de todos los grupos clave de personas tuvo éxito el cegamiento no se implementó adecuadamente, pero usted confía en que es poco probable que haya influido en los resultados. Puede otorgar una calificación de “Bajo riesgo” para el riesgo de detección si confía en que la evaluación del resultado fue ciega y es poco probable que se haya introducido sesgo. Si no confía en que el cegamiento fue completo y considera que los resultados fueron vulnerables al sesgo, otórguele una calificación de “Alto riesgo”. Ver Sección 8.11 del Cochrane Handbook

19 Fuentes de sesgo Población diana Asignación Grupo Intervención
Grupo Control Evaluación del resultado del resutlado Publicación de los resultados Selección Realización Detección Desgaste Notificación Cegamiento de los evaluadores de los resultados La posibilidad de sesgo de detección comienza durante la intervención y se extiende durante todo el período de seguimiento y puede surgir de diferencias sistemáticas en la manera en la que se miden o detectan los resultados de interés. Nuevamente, esta fuente de sesgo se puede minimizar mediante el cegamiento, por lo que puede estar muy relacionada con el sesgo de realización, pero es importante considerar la repercusión diferente de cada uno. 19

20 Cegamiento de los evaluadores de los resultados
Evita el sesgo de detección Conocer la intervención recibida puede afectar la medición de los resultados Evaluar de forma cuidadosa Evitar términos como “simple ciego” y “doble ciego” ¿Es probable que el cegamiento se rompiera? Puede ser factible incluso cuando no es posible cegar a los participantes y al personal Recordar que tanto los participantes como el personal pueden ser evaluadores del resultado El cegamiento también es importante durante la medición para evitar el sesgo de detección. Si un evaluador de resultado conoce en qué grupo está el paciente, puede cambiar su manera de medir el resultado, por ejemplo, al buscar con más cuidado cambios pequeños en una radiografía, o interpretar mediciones límites de una forma diferente. No olvide que los pacientes también pueden ser evaluadores de resultado; si un paciente conoce que recibe placebo puede informar resultados diferentes, especialmente para resultados subjetivos como la satisfacción o la calidad de vida. PREGUNTA: ¿Pueden citar algún ejemplo donde la falta de cegamiento puede provocar cambios en la medición del resultado? Sea igual de cuidadoso aquí que con respecto al sesgo de realización, examine cuidadosamente quién fue cegado y valore si el cegamiento tuvo éxito; recuerde que el cegamiento de la evaluación de resultado puede ser posible incluso cuando el seguimiento de los participantes y los profesionales sanitarios no lo sea.

21 Cegamiento de los evaluadores de los resultados
Bajo riesgo El cegamiento es correcto y es poco probable que se haya roto Falta de cegamiento, pero no es probable que influya en la evaluación de los resultados Alto riesgo Falta de cegamiento o cegamiento roto, y es probable que influya en la evaluación de los resultados Al evaluar el cegamiento, o si se evitó que se conociera la intervención asignada, le puede otorgar una calificación de “Bajo riesgo” para el riesgo de realización si: el cegamiento de todos los grupos clave de personas tuvo éxito el cegamiento no se implementó adecuadamente, pero usted confía en que es poco probable que esto haya influido en los resultados. Puede otorgar una calificación de “Bajo riesgo” para el riesgo de detección si confía en que la evaluación del resultado fue ciega y es poco probable que se haya introducido sesgo. Si no confía en que el cegamiento fue completo y considera que los resultados fueron vulnerables al sesgo, otórguele una calificación de “Alto riesgo”. Ver Sección 8.12 del Cochrane Handbook

22 Evaluación del cegamiento en cada variable resultado
Se puede alcanzar conclusiones distintas según la variable resultado Puede que sólo sea ciega la medida de algunos resultados Los desenlaces subjetivos pueden ser más vulnerables a este tipo de sesgo. Ej. muerte vs calidad de vida Puede aplicarse tanto al sesgo de realización como al sesgo de detección Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para estas categorías Es posible que se obtengan conclusiones diferentes acerca de lo adecuado del cegamiento para diferentes resultados o grupos de resultados. Por ejemplo, algunas mediciones de resultados pueden ser cegadas (por ejemplo, los rayos X fueron interpretados por radiólogos independientes, mientras que un médico general no cegado les administró a los pacientes los cuestionarios de calidad de vida). Es importante señalar que podemos estar más preocupados por el cegamiento de algunos resultados que de otros: es poco probable que se afecten resultados objetivos como mortalidad, incluso si no se ha implementado el cegamiento, y por otra parte estaríamos mucho más preocupados acerca de la influencia en resultados más subjetivos como la satisfacción o el dolor, particularmente si los participantes no están cegados. Cuando analice el cegamiento siempre tome precauciones extra al considerar si es probable que cualquier problema con el cegamiento dé lugar a diferencias importantes en los resultados. Lo anterior se aplica al cegamiento de los participantes y el personal, y al cegamiento en la etapa de evaluación del resultado; recuerde que el sesgo de realización podría dar lugar a cambios reales en los resultados, independientemente de cuán objetivamente se midieron. Si quisiera informar evaluaciones diferentes para resultados o grupos de resultados diferentes, puede incluir filas separadas en su evaluación del riesgo de sesgo, por ejemplo, filas para medidas de resultado evaluadas objetiva versus subjetivamente, mediciones cegadas versus no cegadas.

23 Fuentes de sesgo Población diana Asignación Grupo Intervención
Grupo Control Evaluación del resultado del resutlado Publicación de los resultados Selección Realización Detección Desgaste Notificación Otro factor que influye durante el estudio es el desgaste. Aunque la mayoría de los estudios perderá algunos participantes durante el seguimiento, en algunos casos este hecho puede introducir sesgo cuando se evalúan los resultados si existen diferencias sistemáticas entre las personas que se retiran de los diferentes grupos de intervención. Datos de resultado incompletos 23

24 Datos de resultado incompletos
Cuando no se dispone de datos completos de los resultados para todos los participantes Desgaste (attrition)– pérdidas durante el seguimiento (loss to follow up), abandono (withdrawals), otros datos faltantes Exclusiones (exclusions)– algunos datos disponibles no están descritos en el informe Puede dar lugar a un sesgo de desgaste (attrition bias) Consideraciones: ¿Cuántos datos de resultado incompletos por cada grupo? (incluir números en la descripción) ¿Motivos de los datos de resultado incompletos? ¿Cómo se analizaron los datos? Hay diversas causas posibles para que se produzcan datos de resultado incompletos (o faltantes); los participantes pueden haberse perdido durante el seguimiento, pueden haberse retirado deliberadamente, pueden haber sido excluidos por los autores del estudio, o pueden faltar algunas mediciones de resultado de algunos participantes aunque estos permanecieran hasta el final del ensayo. Consideramos todas las causas juntas, pues todo tipo de información faltante puede impedirnos presentar el cuadro completo de los resultados de un estudio. Hay tres factores principales a considerar: ¿Cuántos datos se pierden en cada grupo? y ¿por qué se pierden? También deseamos considerar cómo se analizaron los datos. Examinaremos estos tres aspectos en detalle.

25 ¿Cuándo son demasiados los datos faltantes?
No existe una regla simple Si son suficientes para afectar de forma relevante los resultados Proporción total de datos faltantes Riesgo de evento (resultados dicotómicos) Posible tamaño del efecto (resultados continuos) Cuando las razones pueden estar relacionadas con los resultados del estudio Ej. recuperación, eventos adversos, rechazos Las razones pueden tener significados diferentes en cada grupo Existe un desequilibrio entre los grupos en cuanto a los datos faltantes o sus razones Lo primero que deseamos saber es ¿los datos faltantes son suficientes como para tener un efecto importante sobre los resultados? No hay una regla sencilla sobre cuántos datos faltantes son demasiados, dependerá de la proporción general de pérdidas (estaríamos mucho más preocupados con respecto a una pérdida del 50% que del 5%), pero también dependerá del resultado que se mida. Para los resultados dicotómicos (sí/no, suceso/no suceso) depende de cuán probables son los sucesos. Para sucesos muy poco frecuentes, incluso muy pocos participantes perdidos supondrían una diferencia importante en los resultados, pero para sucesos frecuentes se necesitarían muchos más datos faltantes para cambiar las conclusiones del estudio. Para los resultados continuos, en los que informamos el valor medio en unidades de una escala, dependerá de cuán extremo puede ser el valor faltante en comparación con la media que medimos. Si es posible que los valores de los participantes perdidos no sean muy diferentes de la media calculada, entonces necesitaríamos muchos datos faltantes para cambiar nuestra estimación de la media. Si es posible que los valores sean muy diferentes de la media calculada, entonces se necesitarían pocos valores faltantes para causar una diferencia en nuestra estimación. Lo siguiente que deseamos saber es ¿por qué hay datos faltantes? En algunos casos es poco probable que las causas de los datos faltantes estén relacionadas con el resultado verdadero; por ejemplo, si los participantes cambiaron de domicilio y no es posible establecer contacto con ellos. Se asume que se pierden “al azar” y que no introducen factores sistemáticos que podrían dar lugar a sesgo. No hay problemas con los participantes que se pierden al azar, no importa cuántos datos se pierdan. En otros casos las causas son “informativas”, nos dicen algo acerca del efecto de la intervención; por ejemplo, si los participantes se retiraron debido a malos resultados, efectos secundarios desagradables o incluso debido a resultados muy buenos. Aquí el cegamiento también puede ser importante, sin un adecuado cegamiento los pacientes se pueden retirar debido a sus percepciones acerca de la intervención a la que se les ha asignado (por ejemplo, es más probable que se retiren los pacientes del grupo placebo). En este caso el hecho de no tener a estos pacientes en el análisis puede provocar sesgo, ya que es probable que haya algo sistemáticamente diferente relacionado con estos pacientes. Recuerde que incluso las mismas razones pueden tener diferentes significados según el grupo considerado: el rechazo al tratamiento o la retirada del estudio debido a falta de eficacia pueden tener un efecto diferente en nuestros resultados si ocurren en el grupo “no intervención” comparado con el grupo intervención. No hay problemas con los datos de resultado faltantes si los números están equilibrados entre los grupos de intervención y las causas son similares en ambos grupos, sean cuales sean estas causas. Si los datos faltantes no están equilibrados entre los grupos, entonces hay riesgo de sesgo.

26 Análisis por intención de tratar
Todos los participantes se analizan en el grupo al que fueron aleatorizados A pesar de lo que haya ocurrido durante el estudio Temas que pueden surgir Análisis por protocolo Los participantes no cumplidores se excluyen del análisis Análisis “como se trató” Los participantes no cumplidores cambian de grupo Imputación de valores faltantes Las asunciones pueden ser inapropiadas- consultar con un estadístico Es posible re-incluir algunos datos excluidos Un aspecto final a considerar. Algunos revisores pueden usar técnicas en su análisis para intentar contabilizar los datos faltantes. PREGUNTA: Por ejemplo, ¿qué harían si algunos participantes no reciben la intervención que debían recibir? Si lo anterior sucede, algunos revisores realizan un análisis “por protocolo” (per protocol) e incluyen solamente a los participantes que cumplieron con el protocolo del estudio, o un análisis “por tratamiento recibido” (as treated), en el cual los participantes se contabilizan en el grupo que más se parece a lo que les sucedió; por ejemplo, los pacientes que no tomaron las tabletas que se les asignaron se trasladan al grupo placebo. Aunque esto se hace con buenas intenciones, rompe toda la importante secuencia aleatoria que equilibra los dos grupos y puede introducir sesgo de manera inadvertida si los pacientes que se excluyen o se trasladan son sistemáticamente diferentes a los otros. Lo que deseamos que hagan los autores es un análisis por “intención de tratar” (intention-to-treat), en el cual se miden todos los resultados de todos los participantes aleatorizados y éstos son analizados en el grupo al que fueron aleatorizados, independientemente de la intervención que recibieron en realidad. Tenga cuidado con el término “intención de tratar”, a menudo se utiliza de manera inconsistente, por lo que examine cuidadosamente lo que hicieron realmente los autores. Uno de los retos para los revisores que intentan realizar un análisis por intención de tratar es que, en muchos casos los pacientes y los datos están perdidos, a pesar de los mejores esfuerzos para completar el seguimiento. Con el objetivo de incluir los valores faltantes en el análisis, los revisores deben hacer algunas suposiciones acerca de lo que sucedió a estas personas, y cuáles hubieran sido los valores de sus mediciones. Lo anterior se conoce como “imputación”; por ejemplo, suponer el escenario del mejor o el peor de los casos, trasladar la última observación hecha hacia el final del ensayo o suponer que los resultados están en la media del grupo. Lo anterior se puede hacer bien o mal, según si las suposiciones hechas son plausibles. Por ejemplo, en un ensayo de abandono del hábito de fumar ¿usted supone que los participantes que abandonaron se mantuvieron con la última medición observada, que fue no fumar, o usted supone que comenzaron a fumar nuevamente? Si su estudio incluye datos imputados busque asesoría acerca de si dicha imputación se hizo adecuadamente en su caso particular. Tenga en cuenta que quizás deba tomar decisiones acerca de los datos que incluye en su revisión; el estudio puede presentar más de una versión de los datos, o usted puede revisar el análisis presentado en el informe para incluir nuevamente algunos o todos los participantes excluidos y obtener un análisis más completo. Para hacerlo podría utilizar información del artículo, información adicional obtenida del autor del estudio, o podría hacer su propia imputación si tiene asesoría estadística. Si hizo algún reanálisis asegúrese de señalarlo claramente en la sección de Métodos de la revisión y en su tabla de Riesgo de Sesgo.

27 Evaluación de los datos incompletos para cada resultado
Se puede llegar a conclusiones diferentes para cada resultado Puede haber más datos faltantes en distintos puntos temporales Algunos resultados pueden tener más datos faltantes que otros . Ej. preguntas sensibles, pruebas invasivas Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para “datos incompletos” Los datos incompletos es otro dominio donde puede desear establecer diferentes conclusiones para diferentes desenlaces o grupos de desenlaces; por ejemplo, con el tiempo más personas abandonarán naturalmente un estudio, por lo que tendrá más datos faltantes en los desenlaces medidos en puntos temporales más tardíos. En algunos casos puede ser más probable tener datos faltantes para pruebas invasivas o molestas como las biopsias, donde los participantes pueden rechazar participar, o es menos probable que los pacientes respondan a preguntas más sensibles como las relacionadas con la sexualidad o actividades ilegales como el consumo de drogas. Nuevamente, puede agregar filas separadas a su análisis para abordar los datos incompletos para resultados o grupos de resultados diferentes.

28 Datos de resultado incompletos
Bajo riesgo Se dispone de los datos completos para todos los resultados Las razones que han motivado la falta de datos no se relacionan con el resultado Cantidad de datos de resultado faltantes equilibrados entre los grupos de intervención, y con motivos similares; La proporción de datos faltantes o su posible efecto no es suficiente para tener un impacto clínicamente relevante Alto riesgo Razones relacionadas con los desenlaces, y desequilibrio en el número de datos faltantes o en las razones que han provocado los datos faltantes La proporción de datos faltantes es suficiente para tener un efecto clínicamente relevante Análisis “como se trató” con diferencias importantes respecto a la aleatorización Uso inapropiado de los métodos de imputación En resumen, al evaluar los datos de resultado incompletos otorgaremos una calificación de “Bajo riesgo” si: No hay datos faltantes Las razones para los datos faltantes no están relacionadas con los resultados del estudio La cantidad de datos faltantes y las razones de por qué se perdieron están equilibradas entre los grupos No hay suficientes datos faltantes como para cambiar significativamente el efecto (pensar en diferencias clínicamente detectables, no solo en diferencias estadísticamente detectables) No es suficiente informar que los autores del estudio enumeraron cuántos datos se perdieron, es necesario tomar medidas adicionales y considerar si los datos faltantes pudieron tener algún efecto en los resultados. Incluso en los casos anteriores podría todavía existir preocupación acerca de si los autores modificaron inadecuadamente el análisis; por ejemplo, excluyendo participantes o intercambiando los grupos en un análisis por tratamiento recibido (as-treated), o mediante un uso inapropiado de la imputación. Ver Sección 8.13 del Cochrane Handbook

29 Fuentes de sesgo Población diana Asignación Grupo Intervención
Grupo Control Evaluación del resultado del resutlado Publicación de los resultados Selección Realización Detección Desgaste Notificación Una vez que se ha completado todo el estudio hay todavía una fuente adicional de sesgo que necesitamos evaluar. Notificación selectiva de los resultados 29

30 Notificación selectiva de los resultados
Puede dar lugar a un sesgo de notificación Es más probable que se describan los resultados estadísticamente significativos Tal como estaba planificado en el protocolo del estudio Con mayor detalle Sesgo difícil de determinar Comparar los métodos con los resultados y buscar: Resultados medidos (o probablemente medidos) pero no notificados Resultados añadidos, cambios estadísticos, sólo subgrupos Descripciones que no pueden utilizarse en una revisión (Ej. decir que no hay diferencias estadísticamente significativas sin aportar resultados numéricos) Referencia al protocolo de estudio o al registro del ensayo Centrarse en los resultados de interés para la revisión Aunque sabemos que es más probable que los autores informen en detalle y según el análisis original planificado los hallazgos positivos que los negativos, es difícil identificar cuándo fue así. Hay pocas cosas que puede hacer. Primero, compare la sección Métodos del artículo publicado con la sección Resultados. A menudo los autores enumeran desenlaces adicionales para los cuales no se informan los resultados, lo cual es una preocupación particular si está claro que el resultado no se analizó o los resultados no se informaron porque los resultados no son significativos. Observe si el análisis descrito se ajusta a lo que se planificó, o si los estadísticos descritos son diferentes a los planificados. ¿Se agregaron nuevos desenlaces que no se habían planificado? ¿Los resultados se informaron para todos los participantes, o solo para algunos, o solo para subgrupos separados? Piense en los desenlaces que se miden frecuentemente en este campo, ¿los autores informaron todo lo que habitualmente se espera que se informe? Es más fácil en los campos donde se puede identificar un conjunto claro de desenlaces esperados. Un problema específico para los autores de revisiones sistemáticas es cuando los estudios informan la dirección del efecto de un desenlace (como mejoría o disminución), o solo el nivel de significación (por ejemplo, estadísticamente no significativo), sin informar los resultados numéricos, o quizás informan algunos resultados, pero no suficientes como para incluirlos en un metanálisis. De ser así, estamos en efecto obligados a excluir el estudio del análisis de estos desenlaces, incluso aunque sepamos que lo midieron, lo que puede significar que informemos un cuadro no representativo de la evidencia. En una sesión aparte analizaremos en detalle lo que podemos y no podemos utilizar. La mejor manera de explorar el informe de resultado selectivo es encontrar el protocolo original del estudio o su registro en un registro de ensayos clínicos. Éstos están cada vez más disponibles en Internet, y los protocolos de estudios se publican cada vez más, por lo que debería tomarse el tiempo de intentar encontrarlos. En algunos casos el estudio informará resultados que no son relevantes para su revisión, o que no planifica incluir en su análisis. Para evaluar el informe selectivo céntrese en los resultados que son relevantes para su revisión.

31 Notificación selectiva de los resultados
Bajo riesgo Se dispone del protocolo de estudio y todos los resultados de interés de la revisión están descritos de la forma prevista en el protocolo No disponemos del protocolo, pero está claro que se notifican todos los resultados esperables y especificados previamente Riesgo poco claro La mayor parte de los estudios entrarán en está categoría Alto riesgo Resultados no descritos como estaba pre-especificado o era esperable Ej. perdidos, añadidos, subconjuntos, medidas o métodos no esperados Resultados descritos de forma incompleta por lo que no pueden utilizarse en un metanálisis En la mayoría de los casos solo podemos confiar en que el estudio no presenta informe de resultado selectivo sin acceder al protocolo. Por lo tanto, la mayoría de los estudios se calificarán como “poco claros” en esta categoría. Si tiene el protocolo, o si está satisfactoriamente claro que los autores han informado todos sus desenlaces preespecificados, o todos los desenlacesesperados en este campo, le puede otorgar una calificación de “Bajo riesgo”. Por el contrario, si encuentra cualquier motivo claro de preocupación, como desenlaces mencionados sin informar los resultados, o métodos poco comunes para informar los resultados, le puede otorgar al estudio una calificación de “Alto riesgo”. Ver Sección 8.14 del Cochrane Handbook

32 Otras fuentes de sesgo Se requiere una justificación clara de por qué un factor puede ser causa de sesgo No incluir: Imprecisión (Ej. tamaño de la muestra pequeño) Heterogeneidad (Ej. dosis inadecuada, población inusual) Otras medidas de calidad (Ej. aprobación por el comité de ética, financiación) Siempre que sea posible, identificar factores importantes en el protocolo Se pueden añadir filas en la tabla para evaluar factores importantes para todos los estudios Finalmente, hay algunas otras fuentes de sesgo que pueden ser relevantes o no a su revisión, que se agrupan en la categoría “Otros”. Antes de agregar algo a esta categoría, asegúrese de que ha señalado claramente las razones que explican por qué esa es una importante y posible fuente de sesgo. Como se comentó anteriormente, tenga cuidado de no confundir otros aspectos con el sesgo, por ejemplo: Fuentes de imprecisión como los pequeños tamaños de la muestra, que pueden afectar los intervalos de confianza pero no cambian la estimación del efecto en una dirección particular. Fuentes de diversidad como las decisiones particulares en la intervención o la población, por ejemplo, un ensayo de fármacos que utilice una dosis subclínica de un fármaco más antiguo. Lo anterior afecta la aplicabilidad de los resultados en la práctica, pero el resultado en sí mismo puede no ser incorrecto. Este hecho se puede abordar mediante análisis de subgrupos, en la discusión o en su valoración de la calidad de la evidencia global en su tabla de “Resumen de los resultados” (Summary of findings) al final de su revisión. Otras medidas de calidad como la aprobación ética o los estándares de publicación. A menudo las fuentes de financiación con conflictos de interés también aparecen como una posible fuente de sesgo. Las fuentes de financiación se deben registrar en la tabla “Características de los estudios incluidos”. La evaluación del “Riesgo de sesgo” se debe utilizar para evaluar aspectos específicos de la metodología que podrían estar influidos por intereses creados y que pueden dar lugar directamente a riesgo de sesgo. Si conoce por adelantado algún factor que pueda afectar su revisión, por ejemplo si sabe que se incluirán muchos ensayos con diseño cruzado y desearía evaluar el efecto de arrastre (carry-over), debe planificarlo por adelantado en su protocolo. También puede agregar filas adicionales a la tabla si hay un factor particular que evalúe en todos sus estudios. Podemos proporcionar algunos ejemplos de otras fuentes de sesgo y hay más información disponible en el Manual. Cualquier tema no relacionado directamente con el sesgo, por ejemplo, el cálculo del tamaño de la muestra, se debe agregar a la tabla “Características de los estudios incluidos”.

33 Otras fuentes de sesgo Ver Sección 8.15 del Cochrane Handbook
Bajo riesgo El estudio parece no estar afectado por otras fuentes de sesgo Alto riesgo Factores ligados a diseño de estudio específicos: Efecto de arrastre (carry-over) en los ensayos cruzados Sesgo de reclutamiento en los ensayos aleatorizados por conglomerados (cluster-randomised trials) Estudios no aleatorios Desequilibrio inicial entre los grupos Asignación por bloques en ensayos no cegados Actividad diagnóstica diferencial Otros sesgos Si no tiene otras preocupaciones acerca de un estudio, puede sencillamente otorgar una valoración de “Bajo riesgo” y señalar que no se identificaron fuentes adicionales de sesgo. Algunos ejemplos de preocupaciones adicionales podrían incluir: Aspectos específicos del diseño: aspectos relacionados con determinados diseños de estudio, como el efecto de arrastre de la primera fase de un ensayo cruzado que afecta las fases posteriores, o las diferencias en la implementación de una intervención en un ensayo aleatorizado por conglomerados (por ejemplo, si los médicos generales aleatorizados al brazo “ninguna intervención” no logran reclutar tantos pacientes en su conglomerado como los médicos del brazo de intervención) Si en su revisión se incluyen estudios no aleatorizados, algunos de los aspectos que debe valorar serán los mismos que ya se comentaron, como la falta de cegamiento y los datos incompletos. Sin la asignación aleatoria necesitará prestar atención especial al sesgo de selección y a la comparabilidad inicial entre los grupos, y debe considerar cuidadosamente cómo evaluar su riesgo de sesgo. Habrá otros aspectos a evaluar según el diseño particular del estudio que examine, por lo que asegúrese de contar con asesoramiento y tome decisiones fundamentadas sobre qué dominios evaluar, si debe usar o no un instrumento separado para evaluar el riesgo de sesgo para estos diseños y de cómo garantizar una evaluación bien hecha. Desequilibrios iniciales: incluso con una buena aleatorización algunos estudios tendrán desequilibrios iniciales. Si el desequilibrio surge de una generación de la asignación o de una ocultación de la asignación inadecuadas, que ya ha identificado en las categorías correspondientes, no las considere nuevamente aquí. Si se observan desequilibrios adicionales inexplicables que sean suficientes para provocar una exageración importante en la estimación del efecto, entonces se debe señalar (por ejemplo, esto se puede deber al azar o quizás indique el fracaso de la ocultación de la asignación). La aleatorización en bloques en los ensayos no cegados: este problema surge de la interacción entre dos dominios de sesgo. En los ensayos no cegados los investigadores pueden conocer la asignación de los participantes que se han reclutado previamente. Cuando se utiliza la asignación en bloques, incluso aunque la secuencia sea verdaderamente aleatoria, los investigadores pueden ser capaces de usar su conocimiento de la asignación de participantes anteriores para adivinar la asignación futura de los participantes cerca del final de un bloque. Actividad diagnóstica diferencial: el aumento del número de mediciones durante los ensayos puede aumentar el diagnóstico de casos de enfermedades sin lesiones o sin síntomas, como úlceras gástricas menores o aumento del tamaño de la próstata, que hubieran sucedido de todas maneras pero no se hubieran detectado. Ésta es particularmente una fuente de sesgo si la intervención causa por sí misma un aumento de la actividad diagnóstica, por ejemplo, si incluye más visitas a un profesional de la salud o causa efectos secundarios que pueden dar lugar a investigaciones clínicas. Otros sesgos: hay más ejemplos en el Manual, que le animamos a consultar antes de agregar una posible fuente de sesgo a esta sección. Estos ejemplos incluyen una implementación metodológica deficiente, contaminación o, en casos poco frecuentes, fraude científico. Ver Sección 8.15 del Cochrane Handbook

34 Índice Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Es importante señalar en toda esta presentación que esta es una visión general (en el Manual está disponible una guía más detallada sobre cómo evaluar el riesgo de sesgo y sobre cada uno de los temas específicos discutidos). Se estimula a los revisores a leer el Capítulo 8 completo antes de continuar. Ver el Capítulo 8 del Cochrane Handbook

35 Cómo hacer la evaluación del riesgo de sesgo
Como mínimo dos evaluadores Asegurar que los evaluadores conocen los métodos Incluir expertos en contenido y metodólogos Pilotar en 3-6 estudios para comprobar la consistencia de la evaluación Definir de antemano cómo resolver los desacuerdos Buscar la información faltante en la publicación: Protocolo de estudio Contactar con los autores Al menos dos revisores deben realizar la evaluación del riesgo de sesgo, y usted debe describir cómo prevé abordar los posibles desacuerdos entre los revisores. Es muy probable que diferentes revisores alcancen inicialmente diferentes valoraciones, por ejemplo, los expertos en contenido y métodos pueden observar diferentes aspectos de los estudios incluidos. El proceso de discusión de estas diferencias asegurará que su evaluación sea rigurosa y justa. En caso de que no puedan llegar a un acuerdo es importante especificar por adelantado cómo se va a resolver, por ejemplo si se deja la decisión a un tercer revisor. Usted podría desear hacer una prueba piloto de la evaluación con un pequeño número de estudios, para identificar algunas áreas de desacuerdo iniciales y asegurar que todos los revisores tengan la misma comprensión de lo que es necesario evaluar para cada dominio. No olvide que, si está disponible, el protocolo del ensayo puede ser una fuente importante para su evaluación. [Nota a los formadores: la evaluación ciega es posible, si se ocultan los nombres de los autores, las instituciones, las revistas y los resultados de cada estudio, pero es difícil y consume tiempo, y puede que no sea posible cuando los revisores están muy familiarizados con los artículos. Es posible que algunos dominios del sesgo no se puedan evaluar independientemente de los datos. En ocasiones, si el autor del estudio es conocido, se pueden hacer suposiciones razonables acerca de la probable realización del estudio (aunque se deben declarar). La investigación empírica no ha demostrado de forma consistente que el cegamiento cause ninguna diferencia en la evaluación].

36 Tablas de ‘Riesgo de sesgo’
Una tabla para cada estudio incluido Decisión para cada dominio  Bajo riesgo Alto riesgo - considerar el sesgo material, en lugar de cualquier sesgo ? Riesgo poco claro = no se dispone de suficiente información para emitir un juicio claro Apoyo a la decisión Se pueden utilizar citas directas del artículo Comentarios adicionales Justificar cualquier asunción (ej., “probablemente se realizó correctamente”) Si no se dispone de información, notificarlo de forma explícita Sus evaluaciones del riesgo de sesgo se registrarán en tablas “Riesgo de sesgo” estándar, una tabla para cada uno de sus estudios incluidos. Resumidamente, se incluirán dos elementos: su valoración y los datos que apoyan su valoración. Recuerde cuando haga su valoración que no busca cualquier potencial riesgo de sesgo, sino riesgos materiales, es decir, un sesgo de magnitud suficiente para tener una repercusión importante sobre los resultados o las conclusiones del ensayo. Por ejemplo, si hay problemas con el cegamiento pero es poco probable que se afecten los resultados, o si hay datos faltantes pero no suficientes para afectar significativamente los resultados, entonces debemos calificarlo como “Bajo riesgo”. La valoración “Poco claro” se puede utilizar cuando no hay información suficiente para lograr una valoración clara. No es una forma de evitar tomar una decisión cuando toda la información está disponible. También se puede utilizar si hay un posible problema pero se desconoce la probabilidad de que se produzca el sesgo, o si un elemento no es aplicable para un estudio determinado (como cuando un estudio no mide un grupo de desenlaces). Si no hay información disponible para un ítem dígalo explícitamente, no deje la descripción en blanco, ya que los ítems “Poco claro” sin descripción se borrarán de la revisión publicada. La fundamentación de su valoración debe incluir citas directas de los artículos publicados y cualquier otra fuente de información que esté disponible como la correspondencia con los autores, así como cualquier otro comentario adicional que explique sus conclusiones. Sea claro acerca de lo que es una cita y cuales son sus propios comentarios, y asegúrese de registrar la fuente de cualquier información.

37 Esta es una captura de pantalla de cómo se vería esta tabla en RevMan
Esta es una captura de pantalla de cómo se vería esta tabla en RevMan. Más tarde comentaremos los aspectos prácticos de cómo construir esta tabla. Por ahora hablaremos más sobre cada uno de los dominios. Observe que en este ejemplo el cegamiento de la evaluación de los resultados se ha dividido en dos filas, una para los desenlaces informados por el paciente y una para una prueba de reacción medida de forma objetiva. Si define grupos de desenlaces separados para evaluar el cegamiento o los datos incompletos, los mismos grupos se aplicarán a todos los estudios incluidos, por lo que piense cuidadosamente en sus categorías. Si un grupo particular no se aplica a un estudio específico califíquelo como poco claro y deje el cuadro de comentarios en blanco, y la fila no se incluirá en su revisión publicada.

38 Índice Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook

39 Priorizar los dominios para la revisión
Todas las revisiones evalúan todos los dominios, pero puede seleccionar uno o varios como prioritarios para la revisión Especificarlo en el protocolo Justificarlo, considerando: Evidencia empírica del impacto del sesgo Dirección probable del impacto del sesgo: Los sesgos probablemente exageran el efecto En caso que el sesgo subestime el efecto y observemos un efecto relevante, tiene menos importancia Magnitud probable del impacto del sesgo en relación al efecto observado Es importante dedicar un tiempo durante la etapa de protocolo a pensar cómo planifica obtener valoraciones globales del riesgo de sesgo de sus estudios incluidos. Puede dar la misma importancia a todos los dominios considerados, o puede considerar si algunos dominios son particularmente importantes para su revisión, en base a la evidencia empírica disponible sobre la repercusión de cada dominio, la dirección probable del sesgo en su revisión particular y cuán grande podría ser la posible repercusión. Si va a seleccionar dominios prioritarios lo debe señalar claramente y dar una justificación en su protocolo. Ver Cochrane Handbook Secciones

40 Realizar una interpretación global
No intentar resumir todos los resultado y todos los estudios a la vez Resumir por desenlace Cada desenlace puede tener su evaluación propia del riesgo de sesgo (ej. cegamiento, datos de resultado incompleto) No todos los estudios aportan información a cada desenlace Empezar resumiendo el riesgo de sesgo dentro de cada estudio y luego entre los estudios No agrupar los estudios de riesgo “poco claro” con los estudios de “bajo riesgo” sin una justificación Resumir la información detallada sobre el riesgo de sesgo puede constituir un reto, especialmente si su revisión incluye muchos estudios y si dichos estudios varían mucho en la manera en la que se han abordado los diferentes dominios de sesgo. Una buena manera de comenzar es no intentar resumir todo de una vez, sino paso a paso. Considere un desenlace cada vez; recuerde que algunos desenlaces se pueden evaluar de manera diferente que otros, ya que el cegamiento o los datos incompletos pueden ser diferentes para cada desenlace. Además, recuerde que no todos los estudios de su revisión medirán todos los desenlaces. Es posible que para algunos desenlaces considere diferentes subconjuntos de estudios. Por lo tanto, empiece con un desenlace. Examine cada estudio incluido que mida ese desenlace y considere su valoración general para dicho estudio, teniendo en cuenta todos los dominios específicos que haya identificado como prioritarios. Luego considere su valoración general en todo el conjunto de estudios que midan dicho desenlace. Observe que los estudios valorados como riesgo de sesgo “poco claro” tienen como promedio un riesgo de sesgo menor que los estudios calificados como “alto” (ya que algunos de ellos habrán evitado el sesgo). Sin embargo, no se recomienda que se traten como equivalentes a estudios de “bajo” riesgo de sesgo, a menos que haya alguna razón para creer que se realizaron de manera que evitaron el sesgo.

41 Incorporar los hallazgos a la revisión
Hacer siempre una descripción narrativa Puede que los lectores no la lean No evalúa el impacto en los resultados Se puede restringir el análisis principal a los estudios con bajo riesgo de sesgo Basado en dominios clave elegidos de forma razonada (aunque arbitraria) Hacer siempre un análisis de sensibilidad Se puede presentar un análisis estratificado También podemos explorar el impacto mediante: Análisis de subgrupos Meta-regresión – obtener asesoría estadística Su valoración del riesgo de sesgo se debe incorporar a los hallazgos de la revisión; no es apropiado, y seria engañoso para los lectores, ignorar las deficiencias de los estudios incluidos y presentar los resultados sin hacer referencia a su valoración del riesgo de sesgo. Sus evaluaciones de riesgo de sesgo se presentarán siempre mediante una narración descriptiva en la sección de Resultados; un texto abreviado de su evaluación en el Resumen; y también se incorporarán en las tablas de Resumen de los resultados. Sin embargo, los lectores pueden perderse sus descripciones detalladas si se dirigen directamente a los resultados numéricos y una descripción narrativa no elimina la preocupación de que los resultados puedan estar alterados por el sesgo. Hay diversas opciones disponibles que le pueden ayudar a considerar la repercusión del sesgo en su análisis estadístico. Sería ideal poder reducir la ponderación dada a los estudios de alto riesgo, pero todavía no contamos con un método estadístico apropiado para calcular la ponderación correcta que debe tener un estudio. La elección del enfoque a tomar se debe hacer considerando cuidadosamente el contexto y los aspectos específicos de su revisión. Si es posible, su plan se debe especificar en el protocolo. Primero, tiene la opción de restringir su análisis a los estudios con bajo riesgo de sesgo. Para ello, puede utilizar los dominios clave que ha priorizado para su revisión para decidir qué criterios debe cumplir un estudio para clasificarlo como bajo riesgo. Esta decisión requiere un compromiso: incluir todos los estudios disponibles le da más precisión a sus resultados, pero la inclusión de estudios con riesgo de sesgo alto y poco claro puede provocar que los resultados no sean válidos. Si decide restringir su análisis, deberá realizar después un análisis de sensibilidad para determinar lo que hubiera pasado si hubiera seleccionado una definición de riesgo diferente o si no hubiera restringido su análisis. Observe que los análisis de sensibilidad no significan presentar múltiples versiones de sus resultados. Puede ser útil discutir la diferencia entre el resultado que incluye todos los estudios y el que incluye solamente los estudios con bajo riesgo, pero recuerde que presentar múltiples respuestas puede ser confuso para los lectores que necesitan tomar decisiones acerca de la intervención. Debe decidir de antemano en la etapa de protocolo cuál será su análisis principal y presentar sus resultados como lo planificó. Alternativamente, si elige no limitar su análisis puede decidir presentar sus resultados estratificados por riesgo de sesgo, de manera que los lectores puedan ver los resultados por sí mismos. Los diagramas de bosque se discuten en otra presentación de diapositivas sobre Introducción al Metanálisis. Hay otras técnicas disponibles para tratar de explorar la repercusión de los estudios con alto riesgo en su análisis. En RevMan se pueden realizar análisis de subgrupos, que se abordan con más detalle en otra presentación sobre Heterogeneidad. También existe la opción de la metarregresión para explorar el efecto de los niveles de sesgo. Ésta es una estadística técnica más compleja que no está disponible en RevMan y para la que necesitará asesoramiento estadístico para llevarla a cabo. [Nota para los formadores: los métodos Bayesianos para incorporar en los metanálisis lo que se conoce acerca del sesgo están en fase de desarrollo, y aún no están ampliamente disponibles].

42 Resumen del riesgo de sesgo
RevMan proporciona algunas herramientas que le ayudan a resumir e interpretar esta información. Es opcional que las incluya o no como figuras en la revisión publicada, pero le ayudarán a considerar el riesgo de sesgo global para cada desenlace. En esta figura tenemos cada estudio listado en el lado izquierdo y cada dominio de riesgo a lo largo de la parte superior de la tabla. La forma en la que cada estudio abordó cada dominio se muestra mediante un sistema de luces de tráfico (verde para bajo riesgo, amarilla para poco claro y roja para alto riesgo). Por ejemplo imagine que en esta revisión se mide el desenlace calidad de vida y solo tres de los estudios han informado este desenlace. Si dichos estudios son Baylis, Dodd y Goodwin podríamos concluir que, en general, la mayoría de los dominios clave se han abordado adecuadamente por la mayoría de los estudios. La proporción de información con alto riesgo de sesgo no es suficiente para que surjan dudas importantes acerca de los resultados para calidad de vida. Sin embargo, imagine que también se informa el desenlace dolor, que se midió en todos los estudios. En este caso tenemos muchos más datos con alto riesgo de sesgo, según qué dominios se consideraron prioritarios para la revisión. Nota: en esta figura “Cegamiento” y “Datos de resultado incompletos” se han evaluado para dos conjuntos de desenlaces. Nota: Si hay algun vacío en el gráfico significa que no se ha completado la descripción y la valoración de ese estudio.

43 Gráfico del riesgo de sesgo
Ésta es otra figura disponible en RevMan; en este gráfico los resultados no están separados por estudio, sino que se muestra la proporción de todos los estudios que abordan adecuadamente cada dominio. Esta figura proporciona una visión más amplia y general del riesgo de sesgo de la revisión.

44 ¿Qué se debe incluir en el protocolo?
Consultar las normas del Grupo Cochrane de Revisión Breve descripción de la herramienta Cochrane que se utilizará para evaluar el riesgo de sesgo Listar los dominios Referenciar el capítulo 8 del Cochrane Handbook Más de un autor evaluará el riesgo de sesgo ¿Como se resolverán las discrepancias? ¿Hay dominios específicos importantes para la revisión? ¿Cómo se incorporarán los hallazgos al análisis? Volviendo a la etapa de protocolo, éste deberá presentar las pautas de cómo planifica evaluar el riesgo de sesgo en su revisión. Su GRC puede tener un texto estándar que prefiera utilizar, verifíquelo con ellos antes de continuar. Al menos debe proporcionar una breve descripción de los dominios que piensa evaluar e incluir una referencia al Capítulo 8 del Manual Cochrane. También debe proporcionar alguna información logística donde indique que dos revisores evaluarán de manera independiente cada estudio y describa cómo abordará los desacuerdos. Indique si hay algún dominio que considere prioritario para su valoración global, y describa también cómo piensa incorporar sus hallazgos al análisis de su revisión.

45 Ésta es una captura de pantalla de cómo se visualiza el apartado de valoración del riesgo de sesgo en un protocolo en RevMan.

46 Mensaje final Estudios sesgados pueden conducir a unas conclusiones de la revisión engañosas Se evaluarán siete dominios de sesgo Describir detalladamente lo que ocurrió en los estudios y hacer un juicio sobre el riesgo de sesgo Considerar los posibles efectos de los sesgos y ser cautos a la hora de interpretar los resultados

47 Referencias Agradecimientos
Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]. The Cochrane Collaboration, Disponible en Agradecimientos Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias Methods Group and the Australasian Cochrane Centre. Aprobado por the Cochrane Methods Board Traducido por Anna Selva, Ivan Solà y Jesús López-Alcalde