Selección de los estudios Bienvenidos a la presentación sobre selección de los estudios en una revisión Cochrane.

Pasos de una revisión sistemática Cochrane Formular la pregunta Planificar los criterios de elegibilidad Planificar la metodología Buscar los estudios Aplicar los criterios de elegibilidad Obtener los datos Evaluar el riesgo de sesgo de los estudios Analizar y presentar los resultados Interpretar los resultados y obtener conclusiones Mejorar y actualizar la revisión Una vez realizada la búsqueda, el siguiente paso sería identificar los estudios que cumplen los criterios de inclusión considerados en el protocolo.

Minimización del sesgo en la selección La selección de estudios requiere emitir juicios y tiene una gran influencia en los resultados de la revisión Comparar cada registro con los criterios de elegibilidad definidos con anterioridad Un resumen escrito o una lista de comprobación pueden ser útiles Dos autores deberían seleccionar los estudios de forma independiente La puesta en común puede identificar aspectos para aclarar o vacíos en los criterios de elegibilidad Realizar primero una prueba piloto ¿Cómo se resolverán los desacuerdos? Por ejemplo, mediante la discusión o la mediación de un tercer autor La decisión de qué estudios incluir o excluir en una revisión es probablemente una de las decisiones más relevantes y a la vez determinante para que los resultados encontrados nos permitan responder a la pregunta planteada en la revisión. Es fundamental minimizar la posibilidad de sesgo al hacer estas valoraciones. Cada una de las referencias de estudios identificadas como potencialmente elegibles debe ser evaluada cuidadosamente para confirmar si cumple los criterios de inclusión considerados en la revisión. Por ello, es crucial que los criterios estén claramente establecidos de antemano en el protocolo con objeto de evitar tomar decisiones ad hoc y probablemente sesgadas acerca de la inclusión o no de un estudio. Se recomienda disponer, ya sea en formato papel o electrónico, de un formulario u hoja de datos que contenga un resumen o checklist con los criterios a valorar, para que en cuanto uno de los estudios no cumpla alguno de los criterios pre-establecidos sea excluido y no sea necesario volver a reevaluarlo. La selección de estudios se debe realizar por duplicado para minimizar el riesgo de sesgo. Tener una segunda perspectiva es útil, especialmente cuando surgen dudas de si un estudio cumple o no los criterios de inclusión. El proceso de discusión para alcanzar un consenso entre ellos garantiza que los criterios sean aplicados de forma válida y consistente. Puede ser útil que uno de los revisores que participan en la selección no sea un experto en el tema de la revisión para evitar ideas preconcebidas acerca de un estudio o intervención en particular. La discusión de los estudios discordantes puede identificar lagunas en las que los criterios de elegibilidad no sean claros, o donde diferentes revisores interpreten los criterios de manera diferente. Es útil monitorizar primero el proceso de selección en unos pocos artículos para identificar y aclarar con los autores posibles dudas en su aplicación. Aunque se debe evitar cualquier modificación de los criterios en esta fase, puede ser necesario agregar o cambiar algunos aspectos no previstos en la etapa de protocolo. Si así fuera, se debe declarar de forma transparente en la revisión los cambios introducidos en el protocolo. Cualquier modificación que afecte al objetivo de su revisión debe ser acordada con su Grupo de Revisión. Cuando ambos revisores hayan evaluado todos los estudios, se deberán poner en común los resultados y discutir los estudios en desacuerdo antes de tomar la decisión final de incluirlos o no en la revisión. Debe asegurarse de que ha considerado en el protocolo la forma en la que se resolverán los desacuerdos, por ejemplo, mediante discusión hasta alcanzar un consenso, o bien recurriendo a un tercer evaluador. [Nota si preguntan: es posible realizar el proceso de selección de forma ciega eliminando de los estudios información referente a los autores, su localización, la revista y los resultados. Este proceso lleva más tiempo y sus beneficios no se han establecido de forma concluyente.] [Nota si preguntan: el acuerdo entre revisores se puede calcular usando el índice kappa, pero no es obligatorio (ver Manual, sección 7.2.6 para los métodos de cálculo).]

Puesta en práctica Examinar los títulos y los resúmenes ¿El registro cumple con todos los criterios de elegibilidad? Excluir los estudios claramente irrelevantes, pero ser inclusivo Recuperar y examinar el texto completo de los informes ¿Cumple el registro con los criterios de elegibilidad? Vincular los múltiples informes de un mismo estudio Puede necesitarse todos los registros para tomar la decisión final Buscar autores, nombre del estudio, localización, intervenciones, participantes y datos basales, fechas y número de registro Buscar erratas, comentarios y retracciones Escribir a los autores si se necesita más información Típicamente el proceso de selección comienza a partir de los resultados de la búsqueda. La mayoría de los resultados obtenidos serán en forma de títulos y resúmenes recuperados de bases de datos electrónicas, en algunas ocasiones solo se dispondrá del título y las palabras claves, y en otras se tendrá acceso directamente al texto completo. El primer paso es examinar los títulos y resúmenes y eliminar cualquier registro donde esté completamente seguro que el estudio no cumple uno o más criterios de elegibilidad. Es importante ser exhaustivo en esta fase, y conceder el beneficio de la duda a aquellos registros con poca información en el resumen, podría sorprenderse de los resultados obtenidos al acceder al texto al completo. En algunos casos, los registros que claramente son irrelevantes pueden ser eliminados en esta fase a partir de la decisión de un único revisor, aunque es más correcto contar con dos revisores para completar el proceso de selección. Una vez eliminados los estudios claramente excluibles en base al título y resumen, habría que recuperar el texto completo del resto de las referencias. Los estudios deben cumplir todos los criterios para ser incluidos en la revisión y para ello hay que asegurarse de que se dispone de toda la información necesaria. Los resultados de algunos estudios pueden publicarse en más de un artículo, son los estudios y no los artículos individuales los que hay que considerar. Será preciso reunir toda la información referente a un estudio, sin olvidar incluir cualquier errata, comentario o rectificación que se haya podido reportar. Es posible encontrar resultados adicionales de un ensayo no incluidos en el artículo original, por ejemplo en artículos de ensayos que combinen tratamientos. En algunos casos, puede que la información disponible no sea suficiente para tomar una decisión y sea necesario ponerse en contacto, en la medida de lo posible, con los propios autores para obtener más detalles del estudio.  

¿Qué pasa con los estudios sin datos utilizables? Los estudios deben ser incluidos en la revisión si cumplen con los criterios de elegibilidad Aunque los resultados se hayan presentado en forma no convencional deben describirse en la revisión Los estudios que no informan los desenlaces de interés pueden haberlos medido – cuidado con la notificación selectiva Los estudios que no midieron resultados de interés solo pueden ser excluidos si los resultados fueron especificados previamente como parte de los criterios de elegibilidad de la revisión En ocasiones puede haber estudios que cumplan todos los criterios de elegibilidad en términos de población, intervención, comparación y diseño del estudio pero en cambio no dan datos útiles. Aunque la tentación pueda ser excluir estos estudios de la revisión, no es correcto hacerlo. Ante todo, las revisiones sistemáticas tienen por objeto proporcionar un informe completo de todos los estudios realizados para dar respuesta a una pregunta en particular. Incluir todos los estudios, incluso aquellos sin datos útiles, es lo que nos ofrece esa imagen global de toda la investigación disponible. En segundo lugar, la identificación de si un estudio puede contribuir con datos útiles a la revisión no siempre es fácil. Algunas veces los estudios aportan datos pero en un formato que no resulta útil ni familiar. Estos estudios y sus resultados deben incluirse también para así disponer de dicha imagen completa de toda la evidencia disponible (el abordaje de análisis de diferentes tipos de datos se tratará de forma separada en otras presentaciones). Es recomendable consultar con un estadístico cuando se tenga dudas en el manejo de distintos tipos de datos. Si un estudio no comunica el resultado de interés, no significa necesariamente que el estudio no haya medido ese resultado. Es posible que los autores sencillamente no lo hayan incluido en la publicación. Es conocido que la comunicación de resultados puede, en ocasiones, hacerse de forma selectiva, y que es más probable la publicación de resultados positivos o estadísticamente significativos. Esto se conoce como comunicación selectiva de resultados. Para evitar la introducción de sesgos no deben excluirse estos estudios. Probablemente sea posible obtener información adicional de los resultados de interés contactando con los autores del estudio. Incluso, aun estando totalmente seguro de que un estudio no mide las variables de resultado de interés en su revisión, es necesario basarse en los criterios de elegibilidad especificados de antemano antes de decidir la exclusión de un estudio. Si se consideró, en los criterios de elegibilidad, la medición de una variable de resultado en concreto, entonces sí sería legítimo excluir aquellos estudios que no la hubieran medido. En el caso contrario, en el que no se hubiera especificado de antemano, como criterio, el que se hubiese medido una variable de resultado en concreto, el estudio deberá ser incluido y descrito como se indicó anteriormente para garantizar esa imagen completa de todas las publicaciones disponibles aunque no contribuyan con resultados a la revisión.

Detallar los estudios excluidos Sección de resultados Resultados de búsqueda, detallando también el número de estudios incluidos y excluidos en cada etapa Tabla ‘Characteristics of excluded studies’ Listado de los estudios excluidos claves, con el motivo principal de exclusión Estudios que aparentemente cumplen los criterios de elegibilidad de la revisión, pero que en una lectura en mayor profundidad son descartados No hay necesidad de incluir en esta lista los estudios que evidentemente no cumplen los criterios Durante todo el proceso de selección de estudios se debe llevar un registro de los estudios que son excluidos de la revisión. En la sección Resultados de la revisión se le pedirá que proporcione un resumen del número total de registros identificados en la búsqueda, y el número de excluidos en cada etapa del proceso de cribado (es decir, el número de estudios excluidos en la etapa de título y resumen, el número de estudios recuperados a texto completo y el número final de estudios incluidos en la revisión). Se puede añadir un breve resumen con los motivos por los que han sido excluidos (por ejemplo, cuántos se excluyeron porque no era la intervención apropiada, cuántos porque no era la población de interés, etc.). También hay que incluir en la revisión una tabla de “Características de los estudios excluidos”. En esta tabla se incluirán los estudios excluidos y el motivo de exclusión, esto permite al lector evaluar porqué determinados estudios que se podría pensar cumplen los criterios de inclusión son finalmente excluidos de la revisión. Dependiendo del número de resultados obtenidos en la búsqueda se puede añadir a esta lista los estudios que no fueron excluidos a partir de la lectura del título y resumen y que una vez recuperados a texto completo se decidió excluirlos. Con esto se garantiza la transparencia del proceso, así cualquier lector que tenga dudas o difiera en la decisión tomada acerca de un estudio en particular puede valorar el motivo por el que se excluyó.

Diagrama de flujo PRISMA 1500 registros identificados durante la búsqueda en las bases de datos 35 registros adicionales identificados a partir de otras fuentes 965 registros tras eliminar duplicados 965 registros revisados 913 registros excluidos 52 artículos en texto completo evaluados para elegibilidad 33 artículos en texto completo excluidos 25 no fueron ECA 5 no incluyeron pacientes elegibles 5 no incluyeron intervenciones elegibles 19 estudios incluidos en la síntesis cualitativa 19 estudios incluidos en la síntesis cuantitativa (meta-análisis) Diagrama de flujo PRISMA Este es el diagrama de flujo PRISMA, está basado en la Declaración PRISMA, un conjunto de recomendaciones para mejorar la publicación de revisiones sistemáticas (para más información por favor diríjase a la página web disponible). La Declaración PRISMA establece una serie de buenas prácticas en la comunicación de los resultados obtenidos en la búsqueda de una revisión sistemática. La búsqueda puede ser resumida de forma gráfica en este diagrama de flujo. El gráfico refleja el flujo de registros ó referencias y estudios en las distintas fases de la revisión, es decir, el número de registros identificados a partir de la búsqueda en bases de datos, el número de registros excluidos y el número de estudios incluidos en la revisión sistemática y en el metanálisis. Se recomienda incluir un diagrama de flujo PRISMA en la revisión de manera que los lectores puedan ver claramente cómo fueron considerados todos los registros y las razones por las que se excluyeron. Es posible generar fácilmente un diagrama de flujo en RevMan, que es el software preparado por la Colaboración Cochrane para el desarrollo de revisiones sistemáticas. Vea www.prisma-statement.org

¿Qué detallar en el protocolo? Si dos autores van a valorar de manera independiente la elegibilidad de los estudios Proceso de valoración (por ejemplo, resúmenes, texto completo) ¿Cómo serán manejados los desacuerdos? Cualquier otro método utilizado Volviendo a la fase de elaboración del protocolo, en el protocolo debe incluirse una breve descripción de cómo va a realizarse el proceso de selección. Se debe señalar si el proceso será realizado por dos revisores de forma independiente y describir el proceso que se va a seguir (por ejemplo, se comenzará con la valoración a partir de los títulos y resúmenes, luego se recuperará el texto completo de los estudios potencialmente relevantes, etc.). Debe figurar también en el protocolo como se resolverán los desacuerdos (mediante discusión hasta obtener un consenso, con la opinión de un tercer revisor) y cualquier otro detalle que esté planificado en el proceso de selección.

Mensaje clave Adoptar un enfoque sistemático para cribar los resúmenes y los textos completos según los criterios de elegibilidad de la revisión Este proceso debe ser realizado por dos autores de manera independiente para minimizar errores y sesgos En resumen, Adopte un enfoque sistemático para cribar los resúmenes y los textos completos según los criterios de elegibilidad de la revisión Este proceso debe ser realizado por dos autores de manera independiente para minimizar errores y sesgos

Referencias Agradecimientos Higgins JPT, Deeks JJ (editors). Chapter 7: Selecting studies and collecting data. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org. Agradecimientos Compilado por Miranda Cumpston. Basado en los materiales del Australasian Cochrane Centre. Aprobado por Cochrane Methods Board Traducido por Hernando Gaitán, Elizabeth Infante, Rosa Mª Finizola y Jesús López-Alcalde Voz en off por Salomè Planas.