Lectura y valoración de un Programa de Doctorado de Metodología de Investigación. Facultad de Psicología Junio de 2016 Lectura y valoración de un meta-análisis Dolores Frías-Navarro Universidad de Valencia Facultad de Psicología http://www.uv.es/friasnav 1

Dolores Frías-Navarro     6.-Lectura y valoración de un meta-análisis   1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro     6.-Lectura y valoración de un meta-análisis   1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro UBICACIÓN DEL ESTUDIO DE META-ANÁLISIS DENTRO DEL PROCESO DE DISEÑO DE UNA INVESTIGACIÓN Discusión: integración de resultados y pensamiento meta-analítico Introducción Título junto con la pregunta de investigación: si se trata de elaborar un trabajo de meta-análisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Localización de las pruebas o evidencias Introducción Localización de las pruebas o evidencias Un importante apoyo para la localización de las pruebas o evidencias que utilizaremos en nuestro estudio o en nuestra tarea profesional es buscar y leer la evidencia generada por otros investigadores mediante: ***las revisiones sistemáticas y ***los trabajos de meta-análisis http://www.uv.es/friasnav/

Dolores Frías-Navarro REVISIONES SOBRE UNA TEMÁTICA: Dolores Frías-Navarro http://www.uv.es/friasnav/

Revisión narrativa de la literatura y revisiones sistemáticas CALIDAD DEPENDE DEL CREADOR DE LA REVISIÓN NARRATIVA O EXPERTO Dolores Frías-Navarro http://www.uv.es/friasnav/

Revisión narrativa de la literatura EL CREADOR DE LA REVISIÓN NARRATIVA: -Tradicionalmente las revisiones han sido narrativas o cualitativas elaboradas por un experto en la materia a partir de una selección de artículos o informes de investigación. -Los criterios de selección de los artículos que utiliza el experto y qué resultados son incluidos en su revisión narrativa son cuestiones que no suelen estar argumentadas en una revisión narrativa y dependen del criterio del revisor. -El investigador obtiene una serie de conclusiones después de revisar la información que ha seleccionado y su propia experiencia sobre la temática. -Dichas conclusiones se presentan generalmente en un artículo de revisión cualitativa. -No existe un protocolo externo sistemático y estructurado de revisión, dificultando la replicación de la revisión efectuada. -Ni tampoco se informa de criterios externos que determinen la calidad de las publicaciones revisadas. -Utiliza un proceso interno de búsqueda de la información que no se detalla en la revisión y el lector desconoce las razones de los autores para enfatizar ciertos trabajos que se consideran clave en la revisión. -Muy probablemente otro investigador experto puede consultar otras referencias bibliográficas en función de una serie de razones subjetivas y como consecuencia obtener conclusiones diferentes. Dolores Frías-Navarro

Revisión narrativa de la literatura EL LECTOR DE LA REVISIÓN NARRATIVA: -El lector de una revisión narrativa tiene que valorar su calidad, tratando de discernir si los documentos citados han sido seleccionados para apoyar el punto de vista específico del autor de la revisión o son fundamentales para entender la evidencia que existe hasta el momento sobre la cuestión revisada. -Es muy difícil valorar la calidad de la revisión narrativa porque su creador no ofrece información ni sobre la localización de las pruebas ni sobre la valoración científica que ha hecho de ellas antes de que formen parte de su revisión narrativa. La calidad de las revisiones narrativas está relacionada de forma directa con la experiencia y formación científica del autor o autores en la temática objeto de la revisión. En resumen: -Carácter subjetivo de la revisión narrativa dado que no se dispone de las reglas que guían la revisión. -Los aspectos metodológicos de los estudios primarios no son valorados críticamente, o al menos no se informa al lector, dentro de una perspectiva de búsqueda de la mejor evidencia o las mejores pruebas. -Actualmente son estudios poco útiles para resumir la evidencia dado su carácter subjetivo y la acumulación constante de información que dificulta su revisión sin protocolos. Dolores Frías-Navarro http://www.uv.es/friasnav/

Revisión narrativa de la literatura EXCEPCIONES Las publicaciones de las series del Annual Review se consideran una fuente de información secundaria de gran valor científico y sus revistas tienen un alto factor de impacto en el índice de Journal Citation Reports (JCR) de la base WoS. Por ejemplo desde 1932 las series Annual Review ofrecen revisiones críticas de estudios primarios elaboradas por destacados científicos reconocidos dentro de la comunidad científica como expertos en una determinada cuestión http://www.annualreviews.org/ Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

2. Revisión sistemática cuantitativa o meta-análisis Y 2. Revisión sistemática cuantitativa o meta-análisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro A partir de la década de los ochenta del siglo XX la revisión del conocimiento previo o literatura sobre un problema de investigación se convierte en un método de investigación sistemático, transparente y replicable -La acumulación de información científica crece de forma rápida, dificultando la actualización de los conocimientos de los científicos y profesionales. -Las revistas científicas se han convertido en el canal de transmisión del conocimiento producido por las investigaciones. -En el año 2013 la base de datos ‘PubMed’ tiene más de 22 millones de citas bibliográficas y cada semana se añaden en torno a 25000. 1º Acceder a la información científica Dolores Frías-Navarro http://www.uv.es/friasnav/

Práctica Basada en la Evidencia Ante esta situación de acumulación de conocimiento: resulta muy difícil la actualización constante de los conocimientos de los investigadores y profesionales que además, deben filtrar de modo adecuado con criterios de calidad o de exigencia científica los contenidos de las publicaciones cuya calidad es muy variada. *Los estudios varían en diseño, en metodología, en el tipo de población estudiada, en la intervención o en la calidad del diseño de investigación. **La Ciencia avanza por acumulación del conocimiento y en ese camino muchos resultados de trabajos de investigación son refutados o cambiados por otros nuevos estudios. Baja potencia estadística, sesgo de publicación, falacias estadísticas… ***Si además se añade la alta tasa de estudios de no replicación o de falta de confirmación de los hallazgos previos y la falta de unanimidad que puede existir en los resultados de la investigación científica entonces las COMPETENCIAS de valoración crítica de los hallazgos por parte del lector son indispensables para poder abordar la calidad de las pruebas aportadas por los estudios. Práctica Basada en la Evidencia Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro     6.-Lectura y valoración de un meta-análisis   1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Coincidiendo con ese momento de expansión del conocimiento a través de las publicaciones científicas y la necesidad de valoración crítica de los hallazgos surge un movimiento cuyo principal objetivo es cribar la información y hacerla accesible a los investigadores y profesionales para que puedan tomar sus decisiones clínicas basándose en las pruebas científicas de mayor calidad (validez de los resultados). Se trata del movimiento de la Medicina Basada en la Evidencia (MBE) que se ha generalizado al resto de las disciplinas científicas como Práctica Basada en la Evidencia (PBE). La Medicina Basada en la Evidencia implica “el uso consciente, explícito y juicioso de la mejor evidencia procedente de la investigación para tomar decisiones sobre el cuidado de pacientes”. Ya sean decisiones sobre diagnóstico, pronóstico o terapéuticas. http://www.uv.es/friasnav/PBE Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro I D E Z Lectura crítica o activa del estudio http://www.scielosp.org/scielo.php?pid=S0213-91112004000400011&script=sci_arttext Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro 01/junio/2016 Dolores Frías-Navarro http://www.uv.es/friasnav/

TAMAÑOS DEL EFECTOS INDIVIDUALES Revisión sistemática Meta-análisis La revisión sistemática integra toda la información disponible sobre un tema de interés o pregunta de investigación, basándose en criterios: -predefinidos, -explícitos y -reproducibles, permitiendo reducir los sesgos que generalmente están presentes en las tradicionales revisiones narrativas. El meta-análisis es la técnica estadística que permite combinar resultados sobre los efectos procedentes de diversos estudios individuales primarios identificados que PREVIAMENTE SIEMPRE son valorados críticamente a través de la elaboración de una revisión sistemática previa. TAMAÑOS DEL EFECTOS INDIVIDUALES Resumidos en: TAMAÑO DEL EFECTO MEDIO Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro El meta-análisis es un conjunto de herramientas estadísticas que se utilizan para resumir o sintetizar los resultados procedentes de una colección de estudios empíricos independientes sobre un mismo tema. Su principal campo de aplicación es como una herramienta cuantitativa de una ‘revisión sistemática’. Las principales técnicas que se utilizan en un trabajo de meta-análisis incluyen: Modelos para combinar los resultados (modelo de efectos fijos y modelo de efectos aleatorios). Cuantificación de la variabilidad de los resultados que se combinan (análisis de la heterogeneidad). Análisis de sensibilidad: identificación de las posibles diferencias entre los estudios (meta-análisis por subgrupos y meta-regresión). Efecto ‘outliers’. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Información que aporta un meta-anállisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Pensamiento meta-analítico Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro     6.-Lectura y valoración de un meta-análisis   1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Pensamiento meta-analítico La información sobre el tamaño del efecto y sus intervalos de confianza contribuyen a facilitar el pensamiento meta-analítico. Dicho pensamiento meta-analítico facilita: a) la formulación prospectiva de nuevas hipótesis y su diseño invocando explícitamente los tamaños del efecto previamente descubiertos en los estudios de meta-análisis y b) la interpretación retrospectiva de los nuevos resultados en comparación directa con los tamaños del efecto previamente descubiertos por la investigación anterior. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro El pensamiento meta-analítico facilita el proceso de integración y replicación, tan necesarios a la Ciencia, y que no han sido favorecidos por la aplicación rutinaria y excesivamente mecánica del contraste de hipótesis. *Informar del tamaño del efecto obliga al investigador a pensar meta-analíticamente, es decir, formulando los efectos específicos esperados en su investigación en función de los efectos anteriormente descubiertos en el conocimiento previo y explícitamente interpretados en relación con los efectos obtenidos en su propia investigación. *Además, pensar de forma meta-analítica supone evaluar cómo de estable son los efectos en la literatura revisada y por lo tanto evaluar en qué medida son efectos directamente comparables. En este sentido, los estudios de meta-análisis están ayudando al desarrollo del “pensamiento meta-analítico” entre los investigadores y profesionales. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Meta-análisis: informe de resultados. Tablas y gráficas forest plot -Los estudios de meta-análisis suelen presentar tablas y gráficos donde se detallan los datos individuales de cada estudio primario. -Gráficos de ‘forest plot’: se grafican con líneas independientes los tamaños del efecto de cada estudio primario revisado y sus intervalos de confianza junto con el tamaño del efecto medio que resume de forma cuantitativa los tamaños del efecto individuales. -Además, se incluye una línea vertical que indica la ausencia de asociación o efecto. -El tamaño del efecto de cada estudio individual se suele representar con un cuadrado. -Los tamaños del efecto de cada estudio individual son ponderados por el tamaño de la muestra, de tal manera que los estudios con un tamaño de muestra mayor tienen mayor peso en el cómputo del tamaño del efecto medio y son graficados con un cuadrado más grande. Puede existir otro tipo de ponderación (ej. calidad). -El tamaño del efecto medio que resume la evidencia cuantitativa de un meta-análisis se representa al final del gráfico con forma de diamante o con forma cuadrada de mayor tamaño. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Forest Plot Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

Estandarizada de medias d de Cohen Diferencia Estandarizada de medias Dolores Frías-Navarro http://www.uv.es/friasnav/

Índices del Tamaño del efecto. Equivalencias con la d de Coehn Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro -RESUMIENDO, en un trabajo de meta-análisis se combinan matemáticamente los tamaños del efecto de los estudios primarios y ofrece un tamaño del efecto medio, proporcionando de este modo una estimación más precisa del ‘verdadero efecto’ que un único estudio. -La combinación de las muestras de todos los trabajos primarios implica trabajar con una muestra más grande, aumentando la potencia estadística (como consecuencia disminuye el error de Tipo II) de las pruebas estadísticas y mejorando la precisión en la estimación del tamaño del efecto medio ya que se reduce su intervalo de confianza. -Puede ocurrir que en los estudios primarios con tamaños de muestra reducida los resultados conduzcan a una ausencia de diferencias estadísticamente significativas pero al combinarlos matemáticamente es posible que se detecten efectos beneficios de la intervención al detectar diferencias estadísticamente significativas ya que se ha aumentando la potencia de la prueba estadística. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Meta-análisis: informe de resultados. Tablas y gráficas Funnel Plot SESGO DE PUBLICACIÓN https://www.youtube.com/watch?v=UUk0zas0VL4 Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro SESGO DE PUBLICACIÓN Representa una amenaza potencial en todas las áreas de la investigación: investigación cualitativa, estudios cuantitativos primarios, revisiones sistemáticas narrativas y revisiones cuantitativas o meta-análisis. PROVOCA una sobreestimación del tamaño del efecto en los estudios publicados. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

VISIONAR LA PRESENTACIÓN. Subtitulada en castellano SESGO DE PUBLICACIÓN VISIONAR LA PRESENTACIÓN. Subtitulada en castellano https://www.youtube.com/watch?v=diA2CPBwNK4 PROVOCA una sobreestimación del tamaño del efecto en los estudios publicados. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro SESGO DE PUBLICACIÓN Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro En resumen Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro En definitiva, la calidad de la evidencia proporcionada por las revisiones sistemáticas y por los trabajos de meta-análisis está directamente vinculada con la calidad de los diseños de investigación de los estudios primarios incluidos en la revisión. -Un trabajo de meta-análisis no soluciona los problemas metodológicos que los estudios primarios pudieran tener. -Las revisiones sistemáticas cualitativas y los trabajos de meta-análisis que se ejecutan con estudios primarios realizados con una metodología experimental o ensayo clínico controlado aleatorio y muestras grandes constituyen la evidencia de máxima calidad. -Cuando la temática de la investigación no permite trabajar con estudios primarios efectuados con metodología experimental o las muestras son muy pequeñas también pueden realizarse meta-análisis pero la interpretación de los hallazgos debe ser cautelosa y sobre todo exploratoria, facilitando nuevas hipótesis de trabajo que será necesario contrastarlas posteriormente. Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Es recomendable que los estudios de meta-análisis analicen los efectos por subgrupos comparando los resultados de los estudios con diseños de mayor calidad con los estudios que se han elaborado con diseños cuyo riesgo de sesgo es mayor. *Incluir en el estudio de meta-análisis un análisis del RIESGO DE SESGO de cada estudio primario. Leer el documento aportado en la web del curso. Nombre del documento: riesgodeSesgo.pdf Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro http://www.uv.es/friasnav/

Existen actualmente dos organizaciones internacionales dirigidas a preparar, promover y mantener revisiones sistemáticas y estudios meta-analíticos sobre la eficacia de las intervenciones en diversos ámbitos La Campbell Collaboration. Área de las Ciencias del Comportamiento, la Educación, la Criminología y el Trabajo Social. http://www.campbellcollaboration.org/   La Cochrane Collaboration. Área de las Ciencias de la Salud. http://www.cochrane.org En España: Centro Cohrane Iberoamericano (Barcelona): http://www.cochrane.es / Dolores Frías-Navarro http://www.uv.es/friasnav/

Dolores Frías-Navarro Fin de la primera parte Gracias por la atención Y muy especialmente a los alumnos que asisten a distancia Dolores Frías-Navarro http://www.uv.es/friasnav/