La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Lectura y valoración de un

Presentaciones similares


Presentación del tema: "Lectura y valoración de un"— Transcripción de la presentación:

1 Lectura y valoración de un
Programa de Doctorado de Metodología de Investigación. Facultad de Psicología Junio de 2016 Lectura y valoración de un meta-análisis Dolores Frías-Navarro Universidad de Valencia Facultad de Psicología 1

2 Dolores Frías-Navarro
    6.-Lectura y valoración de un meta-análisis 1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro

3 Dolores Frías-Navarro

4 Dolores Frías-Navarro
    6.-Lectura y valoración de un meta-análisis 1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro

5 Dolores Frías-Navarro
UBICACIÓN DEL ESTUDIO DE META-ANÁLISIS DENTRO DEL PROCESO DE DISEÑO DE UNA INVESTIGACIÓN Discusión: integración de resultados y pensamiento meta-analítico Introducción Título junto con la pregunta de investigación: si se trata de elaborar un trabajo de meta-análisis Dolores Frías-Navarro

6 Localización de las pruebas o evidencias
Introducción Localización de las pruebas o evidencias Un importante apoyo para la localización de las pruebas o evidencias que utilizaremos en nuestro estudio o en nuestra tarea profesional es buscar y leer la evidencia generada por otros investigadores mediante: ***las revisiones sistemáticas y ***los trabajos de meta-análisis

7 Dolores Frías-Navarro
REVISIONES SOBRE UNA TEMÁTICA: Dolores Frías-Navarro

8 Revisión narrativa de la literatura y revisiones sistemáticas
CALIDAD DEPENDE DEL CREADOR DE LA REVISIÓN NARRATIVA O EXPERTO Dolores Frías-Navarro

9 Revisión narrativa de la literatura
EL CREADOR DE LA REVISIÓN NARRATIVA: -Tradicionalmente las revisiones han sido narrativas o cualitativas elaboradas por un experto en la materia a partir de una selección de artículos o informes de investigación. -Los criterios de selección de los artículos que utiliza el experto y qué resultados son incluidos en su revisión narrativa son cuestiones que no suelen estar argumentadas en una revisión narrativa y dependen del criterio del revisor. -El investigador obtiene una serie de conclusiones después de revisar la información que ha seleccionado y su propia experiencia sobre la temática. -Dichas conclusiones se presentan generalmente en un artículo de revisión cualitativa. -No existe un protocolo externo sistemático y estructurado de revisión, dificultando la replicación de la revisión efectuada. -Ni tampoco se informa de criterios externos que determinen la calidad de las publicaciones revisadas. -Utiliza un proceso interno de búsqueda de la información que no se detalla en la revisión y el lector desconoce las razones de los autores para enfatizar ciertos trabajos que se consideran clave en la revisión. -Muy probablemente otro investigador experto puede consultar otras referencias bibliográficas en función de una serie de razones subjetivas y como consecuencia obtener conclusiones diferentes. Dolores Frías-Navarro

10 Revisión narrativa de la literatura
EL LECTOR DE LA REVISIÓN NARRATIVA: -El lector de una revisión narrativa tiene que valorar su calidad, tratando de discernir si los documentos citados han sido seleccionados para apoyar el punto de vista específico del autor de la revisión o son fundamentales para entender la evidencia que existe hasta el momento sobre la cuestión revisada. -Es muy difícil valorar la calidad de la revisión narrativa porque su creador no ofrece información ni sobre la localización de las pruebas ni sobre la valoración científica que ha hecho de ellas antes de que formen parte de su revisión narrativa. La calidad de las revisiones narrativas está relacionada de forma directa con la experiencia y formación científica del autor o autores en la temática objeto de la revisión. En resumen: -Carácter subjetivo de la revisión narrativa dado que no se dispone de las reglas que guían la revisión. -Los aspectos metodológicos de los estudios primarios no son valorados críticamente, o al menos no se informa al lector, dentro de una perspectiva de búsqueda de la mejor evidencia o las mejores pruebas. -Actualmente son estudios poco útiles para resumir la evidencia dado su carácter subjetivo y la acumulación constante de información que dificulta su revisión sin protocolos. Dolores Frías-Navarro

11 Revisión narrativa de la literatura
EXCEPCIONES Las publicaciones de las series del Annual Review se consideran una fuente de información secundaria de gran valor científico y sus revistas tienen un alto factor de impacto en el índice de Journal Citation Reports (JCR) de la base WoS. Por ejemplo desde 1932 las series Annual Review ofrecen revisiones críticas de estudios primarios elaboradas por destacados científicos reconocidos dentro de la comunidad científica como expertos en una determinada cuestión Dolores Frías-Navarro

12 Dolores Frías-Navarro

13 2. Revisión sistemática cuantitativa o meta-análisis
Y 2. Revisión sistemática cuantitativa o meta-análisis Dolores Frías-Navarro

14 Dolores Frías-Navarro
A partir de la década de los ochenta del siglo XX la revisión del conocimiento previo o literatura sobre un problema de investigación se convierte en un método de investigación sistemático, transparente y replicable -La acumulación de información científica crece de forma rápida, dificultando la actualización de los conocimientos de los científicos y profesionales. -Las revistas científicas se han convertido en el canal de transmisión del conocimiento producido por las investigaciones. -En el año 2013 la base de datos ‘PubMed’ tiene más de 22 millones de citas bibliográficas y cada semana se añaden en torno a 1º Acceder a la información científica Dolores Frías-Navarro

15 Práctica Basada en la Evidencia
Ante esta situación de acumulación de conocimiento: resulta muy difícil la actualización constante de los conocimientos de los investigadores y profesionales que además, deben filtrar de modo adecuado con criterios de calidad o de exigencia científica los contenidos de las publicaciones cuya calidad es muy variada. *Los estudios varían en diseño, en metodología, en el tipo de población estudiada, en la intervención o en la calidad del diseño de investigación. **La Ciencia avanza por acumulación del conocimiento y en ese camino muchos resultados de trabajos de investigación son refutados o cambiados por otros nuevos estudios. Baja potencia estadística, sesgo de publicación, falacias estadísticas… ***Si además se añade la alta tasa de estudios de no replicación o de falta de confirmación de los hallazgos previos y la falta de unanimidad que puede existir en los resultados de la investigación científica entonces las COMPETENCIAS de valoración crítica de los hallazgos por parte del lector son indispensables para poder abordar la calidad de las pruebas aportadas por los estudios. Práctica Basada en la Evidencia Dolores Frías-Navarro

16 Dolores Frías-Navarro
    6.-Lectura y valoración de un meta-análisis 1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro

17 Dolores Frías-Navarro
Coincidiendo con ese momento de expansión del conocimiento a través de las publicaciones científicas y la necesidad de valoración crítica de los hallazgos surge un movimiento cuyo principal objetivo es cribar la información y hacerla accesible a los investigadores y profesionales para que puedan tomar sus decisiones clínicas basándose en las pruebas científicas de mayor calidad (validez de los resultados). Se trata del movimiento de la Medicina Basada en la Evidencia (MBE) que se ha generalizado al resto de las disciplinas científicas como Práctica Basada en la Evidencia (PBE). La Medicina Basada en la Evidencia implica “el uso consciente, explícito y juicioso de la mejor evidencia procedente de la investigación para tomar decisiones sobre el cuidado de pacientes”. Ya sean decisiones sobre diagnóstico, pronóstico o terapéuticas. Dolores Frías-Navarro

18 Dolores Frías-Navarro
I D E Z Lectura crítica o activa del estudio Dolores Frías-Navarro

19 Dolores Frías-Navarro
01/junio/2016 Dolores Frías-Navarro

20 TAMAÑOS DEL EFECTOS INDIVIDUALES
Revisión sistemática Meta-análisis La revisión sistemática integra toda la información disponible sobre un tema de interés o pregunta de investigación, basándose en criterios: -predefinidos, -explícitos y -reproducibles, permitiendo reducir los sesgos que generalmente están presentes en las tradicionales revisiones narrativas. El meta-análisis es la técnica estadística que permite combinar resultados sobre los efectos procedentes de diversos estudios individuales primarios identificados que PREVIAMENTE SIEMPRE son valorados críticamente a través de la elaboración de una revisión sistemática previa. TAMAÑOS DEL EFECTOS INDIVIDUALES Resumidos en: TAMAÑO DEL EFECTO MEDIO Dolores Frías-Navarro

21 Dolores Frías-Navarro
El meta-análisis es un conjunto de herramientas estadísticas que se utilizan para resumir o sintetizar los resultados procedentes de una colección de estudios empíricos independientes sobre un mismo tema. Su principal campo de aplicación es como una herramienta cuantitativa de una ‘revisión sistemática’. Las principales técnicas que se utilizan en un trabajo de meta-análisis incluyen: Modelos para combinar los resultados (modelo de efectos fijos y modelo de efectos aleatorios). Cuantificación de la variabilidad de los resultados que se combinan (análisis de la heterogeneidad). Análisis de sensibilidad: identificación de las posibles diferencias entre los estudios (meta-análisis por subgrupos y meta-regresión). Efecto ‘outliers’. Dolores Frías-Navarro

22 Dolores Frías-Navarro
Información que aporta un meta-anállisis Dolores Frías-Navarro

23 Pensamiento meta-analítico
Dolores Frías-Navarro

24 Dolores Frías-Navarro
    6.-Lectura y valoración de un meta-análisis 1. Revisión narrativa y revisión sistemática cuantitativa 2. Práctica Basada en la Evidencia y meta-análisis 3. Tamaño del efecto y pensamiento meta-analítico 4. Proceso de elaboración de un trabajo de meta-análisis 5. Lectura crítica de un trabajo de meta-análisis 6. Valoración del informe de resultados de un trabajo de meta-análisis 7. Evaluación del riesgo de sesgo en un trabajo de meta-análisis 8. Uso de las guías o listados para chequear la calidad del meta-análisis Dolores Frías-Navarro

25 Dolores Frías-Navarro
Pensamiento meta-analítico La información sobre el tamaño del efecto y sus intervalos de confianza contribuyen a facilitar el pensamiento meta-analítico. Dicho pensamiento meta-analítico facilita: a) la formulación prospectiva de nuevas hipótesis y su diseño invocando explícitamente los tamaños del efecto previamente descubiertos en los estudios de meta-análisis y b) la interpretación retrospectiva de los nuevos resultados en comparación directa con los tamaños del efecto previamente descubiertos por la investigación anterior. Dolores Frías-Navarro

26 Dolores Frías-Navarro
El pensamiento meta-analítico facilita el proceso de integración y replicación, tan necesarios a la Ciencia, y que no han sido favorecidos por la aplicación rutinaria y excesivamente mecánica del contraste de hipótesis. *Informar del tamaño del efecto obliga al investigador a pensar meta-analíticamente, es decir, formulando los efectos específicos esperados en su investigación en función de los efectos anteriormente descubiertos en el conocimiento previo y explícitamente interpretados en relación con los efectos obtenidos en su propia investigación. *Además, pensar de forma meta-analítica supone evaluar cómo de estable son los efectos en la literatura revisada y por lo tanto evaluar en qué medida son efectos directamente comparables. En este sentido, los estudios de meta-análisis están ayudando al desarrollo del “pensamiento meta-analítico” entre los investigadores y profesionales. Dolores Frías-Navarro

27 Dolores Frías-Navarro
Meta-análisis: informe de resultados. Tablas y gráficas forest plot -Los estudios de meta-análisis suelen presentar tablas y gráficos donde se detallan los datos individuales de cada estudio primario. -Gráficos de ‘forest plot’: se grafican con líneas independientes los tamaños del efecto de cada estudio primario revisado y sus intervalos de confianza junto con el tamaño del efecto medio que resume de forma cuantitativa los tamaños del efecto individuales. -Además, se incluye una línea vertical que indica la ausencia de asociación o efecto. -El tamaño del efecto de cada estudio individual se suele representar con un cuadrado. -Los tamaños del efecto de cada estudio individual son ponderados por el tamaño de la muestra, de tal manera que los estudios con un tamaño de muestra mayor tienen mayor peso en el cómputo del tamaño del efecto medio y son graficados con un cuadrado más grande. Puede existir otro tipo de ponderación (ej. calidad). -El tamaño del efecto medio que resume la evidencia cuantitativa de un meta-análisis se representa al final del gráfico con forma de diamante o con forma cuadrada de mayor tamaño. Dolores Frías-Navarro

28 Dolores Frías-Navarro
Forest Plot Dolores Frías-Navarro

29 Dolores Frías-Navarro

30 Dolores Frías-Navarro

31 Estandarizada de medias
d de Cohen Diferencia Estandarizada de medias Dolores Frías-Navarro

32 Índices del Tamaño del efecto. Equivalencias con la d de Coehn
Dolores Frías-Navarro

33 Dolores Frías-Navarro
-RESUMIENDO, en un trabajo de meta-análisis se combinan matemáticamente los tamaños del efecto de los estudios primarios y ofrece un tamaño del efecto medio, proporcionando de este modo una estimación más precisa del ‘verdadero efecto’ que un único estudio. -La combinación de las muestras de todos los trabajos primarios implica trabajar con una muestra más grande, aumentando la potencia estadística (como consecuencia disminuye el error de Tipo II) de las pruebas estadísticas y mejorando la precisión en la estimación del tamaño del efecto medio ya que se reduce su intervalo de confianza. -Puede ocurrir que en los estudios primarios con tamaños de muestra reducida los resultados conduzcan a una ausencia de diferencias estadísticamente significativas pero al combinarlos matemáticamente es posible que se detecten efectos beneficios de la intervención al detectar diferencias estadísticamente significativas ya que se ha aumentando la potencia de la prueba estadística. Dolores Frías-Navarro

34 Dolores Frías-Navarro
Meta-análisis: informe de resultados. Tablas y gráficas Funnel Plot SESGO DE PUBLICACIÓN Dolores Frías-Navarro

35 Dolores Frías-Navarro
SESGO DE PUBLICACIÓN Representa una amenaza potencial en todas las áreas de la investigación: investigación cualitativa, estudios cuantitativos primarios, revisiones sistemáticas narrativas y revisiones cuantitativas o meta-análisis. PROVOCA una sobreestimación del tamaño del efecto en los estudios publicados. Dolores Frías-Navarro

36 Dolores Frías-Navarro

37 VISIONAR LA PRESENTACIÓN. Subtitulada en castellano
SESGO DE PUBLICACIÓN VISIONAR LA PRESENTACIÓN. Subtitulada en castellano PROVOCA una sobreestimación del tamaño del efecto en los estudios publicados. Dolores Frías-Navarro

38 Dolores Frías-Navarro
SESGO DE PUBLICACIÓN Dolores Frías-Navarro

39 Dolores Frías-Navarro

40 Dolores Frías-Navarro

41 Dolores Frías-Navarro
En resumen Dolores Frías-Navarro

42 Dolores Frías-Navarro
En definitiva, la calidad de la evidencia proporcionada por las revisiones sistemáticas y por los trabajos de meta-análisis está directamente vinculada con la calidad de los diseños de investigación de los estudios primarios incluidos en la revisión. -Un trabajo de meta-análisis no soluciona los problemas metodológicos que los estudios primarios pudieran tener. -Las revisiones sistemáticas cualitativas y los trabajos de meta-análisis que se ejecutan con estudios primarios realizados con una metodología experimental o ensayo clínico controlado aleatorio y muestras grandes constituyen la evidencia de máxima calidad. -Cuando la temática de la investigación no permite trabajar con estudios primarios efectuados con metodología experimental o las muestras son muy pequeñas también pueden realizarse meta-análisis pero la interpretación de los hallazgos debe ser cautelosa y sobre todo exploratoria, facilitando nuevas hipótesis de trabajo que será necesario contrastarlas posteriormente. Dolores Frías-Navarro

43 Dolores Frías-Navarro
Es recomendable que los estudios de meta-análisis analicen los efectos por subgrupos comparando los resultados de los estudios con diseños de mayor calidad con los estudios que se han elaborado con diseños cuyo riesgo de sesgo es mayor. *Incluir en el estudio de meta-análisis un análisis del RIESGO DE SESGO de cada estudio primario. Leer el documento aportado en la web del curso. Nombre del documento: riesgodeSesgo.pdf Dolores Frías-Navarro

44 Dolores Frías-Navarro

45 Existen actualmente dos organizaciones internacionales dirigidas a preparar, promover y mantener revisiones sistemáticas y estudios meta-analíticos sobre la eficacia de las intervenciones en diversos ámbitos La Campbell Collaboration. Área de las Ciencias del Comportamiento, la Educación, la Criminología y el Trabajo Social.   La Cochrane Collaboration. Área de las Ciencias de la Salud. En España: Centro Cohrane Iberoamericano (Barcelona): / Dolores Frías-Navarro

46 Dolores Frías-Navarro
Fin de la primera parte Gracias por la atención Y muy especialmente a los alumnos que asisten a distancia Dolores Frías-Navarro


Descargar ppt "Lectura y valoración de un"

Presentaciones similares


Anuncios Google