1 Universidad de Sevilla Facultad de Psicología Máster Universitario en Estudios Avanzados en Cerebro y Conducta Asignatura: Diseño y Medición en Programas de Intervención Neuropsicológica Meta-análisis (I) Ponente: Prof. Julio Sánchez Meca Facultad de Psicología Unidad de Meta-análisis Universidad de Murcia de Diciembre, 2015

2 Objetivos  Conocer qué son los meta-análisis y las revisiones sistemáticas, y demostrar la utilidad que tienen dentro del enfoque de la Psicología Basada en la Evidencia (PBE)  Conocer las fases en las que se lleva a cabo un meta- análisis  Interpretar correctamente los diferentes índices del tamaño del efecto que se aplican habitualmente en los meta-análisis en Neuropsicología  Sentar las bases para la realización de estudios meta- analíticos  Aprender a hacer lectura crítica de estudios meta-analíticos

3 Esquema 1. Psicología Basada en la Evidencia, meta- análisis y revisiones sistemáticas 2. Fases de un meta-análisis 3. Índices del tamaño del efecto en meta-análisis 4. Interpretación de resultados en meta-análisis 5. El programa RevMan Meta-análisis: Ventajas y limitaciones

4 Botella, J. y Sánchez Meca, J. (2015). Meta-análisis en Ciencias Sociales y de la Salud. Madrid: Síntesis. Sánchez Meca, J. y Botella, J. (2010). Revisiones sistemáticas y meta-análisis: herramientas para la práctica profesional. Papeles del Psicólogo, 31, [Doc nº 05] Demakis, G. J. (2006). Meta-analysis in neuropsychology: An introduction. Clinical Neuropsychologist, 20, 5-9. [Doc nº 6] Demakis, G. J. (2006). Meta-analysis in neuropsychology: Basic approaches, findings, and applications. Clinical Neuropsychologist, 20, [Doc nº 7] Material de consulta

5 Ejemplos de meta-análisis: Sánchez-Meca, J., Rosa-Alcázar, A.I., Marín-Martínez, F., y Gómez-Conesa, A. (2010). The psychological treatment of panic disorder with or without agoraphobia: A meta- analysis. Clinical Psychology Review, 30, [Doc nº 08] Reger, M. A., Welsh, R. K., Watson, G. S., Cholerton, B., Baker, L. D. y Craft, S. (2004). The relationship between neuropsychological functioning and driving ability in dementia: A meta-analysis. Neuropsychology, 18, [Doc nº 09] Material de consulta

6 1. PBE, Meta-análisis y RR SS  La Psicología Basada en la Evidencia (PBE) es un método de trabajo al servicio del clínico / profesional, por el que se pretende poner a disposición de éste las mejores pruebas (evidencias) científicas acerca de la eficacia de un tratamiento, de un método de diagnóstico, de los factores de riesgo / prevención de una enfermedad, etc., en el menor tiempo posible con la ayuda de las nuevas tecnologías y, en especial, de Internet  Todo ello con el objeto de ayudar en la toma de decisiones que el clínico / profesional / gestor / político constantemente tiene que adoptar ante pacientes individuales, o en la toma de decisiones en materia de política sanitaria / social / educativa, etc.

7 1 Los resultados de los ECAs son homogéneos. 2 Se cumple cuando todos los pacientes morían antes de que el tratamiento estuviera disponible, pero ahora algunos sobreviven a él; o cuando algunos pacientes morían antes de que el tratamiento estuviera disponible, pero ahora ninguno muere tras él. 3 Estudia una cohorte de pacientes con el mismo diagnóstico y relaciona sus resultados clínicos con los cuidados que han recibido. 4 Se trata de los principios patofisiológicos utilizados para determinar la práctica clínica. ¿Y cuáles son las mejores evidencias o pruebas? 1. PBE, Meta-análisis y RR SS

8  Una revisión sistemática es una investigación en la que se formula una pregunta claramente definida y, para darle respuesta, se seleccionan los estudios empíricos que han abordado dicha pregunta, se analizan y se integran con objeto de obtener un resumen de las evidencias (o pruebas) acerca de dicho problema  Un meta-análisis es una revisión sistemática en la que se aplican métodos estadísticos para integrar los resultados de un conjunto de estudios empíricos sobre un determinado problema  Característica esencial: Aplicar las mismas normas de rigor científico exigidas en los ensayos clínicos  Objetividad  Sistematización  Replicabilidad 1. PBE, Meta-análisis y RR SS

99 Otras dos definiciones de meta-análisis: “Meta-análisis es la síntesis estadística de los datos de estudios diferentes pero similares, es decir, estudios comparables, que proporciona un resumen numérico de los resultados globales” (Chalmers et al., 2002, p. 17). “Meta-análisis es el análisis estadístico de una gran colección de resultados de trabajos individuales con el propósito de integrar los hallazgos obtenidos” (Glass, 1976, p. 3). Fuentes: Chalmers, I., Hedges, L.V. y Cooper, H. (2002). A brief history of research synthesis. Evaluation and the Health Professions, 25: Glass, G.V. (1976). Primary, secondary, and meta-analysis of research. Educational Researcher, 10: PBE, Meta-análisis y RR SS

10  Todo meta-análisis es una revisión sistemática, pero no toda revisión sistemática es un meta-análisis.  Tipos de meta-análisis: ECA: Ensayo Controlado Aleatorizado (estudio experimental con asignación aleatoria de participantes a condiciones experimentales) 1. PBE, Meta-análisis y RR SS

11 Ejemplos de meta-análisis: Bäckman, L.; Jones, S., Berger, A.-K., Lauka, E. J. y Small, B. J. (2005). Cognitive impairment in preclinical Alzheimer’s disease: A meta-analysis. Neuropsychology, 19, Frazier, T. W., Demaree, H. A. y Youngstrom, E. A. (2004). Meta-analysis of intellectual and neuropsychological test performance in attention-deficit/hyperactivity disorder. Neuropsychology, 18, Gray, H. M. y Tickle-Degnen, L. (2010). A meta-analysis of performance on emotion recognition tasks in Parkinson’s disease. Neuropsychology, 24, Reger, M. A., Welsh, R. K., Watson, G. S., Cholerton, B., Baker, L. D. y Craft, S. (2004). The relationship between neuropsychological functioning and driving ability in dementia: A meta-analysis. Neuropsychology, 18, PBE, Meta-análisis y RR SS

12  Los meta-análisis de ECAs aportan las mejores evidencias (pruebas) acerca de la eficacia de un tratamiento  Los meta-análisis de estudios observacionales (estudios no experimentles) pueden sufrir sesgos de selección y confundidos debido a la pobre calidad de los estudios originales  Por tanto, se aconseja en el caso de los estudios observacionales examinar los posibles sesgos cuando se hacen meta-análisis, dedicando especial atención al examen de las posibles fuentes de heterogeneidad entre los resultados de los estudios  Pero es perfectamente lícito realizar meta-análisis de estudios observacionales 1. PBE, Meta-análisis y RR SS

2. Fases de un meta-análisis 1. Formulación del problema 2. Búsqueda de la literatura 3. Codificación de los estudios 4. Medida del resultado de los estudios 5. Análisis e interpretación 6. Publicación

2. Fases de un meta-análisis 1. Formulación del problema  ¿Cuando debe hacerse un meta-análisis? “Cuando existan resultados contradictorios (o heterogéneos) en un campo de investigación, o se desee conocer el grado de eficacia de cierta intervención sobre determinados sujetos”  Planteamiento de los objetivos: la pregunta debe quedar claramente formulada  Definición conceptual y operativa de los constructos y las variables implicados  Formulación de hipótesis (si las hubiere)

15 1. Formulación del problema EJEMPLO: En el meta-análisis de Sánchez-Meca et al. (2010) sobre la eficacia del tratamiento psicológico del trastorno de pánico con o sin agorafobia, identifique cuál era el problema objeto de estudio y los objetivos [Véase Doc nº 08] 2. Fases de un meta-análisis

16 2. Búsqueda de la literatura 2.1 Especificación de los criterios de selección de los estudios: ¿Cuál es el rango temporal de la búsqueda? ¿Qué tipos de estudios empíricos? (experimentales, cuasi-experimentales, correlacionales, observacionales, etc.) ¿Qué datos estadísticos mínimos tienen que aportar? (medias, desviaciones típicas, correlaciones, pruebas T, ANOVAs, frecuencias, proporciones, etc.) Características de los participantes (sexo, edad, tipos de trastorno, etc.) Idioma(s) de publicación aceptado(s) 2. Fases de un meta-análisis

17 2. Búsqueda de la literatura EJEMPLO: En el meta-análisis de Sánchez-Meca et al. (2010) sobre la eficacia del tratamiento psicológico del trastorno de pánico con o sin agorafobia, identifique los criterios de selección de los estudios [Véase Doc nº 08] 2. Fases de un meta-análisis

18 2. Búsqueda de la literatura 2.2 Procedimientos de localización de los estudios: Fuentes formales: índices de citación, bases electrónicas (PsycInfo, MedLine, ERIC, Google Académico, etc.), consulta directa de revistas, libros, capítulos de libro, consulta de referencias de los estudios recuperados, etc. Fuentes informales: colegios invisibles, literatura ‘fugitiva’ o ‘gris’, consulta a expertos en el tema, tesis doctorales, actas de congresos, informes técnicos no publicados, etc. 2. Fases de un meta-análisis

19 2. Búsqueda de la literatura  El problema del sesgo de publicación El sesgo de publicación es el fenómeno que, en ocasiones, ocurre en un campo de investigación cuando la mayoría de los estudios publicados presentan resultados estadísticamen- te significativos, mientras que los estudios con resultados estadísticamente no significativos a penas logran ser publica- dos Un meta-análisis que incluya sólo estudios publicados puede sobreestimar el verdadero efecto, incurriendo en un sesgo de estimación del efecto objeto de estudio 2. Fases de un meta-análisis

20 2. Búsqueda de la literatura 2. Fases de un meta-análisis EJEMPLO: En el meta-análisis de Sánchez-Meca et al. (2010) sobre la eficacia del tratamiento psicológico del trastorno de pánico con o sin agorafobia, identifique las estrategias de búsqueda de los estudios utilizadas, distinguiendo entre fuentes formales e informales [Véase Doc nº 08]

21 3. Codificación de los estudios Tipos de características o variables potencialmente moderadoras de los resultados de los estudios:  Características metodológicas: tipo de diseño, calidad del estudio, tamaño muestral, mortalidad experimental, control de variables extrañas, enmascaramiento del evaluador, etc.  Características sustantivas:  De tratamiento (orientación teórica, duración, intensidad, grupal versus individual, etc.)  De sujeto (género, edad, gravedad del problema, antigüedad del problema, tipo de problema, nivel socioeconómico, etc.)  De contexto (lugar de la intervención, país, región, etc.) 2. Fases de un meta-análisis

22  Características extrínsecas (fecha del estudio, sexo del investigador principal, tipo de publicación, formación del investigador, fuente de financiación y su posible conflicto de intereses, etc.) Muy importante: Analizar la fiabilidad del proceso de codificación de las características de los estudios mediante el cálculo de: (a) Coeficiente Kappa de Cohen (para variables cualitativas) (b) Coeficiente de correlación intra-clase (para variables continuas) 2. Fases de un meta-análisis 3. Codificación de los estudios

23 2. Fases de un meta-análisis 3. Codificación de los estudios EJEMPLO: En el meta-análisis de Sánchez-Meca et al. (2010) sobre la eficacia del tratamiento psicológico del trastorno de pánico con o sin agorafobia, identifique las características de los estudios codificadas y clasifíquelas según su naturaleza en: [Véase Doc nº 08] (a) Metodológicas (b) Sustantivas: - De tratamiento - De sujeto - De contexto (c) Extrínsecas Exponga el estudio de la fiabilidad de la codificación y sus resultados

24 4. Medida del resultado de los estudios  Necesitamos un índice cuantitativo (estadístico) del resultado obtenido en cada estudio aplicable a todos ellos  Los niveles p resultantes de las pruebas de significación no son el mejor modo de representar el resultado cuantitativo de los estudios, porque se dejan afectar por el tamaño de la muestra: Prueba de significación = Tamaño del estudio Tamaño del efecto x 2. Fases de un meta-análisis

25 4. Medida del resultado de los estudios 2. Fases de un meta-análisis

26 4. Medida del resultado de los estudios  El mejor índice es el tamaño del efecto  El tamaño del efecto es un índice cuantitativo que refleja el grado en que existe el fenómeno (psicológico, médico, clínico, educativo, social, etc.) que el estudio está investigando  Su principal ventaja: Puede obtenerse de forma homogénea en todos los estudios de un meta-análisis, independientemen- te de las variables medidas, del diseño de investigación y de las características particulares de los estudios  Muy importante: analizar la fiabilidad de los cálculos del tamaño del efecto con el coeficiente de correlación intra-clase 2. Fases de un meta-análisis

4. Medida del resultado de los estudios 2. Fases de un meta-análisis EJEMPLO: En el meta-análisis de Sánchez Meca et al. (2010) sobre la eficacia del tratamiento psicológico del trastorno de pánico con o sin agorafobia, identifique el índice del tamaño del efecto utilizado en los estudios [Véase Doc nº 08]

28 5. Análisis e interpretación ¿A qué preguntas puede responder un meta-análisis?  ¿Cuál es la magnitud media del efecto encontrado en los estudios meta-analizados?  ¿Es significativa (estadística y prácticamente) dicha magnitud del efecto medio?  ¿Son homogéneos los efectos encontrados en los estudios en torno al efecto medio?  En caso contrario, ¿qué características de los estudios pueden estar provocando la heterogeneidad encontrada entre los estudios?  ¿Es posible formular un modelo explicativo que contemple aquellos factores de los estudios que mejor den cuenta de la heterogeneidad exhibida entre ellos? 2. Fases de un meta-análisis

29  Para responder a estas preguntas se aplican técnicas estadísticas específicamente desarrolladas para tratar los datos cuantitativos y cualitativos recogidos en un meta- análisis  Un aspecto fundamental de las técnicas meta-analíticas: El peso que cada estudio ejerce en los cálculos meta-analíticos está en función de su precisión que, a su vez, depende del tamaño muestral: A mayor tamaño muestral, mayor peso específico 2. Fases de un meta-análisis 5. Análisis e interpretación

30 6. Publicación  La publicación de un meta-análisis debe cumplir con las mismas normas de rigor que se exige a la publicación de una investigación original: 1. Introducción (a) Presentar una panorámica del problema investigado (b) Discutir las investigaciones previas (c) Describir los modelos teóricos propuestos en la literatura (d) Definir los constructos y variables implicados (e) Plantear los objetivos e hipótesis del meta-análisis 2. Fases de un meta-análisis

31 2. Método (a) Selección de los estudios (criterios de selección, estrategias de búsqueda de los estudios, resultados de la búsqueda, fiabilidad del proceso de selección de los estudios) (b) Codificación de los estudios (definición de las características de los estudios que se han registrado; fiabilidad del proceso de codificación) (c) Índice del tamaño del efecto utilizado para representar de forma cuantitativa el resultado de cada estudio. Fiabilidad del proceso de cálculo del tamaño del efecto de los estudios (d) Técnicas de meta-análisis aplicadas sobre la base de datos obtenidos (modelo de efectos fijos vs. modelo de efectos aleatorios) 2. Fases de un meta-análisis 6. Publicación

32 3. Resultados (a) Descripción de la distribución de las características de los estudios (b) Presentar la distribución de los tamaños del efecto obtenidos en los estudios (a ser posible, mediante un forest plot) (c) Presentar el tamaño del efecto medio obtenido, con su intervalo de confianza y su interpretación estadística y práctica (d) Análisis del sesgo de publicación (e) Presentar el resultado de la prueba de homogeneidad de los tamaños del efecto en torno a su efecto medio (f) Presentar los resultados de los análisis de las variables moderadoras de la heterogeneidad entre los estudios 2. Fases de un meta-análisis 6. Publicación

33 4. Discusión (a) Poner en relación los resultados del meta-análisis con los objetivos e hipótesis formulados (b) Discutir los resultados obtenidos con los de las investigaciones previas (c) Discutir el alcance de los resultados obtenidos en términos de relevancia práctica (clínica, médica, educativa, social, etc.) (d) Identificar posibles deficiencias/limitaciones del meta-análisis (e) Apuntar líneas de investigación futura en el campo 5. Referencias 6. Lista de estudios incluidos en el meta-análisis 2. Fases de un meta-análisis 6. Publicación