Universidad de Sevilla Facultad de Psicología Máster Universitario en Estudios Avanzados en Cerebro y Conducta Asignatura: Diseño y Medición en Programas de Intervención Neuropsicológica Meta-análisis (II) Ponente: Prof. Julio Sánchez Meca Facultad de Psicología Unidad de Meta-análisis Universidad de Murcia de Diciembre, 2015

2 3. Índices del tamaño del efecto en meta-análisis 1. Concepto y tipos de tamaños del efecto 2. La familia d 3. La familia r 4. El tamaño del efecto: interpretación práctica

3  El tamaño del efecto es un índice estadístico que refleja el grado en que existe el fenómeno (clínico, médico, psicológico, etc.) que se pretende estudiar (Cohen, 1988) “El tamaño del efecto es una representación cuantitativa de la magnitud de un fenómeno que se utiliza para responder a una pregunta de interés” (Kelley y Preacher, 2012) Referencias: Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2ª ed.). Hillsdale, NJ: LEA. Kelley, K. y Preacher, K. J. (2012). On Effect Size. Psychological Methods, 17, 137– Concepto y tipos de tamaño del efecto 3. Índices del tamaño del efecto en meta-análisis

4  Existen muchos índices del tamaño del efecto, dependiendo de: (a) Los objetivos de la investigación (b) El diseño del estudio (c) La naturaleza de las variables  En un ECA en el que se comparan dos grupos de pacientes, uno que recibe y otro que no recibe el tratamiento, la medida del efecto refleja el grado en que el tratamiento ofrece mejores resultados que el grupo de comparación (e.g., el odds ratio o la diferencia media tipificada) 1. Concepto y tipos de tamaño del efecto 3. Índices del tamaño del efecto en meta-análisis

5  En un estudio diagnóstico en el que se pone a prueba la eficacia de una técnica diagnóstica frente a un estándar de oro, la medida del efecto representa la fiabilidad de la técnica diagnóstica (e.g., mediante el cálculo de la sensibilidad y la especificidad)  En un estudio retrospectivo sobre el nivel de neuroticismo como posible factor de riesgo para sufrir un trastorno por estrés postraumático (TEPT), la medida del efecto es el grado de asociación entre neuroticismo y la sintomatología de TEPT (e.g., un coeficiente de correlación) 3. Índices del tamaño del efecto en meta-análisis

 La familia d: diseños experimentales y cuasi- experimentales con asignación a grupos  La familia r: diseños observacionales y correlacionales  La familia de índices de riesgo: diseños de dos grupos con variable dependiente dicotómica Principales familias de índices del tamaño del efecto 3. Índices del tamaño del efecto en meta-análisis

 Conjunto de índices del tamaño del efecto que se caracterizan por relacionar una variable independiente dicotómica (o dicotomizada) con una variable dependiente continua, mediante la comparación de sus medias  Especialmente útil en diseños con asignación a grupos: diseños experimentales y cuasi-experimentales 2. La familia d 3. Índices del tamaño del efecto en meta-análisis

2. La familia d Estos índices son aplicables independientemente de que el diseño sea experimental o cuasi-experimental (asignación aleatoria versus no aleatoria) 3. Índices del tamaño del efecto en meta-análisis

2. La familia d  La diferencia de medias (no estandarizada, o no tipificada), D, es la diferencia entre las medias de dos grupos, o la diferencia entre las medias del pretest y el postest de un grupo, o la diferencia entre el cambio medio (no estandarizado) de dos grupos  Sólo es aplicable cuando todos los estudios del meta- análisis han medido la variable dependiente con la misma escala o instrumento de medida 3. Índices del tamaño del efecto en meta-análisis

10 Medidas del efecto para diseños de dos grupos con sólo postest y variable dependiente continua: La diferencia de medias, D (mean difference) La diferencia media tipificada, d (standardized mean difference) 3. Índices del tamaño del efecto en meta-análisis

11 La diferencia de medias, D (mean difference): Es la diferencia entre las medias de los grupos tratado y de control: 3. Índices del tamaño del efecto en meta-análisis

12 EJEMPLO: Watson, H. J. y Rees, C. S. (2008). Meta-analysis of randomized, controlled treatment trials for pediatric obsessive-compulsive disorder. Journal of Child Psychology and Psychiatry, 49, Objetivo: Meta-analizar los estudios que evalúan la eficacia de los tratamientos psicológicos y/o farmacológicos de niños y adolescentes con trastorno obsesivo-compulsivo Diseños: Estudios controlados aleatorizados con dos grupos, uno que recibe el tratamiento y otro que actúa como grupo de control Medida de resultado: Escala Yale-Brown de Obsesiones y Compulsiones para niños y adolescentes, CY-BOCS (medida continua) 3. Índices del tamaño del efecto en meta-análisis

13 EJEMPLO: El estudio de Bolton (in press), ver Tabla 3, p. 492 CBT: grupo de terapia cognitivo-conductual 3. Índices del tamaño del efecto en meta-análisis

14 EJEMPLO: El estudio de Bolton (in press), ver Tabla 3, p. 492) 3. Índices del tamaño del efecto en meta-análisis

2. La familia d La diferencia media tipificada (standardized mean difference), d, es la diferencia entre las medias de los grupos experimental y control dividida por una estimación conjunta de la desviación típica, S, y multiplicada por un factor de corrección para muestras pequeñas Principal ventaja: permite combinar estudios que han utilizado variables dependientes diferentes 3. Índices del tamaño del efecto en meta-análisis

16  La diferencia media tipificada, d (standardized mean difference): es la diferencia entre las dos medias dividida por la desviación típica conjunta, S 3. Índices del tamaño del efecto en meta-análisis

17 3. Índices del tamaño del efecto en meta-análisis

18 EJEMPLO: El estudio de Bolton (in press, ver Tabla 3, p. 492) CBT: grupo de terapia cognitivo-conductual 3. Índices del tamaño del efecto en meta-análisis

19 3. Índices del tamaño del efecto en meta-análisis

20 Una medida del efecto para diseños de un solo grupo con pretest-postest y variable dependiente continua: El índice de cambio medio tipificado, d MR (standardized mean change index) es la diferencia entre las medias del pretest y del postest (o dos medidas repetidas) de un grupo, dividida por la desviación típica del pretest 3. Índices del tamaño del efecto en meta-análisis

21  El índice de cambio medio tipificado, d MR : es la diferencia entre las medias del pretest y el postest dividida por la desviación típica del pretest, S Pre 3. Índices del tamaño del efecto en meta-análisis

23 EJEMPLO: El estudio de Bolton (in press, ver Tabla 3, p. 492) 3. Índices del tamaño del efecto en meta-análisis

24 EJEMPLO: El estudio de Bolton (in press, ver Tabla 3, p. 492) 3. Índices del tamaño del efecto en meta-análisis

25 Una medida del efecto para diseños pretest-postest con grupo de control y variable dependiente continua: La diferencia entre los cambios medios tipificados (standardized mean change difference) d C, es la diferencia entre los cambios medios tipificados del grupo tratado y del grupo de control, y multiplicada por un factor de corrección para muestras pequeñas 3. Índices del tamaño del efecto en meta-análisis

EJEMPLO: El estudio de Bolton (in press, ver Tabla 3, p. 492) 3. Índices del tamaño del efecto en meta-análisis

EJEMPLO: El estudio de Bolton (in press, ver Tabla 3, p. 492) 3. Índices del tamaño del efecto en meta-análisis

 Conjunto de índices del tamaño del efecto que se caracterizan por cuantificar la relación entre dos variables de cualquier naturaleza  Especialmente útil en diseños correlacionales  El más representativo es el coeficiente de correlación de Pearson, r, que se utiliza para cuantificar el sentido y la magnitud de la relación lineal entre dos variables continuas 3. La familia r 3. Índices del tamaño del efecto en meta-análisis

3. La familia r 3. Índices del tamaño del efecto en meta-análisis

3. La familia r 3. Índices del tamaño del efecto en meta-análisis

3. La familia r 3. Índices del tamaño del efecto en meta-análisis

34 EJEMPLO: Reger, M. A., Welsh, R. K., Watson, G. S., Cholerton, B., Baker, L. D. y Craft, S. (2004). The relationship between neuropsychological functioning and driving ability in dementia: A meta-analysis. Neuropsychology, 18, Objetivo: Meta-analizar los estudios que evalúan la relación entre funcionamiento neuropsicológico y habilidad para conducir en adultos con demencia leve (enfermedad de Alzheimer), con el propósito de valorar la utilidad de los tests neuropsicológicos para informar sobre si personas con demencia leve pueden conducir sin riesgo incrementado Diseños: Estudios correlacionales 3. Índices del tamaño del efecto en meta-análisis

35 EJEMPLO: Medida de resultado: Coeficiente de correlación de Pearson entre medidas del funcionamiento cognitivo (cognición general, atención y concentración, destreza visuoespacial, capacidad de memoria, funciones ejecutivas, lenguaje) y habilidad para conducir (en carretera, en simulador y valoraciones del cuidador del paciente sobre sus habilidades de conducción) [Véase Doc nº 09] 3. Índices del tamaño del efecto en meta-análisis

EJEMPLO: Uno de los estudios de este meta-análisis presentó una coeficiente de correlación de Pearson entre un test de orientación espacial y un test de conducción en simulador igual a 0.50, con una muestra de N = 39 sujetos 3. Índices del tamaño del efecto en meta-análisis

EJEMPLO 3. Índices del tamaño del efecto en meta-análisis

EJEMPLO 3. Índices del tamaño del efecto en meta-análisis

4. El Tamaño del Efecto: Interpretación Práctica (a) Comparándolo con los resultados de investigaciones previas sobre el mismo tema (b) Sustantivamente: si las variables de resultado son directamente interpretables (por tener significación clínica o práctica directa) (c) Comparándolo con los tamaños del efecto obtenidos en meta-análisis previos sobre el mismo tema (d) En su defecto, si no podemos utilizar ninguna de las estrategias anteriores: usar la clasificación de Cohen, pero siempre de modo tentativo 3. Índices del tamaño del efecto en meta-análisis

4. El Tamaño del Efecto: Interpretación Práctica Clasificación de Cohen (1988) 3. Índices del tamaño del efecto en meta-análisis