1 Tema 8. Diseños evaluativos de alta intervención TALLER: DISEÑO Y EVALUACIÓN DE PROGRAMAS XIV CONGRESO DE METODOLOGÍA DE LAS CIENCIAS SOCIALES Y DE LA SALUD PALMA, 21 DE JULIO DE 2015 Salvador Chacón Moscoso Susana Sanduvete Chaves

INTRODUCCIÓN Se pretende demostrar que el programa es la causa del cambio. VI VD (evitar VVEE). Máximo control. Intento de: –Aumentar la varianza primaria: maximizar las variaciones sistemáticas de la VI sobre la VD. –Disminuir la varianza de error: minimizar las variaciones de influencias no sistemáticas. –Disminuir la varianza secundaria: neutralizar las posibles influencias sistemáticas de las variables extrañas. Aleatorización.

Hipótesis nula: no hay diferencias entre grupos = el programa no produce efecto. Hipótesis alternativa: hay diferencias entre grupos = el programa produce efecto.

TAMAÑO DE EFECTO GRANDE TAMAÑO DE EFECTO PEQUEÑO RECHAZO DE HIPÓTESIS NULA Coherencia Error de significación de efectos no relevante ACEPTACIÓN DE HIPÓTESIS NULA Error de no captar el interés de resultados no significativos Coherencia

PASOS Explicitar el objetivo, las hipótesis y el contexto. Qué datos se necesitan recoger y qué variables hay que estudiar. Muestra: –Tamaño óptimo. –Forma de elección: representatividad de la población. Análisis estadísticos.

VENTAJAS DEL USO DE LOS DISEÑOS EXPERIMENTALES Control de VVEE: asegurar que causas alternativas no estén confundidas con las condiciones de implementación del programa. Reducir la plausibilidad de amenazas a la validez distribuyéndolas aleatoriamente entre las condiciones de aplicación del programa. Igualar a los grupos antes de la intervención. Permitir al evaluador conocer y modelar el proceso de selección correctamente. Permitir una estimación valida de la varianza de error. Permiten obtener estimaciones insesgadas de los efectos de una intervención. Conllevan asumir menos condiciones de aplicación que otros métodos. La validez de sus requisitos de aplicación son normalmente fáciles de comprobar. Se necesita menos conocimiento previo sobre temas como los procesos de selección o las características de los usuarios como en el caso de los cuasiexperimentos.

CAUSAS QUE IMPOSIBILITAN EL USO DE DISEÑOS EXPERIMENTALES Problemas coyunturales: –Se necesita una respuesta rápida al problema y no se puede esperar al diseño y desarrollo de un buen experimento. –No se requiere de la precisión que aportan los experimentos para responder a problemas causales. –No se pueden asignar a los usuarios aleatoriamente a variables asignadas –no manipulables- o que ocurrieron en el pasado.

CAUSAS QUE IMPOSIBILITAN EL USO DE DISEÑOS EXPERIMENTALES (II) Problemas técnicos: –No disponibilidad de referentes teóricos bien delimitado. –No se dispone de un número suficiente de usuarios elegibles. –No desean recibir la intervención por haber sido elegidos aleatoriamente. –Procedimiento de aleatorización no ha sido bien diseñado o implementado. –Atrittion: descompensación de los grupos después de la aplicación del tratamiento.

CAUSAS QUE IMPOSIBILITAN EL USO DE DISEÑOS EXPERIMENTALES (III) Problemas éticos: -No se puede asignar al azar a usuarios con condiciones de bienestar diferenciales. -Problemas legales (ejemplo: personas en prisión).