BASES CONCEPTUALES Y METODOLÓGICAS EN EL DISEÑO Y LA EVALUACIÓN DE PROGRAMAS DE INTERVENCIÓN O TRATAMIENTOS PSICOLÓGICOS Maite Garaigordobil Landazabal Facultad de Psicología Universidad del País Vasco E-mail: maite.garaigordobil@ehu.es http://www.sc.ehu.es/garaigordobil

INDICE Bases conceptuales Definición y juicios valorativos Modelos: lineal y no lineal Fases y tareas en el proceso Cuestiones metodológicas Tipos de diseños de investigación Instrumentos de evaluación Problemas metodológicos del programa Análisis de datos

DEFINICIÓN Y JUICIOS VALORATIVOS EFICAZ : CUANDO LOS OBJETIVOS ESTABLECIDOS HAN SIDO CONSEGUIDOS. META DEL PROGRAMA. EFECTIVO: CUANDO CON INDEPENDENCIA DE LOS OBJETIVOS ESTABLECIDOS, EL PROGRAMA HA CONSEGUIDO UNOS EFECTOS POSITIVOS. EFICIENCIA: RELACIÓN COSTES-BENEFICIOS. JUICIOS VALORATIVOS BASES CONCEPTUALES DEFINICIÓN Y JUICIOS VALORATIVOS INVESTIGACIÓN DEL MÉRITO, VALOR O ÉXITO DE CONCRETOS TRATAMIENTOS, INTERVENCIONES O PROGRAMAS LLEVADOS A CABO CON LA FINALIDAD DE PRODUCIR CAMBIOS COMPORTAMENTALES INVESTIGACIÓN DE LOS RESULTADOS DE UNA INTERVENCIÓN DEFINICIÓN

MODELOS Estima magnitud de los efectos del programa en función de las hipótesis Finalidad demostrativa Evaluador externo e independiente Planificación, evaluación, e implementación estructuradas desde el principio LINEAL Entender porqué se ha producido determinado resultado Finalidad explicativa Evaluador implementador del programa Continua interacción y modulación recíproca entre planificación, implementación y evaluación NO LINEAL EVALUACIÓN SUMATIVA EVALUACIÓN FORMATIVA

FASES Y TAREAS DEL PROCESO FASE 1. DISEÑO DEL PROGRAMA DE INTERVENCIÓN JUSTIFICACIÓN Y ANTECEDENTES DEL PROGRAMA FUNDAMENTACIÓN TEÓRICO-EMPÍRICA DEL PROGRAMA OBJETIVOS DEL PROGRAMA CARACTERÍSTICAS DEL PROGRAMA

FASES Y TAREAS DEL PROCESO FASE 1. DISEÑO DEL PROGRAMA DE INTERVENCIÓN CONFIGURACIÓN DEL PROGRAMA: MÓDULOS ACTIVIDADES O ACCIONES DEL PROGRAMA PROCEDIMIENTO PARA LA IMPLEMENTACIÓN DEL PROGRAMA FACTORES DE INFLUENCIA EN EL PROGRAMA

FASES Y TAREAS DEL PROCESO FASE 2. DISEÑO DE LA EVALUACIÓN DEL PROGRAMA FINALIDAD DE LA EVALUACIÓN Y FACTIBILIDAD IDENTIFICAR VARIABLES DEPENDIENTES INSTRUMENTOS DE EVALUACIÓN

FASES Y TAREAS DEL PROCESO FASE 2. DISEÑO DE LA EVALUACIÓN DEL PROGRAMA SELECCIÓN DEL DISEÑO DE INVESTIGACIÓN ELEGIR ENTRE LOS 2 MACROMODELOS ELEGIR EL DISEÑO DE INVESTIGACIÓN: EXPERIMENTALES - NO EXPERIMENTALES AMENAZAS A LA VALIDEZ INTERNA Y EXTERNA CALENDARIO DE LA EVALUACIÓN

FASES Y TAREAS DEL PROCESO FASE 3. IMPLEMENTACIÓN Y EVALUACIÓN DEL PROGRAMA IMPLEMENTACIÓN DEL PROGRAMA RECOGIDA DE DATOS PARA LA EVALUACIÓN ANÁLISIS DE LOS DATOS

FASES Y TAREAS DEL PROCESO FASE 4. ELABORACIÓN DEL INFORME DE LA EVALUACIÓN DEL PROGRAMA PORTADA DEL INFORME RESUMEN OBJETIVOS E HIPÓTESIS DEL ESTUDIO DISEÑO Y PROCEDIMIENTO DE LA INVESTIGACIÓN PARTICIPANTES

DESCRIPCIÓN DEL PROGRAMA DE INTERVENCIÓN METODOLOGÍA E INSTRUMENTOS DE EVALUACIÓN DEL PROGRAMA RESULTADOS CONCLUSIONES RECOMENDACIONES

CUESTIONES METODOLÓGICAS DISEÑOS DE INVESTIGACIÓN DISEÑOS EXPERIMENTALES Y CUASI-EXPERIMENTALES Diseños experimentales de caso único Diseños clásicos de grupos DISEÑOS NO EXPERIMENTALES: DESCRIPCIÓN NATURALISTA TIPOS DE DISEÑO La estructura que actúa como guía para facilitar la ordenación de los datos desde su obtención, almacenamiento, y posterior tratamiento En función de las características del programa ELECCIÓN DISEÑO

DISEÑOS CLÁSICOS DE GRUPOS PRETEST-POSTEST CON GRUPO DE CONTROL EQUIVALENTE DISEÑO POSTEST CON GRUPO DE CONTROL EQUIVALENTE DISEÑO PRETEST-POSTEST CON GRUPO DE CONTROL NO EQUIVALENTE

DISEÑO DE SERIES TEMPORALES CON GRUPO EXPERIMENTAL DISEÑO DE SERIES TEMPORALES CON UN GRUPO DE CONTROL NO EQUIVALENTE DISEÑO PRE-EXPERIMENTAL ANTES-DESPUÉS

INSTRUMENTOS DE EVALUACIÓN CARACTERÍSTICAS Objetividad: Que los procedimientos de recogida de información estén libres de los errores procedentes de la interpretación del evaluador Estabilidad: Que la medida no presente excesivas fluctuaciones debidas a su propia naturaleza, de forma que al juzgar los cambios debidos al programa éstos no puedan confundirse con fluctuaciones en el tiempo del propio instrumento Exactitud, Precisión o Validez: Que la medida elegida refleje lo que se pretende juzgar, es decir, que las técnicas utilizadas sean una medida, lo más precisa posible, de lo que se pretende dar cuenta Sensibilidad al cambio: Que el procedimiento elegido sea sensible ante el programa de acción propuesto.

INSTRUMENTOS DE EVALUACIÓN TIPOS DE INSTRUMENTOS CUALITATIVOS CUANTITATIVOS Entrevista abierta. Observación no estructurada: diarios.... Técnicas sociométricas. Grupos de discusión. Cuestionarios o encuestas abiertas. Técnicas etnográficas: entrevista callejera… Autobiografía Análisis históricos: a través de distintos tipos de datos como periódicos o informes con los que se pretende establecer la historia pasada de un evento. Método Delphi: expertos a los que se envían los cuestionarios y los resultados de los mismos… Entrevista estructurada. Autoinformes: el sujeto se valora a sí mismo Cuestionarios: medidas de autoinforme sobre habilidades, nivel de satisfacción, logros obtenidos con el programa desde la percepción subjetiva del cambio… Indicadores estadísticos y sociales: número de toxicómanos, tasas de empleo... Observación estructurada y/o sistemática: frecuencia de conductas observables... Archivos: calificaciones, hojas de servicio... Medidas de rastro y erosión: número de cigarros, botellas… Escalas de apreciación: jueces (padres o profesores) califican al sujeto en una escala de estimación en relación a alguna conducta… Pruebas de ejecución y de inteligencia: piezas insertadas, número de aciertos, tiempo de ejecución... Pruebas de rendimiento: exámenes...

PROBLEMAS METODOLÓGICOS DEL PROGRAMA DEFECTOS DE PLANTEAMIENTO Programas mal definidos Vaguedad en los objetivos Fines no realistas Objetivos contrapuestos Falta de claridad en el enunciado de las tareas requeridas Inexistencia de organigrama relativo a la secuenciación Falta de calendario Imprecisión respecto al estudio empírico IRREGULARIDADES EN LA IMPLEMENTACIÓN Falta de formación Incorrecta cumplimentación

ANALISIS DE DATOS ANÁLISIS EXPLORATORIO DE LOS DATOS: ESTADÍSTICOS DESCRIPTIVOS: FRECUENCIA, MEDIA, MEDIANA, MODA, DESVIACIÓN TÍPICA... ANÁLISIS INFERENCIAL PRIMARIO: UNIVARIADO O MULTIVARIADO (ANOVA, MANOVA, ANCOVA, MANCOVA, REGRESIÓN MÚLTIPLE...) REANÁLISIS COMPARATIVO INTERPRETACIÓN DE LOS RESULTADOS