BASES CONCEPTUALES Y METODOLÓGICAS EN EL DISEÑO Y LA EVALUACIÓN

Presentación del tema: "BASES CONCEPTUALES Y METODOLÓGICAS EN EL DISEÑO Y LA EVALUACIÓN"— Transcripción de la presentación:

1 BASES CONCEPTUALES Y METODOLÓGICAS EN EL DISEÑO Y LA EVALUACIÓN
DE PROGRAMAS DE INTERVENCIÓN O TRATAMIENTOS PSICOLÓGICOS Maite Garaigordobil Landazabal Facultad de Psicología Universidad del País Vasco

2 INDICE Bases conceptuales Definición y juicios valorativos
Modelos: lineal y no lineal Fases y tareas en el proceso Cuestiones metodológicas Tipos de diseños de investigación Instrumentos de evaluación Problemas metodológicos del programa Análisis de datos

3 DEFINICIÓN Y JUICIOS VALORATIVOS
EFICAZ : CUANDO LOS OBJETIVOS ESTABLECIDOS HAN SIDO CONSEGUIDOS. META DEL PROGRAMA. EFECTIVO: CUANDO CON INDEPENDENCIA DE LOS OBJETIVOS ESTABLECIDOS, EL PROGRAMA HA CONSEGUIDO UNOS EFECTOS POSITIVOS. EFICIENCIA: RELACIÓN COSTES-BENEFICIOS. JUICIOS VALORATIVOS BASES CONCEPTUALES DEFINICIÓN Y JUICIOS VALORATIVOS INVESTIGACIÓN DEL MÉRITO, VALOR O ÉXITO DE CONCRETOS TRATAMIENTOS, INTERVENCIONES O PROGRAMAS LLEVADOS A CABO CON LA FINALIDAD DE PRODUCIR CAMBIOS COMPORTAMENTALES INVESTIGACIÓN DE LOS RESULTADOS DE UNA INTERVENCIÓN DEFINICIÓN

4 MODELOS Estima magnitud de los efectos del programa en
función de las hipótesis Finalidad demostrativa Evaluador externo e independiente Planificación, evaluación, e implementación estructuradas desde el principio LINEAL Entender porqué se ha producido determinado resultado Finalidad explicativa Evaluador implementador del programa Continua interacción y modulación recíproca entre planificación, implementación y evaluación NO LINEAL EVALUACIÓN SUMATIVA EVALUACIÓN FORMATIVA

5 FASES Y TAREAS DEL PROCESO
FASE 1. DISEÑO DEL PROGRAMA DE INTERVENCIÓN JUSTIFICACIÓN Y ANTECEDENTES DEL PROGRAMA FUNDAMENTACIÓN TEÓRICO-EMPÍRICA DEL PROGRAMA OBJETIVOS DEL PROGRAMA CARACTERÍSTICAS DEL PROGRAMA

6 FASES Y TAREAS DEL PROCESO
FASE 1. DISEÑO DEL PROGRAMA DE INTERVENCIÓN CONFIGURACIÓN DEL PROGRAMA: MÓDULOS ACTIVIDADES O ACCIONES DEL PROGRAMA PROCEDIMIENTO PARA LA IMPLEMENTACIÓN DEL PROGRAMA FACTORES DE INFLUENCIA EN EL PROGRAMA

7 FASES Y TAREAS DEL PROCESO
FASE 2. DISEÑO DE LA EVALUACIÓN DEL PROGRAMA FINALIDAD DE LA EVALUACIÓN Y FACTIBILIDAD IDENTIFICAR VARIABLES DEPENDIENTES INSTRUMENTOS DE EVALUACIÓN

8 FASES Y TAREAS DEL PROCESO
FASE 2. DISEÑO DE LA EVALUACIÓN DEL PROGRAMA SELECCIÓN DEL DISEÑO DE INVESTIGACIÓN ELEGIR ENTRE LOS 2 MACROMODELOS ELEGIR EL DISEÑO DE INVESTIGACIÓN: EXPERIMENTALES - NO EXPERIMENTALES AMENAZAS A LA VALIDEZ INTERNA Y EXTERNA CALENDARIO DE LA EVALUACIÓN

9 FASES Y TAREAS DEL PROCESO
FASE 3. IMPLEMENTACIÓN Y EVALUACIÓN DEL PROGRAMA IMPLEMENTACIÓN DEL PROGRAMA RECOGIDA DE DATOS PARA LA EVALUACIÓN ANÁLISIS DE LOS DATOS

10 FASES Y TAREAS DEL PROCESO
FASE 4. ELABORACIÓN DEL INFORME DE LA EVALUACIÓN DEL PROGRAMA PORTADA DEL INFORME RESUMEN OBJETIVOS E HIPÓTESIS DEL ESTUDIO DISEÑO Y PROCEDIMIENTO DE LA INVESTIGACIÓN PARTICIPANTES

11 DESCRIPCIÓN DEL PROGRAMA DE INTERVENCIÓN
METODOLOGÍA E INSTRUMENTOS DE EVALUACIÓN DEL PROGRAMA RESULTADOS CONCLUSIONES RECOMENDACIONES

12 CUESTIONES METODOLÓGICAS DISEÑOS DE INVESTIGACIÓN
DISEÑOS EXPERIMENTALES Y CUASI-EXPERIMENTALES Diseños experimentales de caso único Diseños clásicos de grupos DISEÑOS NO EXPERIMENTALES: DESCRIPCIÓN NATURALISTA TIPOS DE DISEÑO La estructura que actúa como guía para facilitar la ordenación de los datos desde su obtención, almacenamiento, y posterior tratamiento En función de las características del programa ELECCIÓN DISEÑO

13 DISEÑOS CLÁSICOS DE GRUPOS
PRETEST-POSTEST CON GRUPO DE CONTROL EQUIVALENTE DISEÑO POSTEST CON GRUPO DE CONTROL EQUIVALENTE DISEÑO PRETEST-POSTEST CON GRUPO DE CONTROL NO EQUIVALENTE

14 DISEÑO DE SERIES TEMPORALES CON GRUPO EXPERIMENTAL
DISEÑO DE SERIES TEMPORALES CON UN GRUPO DE CONTROL NO EQUIVALENTE DISEÑO PRE-EXPERIMENTAL ANTES-DESPUÉS

15 INSTRUMENTOS DE EVALUACIÓN
CARACTERÍSTICAS Objetividad: Que los procedimientos de recogida de información estén libres de los errores procedentes de la interpretación del evaluador Estabilidad: Que la medida no presente excesivas fluctuaciones debidas a su propia naturaleza, de forma que al juzgar los cambios debidos al programa éstos no puedan confundirse con fluctuaciones en el tiempo del propio instrumento Exactitud, Precisión o Validez: Que la medida elegida refleje lo que se pretende juzgar, es decir, que las técnicas utilizadas sean una medida, lo más precisa posible, de lo que se pretende dar cuenta Sensibilidad al cambio: Que el procedimiento elegido sea sensible ante el programa de acción propuesto.

16 INSTRUMENTOS DE EVALUACIÓN
TIPOS DE INSTRUMENTOS CUALITATIVOS CUANTITATIVOS Entrevista abierta. Observación no estructurada: diarios.... Técnicas sociométricas. Grupos de discusión. Cuestionarios o encuestas abiertas. Técnicas etnográficas: entrevista callejera… Autobiografía Análisis históricos: a través de distintos tipos de datos como periódicos o informes con los que se pretende establecer la historia pasada de un evento. Método Delphi: expertos a los que se envían los cuestionarios y los resultados de los mismos… Entrevista estructurada. Autoinformes: el sujeto se valora a sí mismo Cuestionarios: medidas de autoinforme sobre habilidades, nivel de satisfacción, logros obtenidos con el programa desde la percepción subjetiva del cambio… Indicadores estadísticos y sociales: número de toxicómanos, tasas de empleo... Observación estructurada y/o sistemática: frecuencia de conductas observables... Archivos: calificaciones, hojas de servicio... Medidas de rastro y erosión: número de cigarros, botellas… Escalas de apreciación: jueces (padres o profesores) califican al sujeto en una escala de estimación en relación a alguna conducta… Pruebas de ejecución y de inteligencia: piezas insertadas, número de aciertos, tiempo de ejecución... Pruebas de rendimiento: exámenes...

17 PROBLEMAS METODOLÓGICOS DEL PROGRAMA
DEFECTOS DE PLANTEAMIENTO Programas mal definidos Vaguedad en los objetivos Fines no realistas Objetivos contrapuestos Falta de claridad en el enunciado de las tareas requeridas Inexistencia de organigrama relativo a la secuenciación Falta de calendario Imprecisión respecto al estudio empírico IRREGULARIDADES EN LA IMPLEMENTACIÓN Falta de formación Incorrecta cumplimentación

18 ANALISIS DE DATOS ANÁLISIS EXPLORATORIO DE LOS DATOS: ESTADÍSTICOS DESCRIPTIVOS: FRECUENCIA, MEDIA, MEDIANA, MODA, DESVIACIÓN TÍPICA... ANÁLISIS INFERENCIAL PRIMARIO: UNIVARIADO O MULTIVARIADO (ANOVA, MANOVA, ANCOVA, MANCOVA, REGRESIÓN MÚLTIPLE...) REANÁLISIS COMPARATIVO INTERPRETACIÓN DE LOS RESULTADOS