THEORIES AND METHODS OF EVALUATION

Presentación del tema: "THEORIES AND METHODS OF EVALUATION"— Transcripción de la presentación:

1 THEORIES AND METHODS OF EVALUATION
Juan Andrés Ligero Lasa Profesor de la Universidad Carlos III de Madrid Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM.

2 OBJETIVOS Principales conceptos de evaluación.
Fases para diseñar y realizar una evaluación Principales aproximaciones teóricas. Posibilidades y usos de la evaluación

3 Main concepts in evaluation Phases to disegn and to do evaluation
OBJECTIVES Main concepts in evaluation Phases to disegn and to do evaluation Main theorical approaches. The possibilities and the use of evaluations.

4 DEFINICIÓN DE EVALUACIÓN
Recoger y analizar sistemáticamente una información para poder determinar el valor o mérito de una intervención (Joint Committee Standard Education)

5

6

7 (STEIERMARK, XVIII)

8 FASES DE LA EVALUACIÓN 8 (2012) 1. MOTIVACIÓN PARA EVALUAR, ENCARGO
2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DE CONTEXTO 3. ELECCIÓN APROXIMACIÓN EVALUATIVA 4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O SISTEMAS DE MEDIDA 5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS 6. DISEÑO METODOLÓGICO 7. TRABAJO DE CAMPO 8. ANÁLISIS DE DATOS 9. INTERPRETACIONES 10. JUICIOS 11. RECOMENDACIONES 12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS 8

9 1. MOTIVACIÓN PARA EVALUAR, PROPÓSITOS

10 PROPÓSITOS DE LA EVALUACIÓN
Ilustración , comprensión (enlightenment) Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el programa La evaluación suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervención. La retroalimentación o mejora (improvement) Es una manera de recibir “feedback” sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de aprendizaje de la propia intervención. El control de responsabilidades y rendimiento de cuentas (accountability) “Rendir cuentas” en la acepción más flexible del término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad social y política, especialmente si las actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente tienen derecho a saber en qué y cómo se está empleando el dinero público.

11 Purposes (slide of Jennifer Greene)
: Knowledge generation and learning Accountability and decision support Program improvement and organizational development Democratization – advancing equity or social justice

12 Lo primero es saber qué quiero hacer con la evaluación.

13 2. ACOTACIÓN DEL OBJETO

14 Evaluación Profesional (slide of Marvin Alkin)
Evaluación de productos Evaluación de personas Evaluación de programas

15 Programas, proyectos, planes, políticas,…
QUÉ OBJETOS COMPRENDE Programas, proyectos, planes, políticas,… Servicios, organizaciones, empresas, entidades,… Iniciativas lesgilativas, estrategias,… Cualquier tipo de acción u organización con cierto grado de estructuración.

16 VINCULACIÓN PROGRAMA Y NECESIDADES
SERVICIO NECESIDADES SOCIALES

17 OBJETIVOS PRINCIPALES DE LA EVALUACIÓN
PROGRAMA, SERVICIO NECESIDADES SOCIALES EVALUACIÓN

18 Abstracto, construido socialmente, intangible,…
No es de materia tangible (o al menos del mismo modo que lo son la piedra, la madera,…). No es un nombre, ni unas personas, ni unas ideas, ni unos recursos sino una conjunción de todo ello que tiene una identidad distinta a cada una de sus partes. Es una realidad que se conforman socialmente, es un hecho social, constituido a través de acuerdos intersubjetivos. No tangible, construido socialmente, abstracto

19 I need analytic tools to picture a program
Lo que provoca: Resultados. Los recursos con lo que cuenta: Estructura Lo que hace: Procesos

20 2.1 Resultados

21 El programa produce cambios
HIPÓTESIS PRINCIPAL El programa produce cambios PROGRAMA, SERVICIO CAMBIOS EN LA REALIDAD

22 - Resultados preordenados/estandarizados.
Los resultados son cambios en la población o poblaciones donde se fija la intervención. Tres modos de identificar los resultados: - Resultados preordenados/estandarizados. - Objetivos definidos por el programa (Tyler) - Libre de objetivos, todos los resultados que se detecten (Scriven) -

23 3 modos de identificar los resultados
Preordeandos: Selección a priori y medición de unos pocos criterios de resultados (Stake,2006: 151). Objetivos: son intenciones previstas de cambio y los resultados los cambios reales producidos. Libre de objetivos: La indagación de los resultados no está condicionada por los objetivos descritos.

24 DIFERENCIA ENTRE OUTCOMES Y OUTPUTS (ejemplo)
Población saludable Toma conciencia Riesgos Hábitos para vida cotidiana Atención primaria Detección , control de epidemias

25 Información sustancias
PREVENCIÓN CONSUMO Reducción de consumo Autoestima Habilidades para la vida Información sustancias Hábitos saludables

26 Términos dados a los diferentes niveles de resultados
Nivel superior Objetivo final, global, general, específico o de largo término. Meta, impacto, “outcomes”…. Niveles inferiores Objetivos intermedios, operativos, esperados, de corto término e instrumentales. Resultados esperados, “outputs”, …

27 OBJETIVOS DEL PROGRAMA TIEMPO JOVEN
Integración, no gueto Ruptura del esquema de bandas Aceptación de las diferencias Desarrollo personal Ciudadanía y responsabilización

28 ASIMILIACIÓN (Carlos Giménez)
Integración Limitación de rasgos diferenciados Dispositivos: conocer lengua y cultura de destino Seguimiento y penalización de la discriminación

29 MULTICULTURALISMO (Carlos Giménez)
Integración Información de derechos ciudadanos Dispositivos: desarrollo de lenguas y culturas de origen Adaptación normativa a diferencias culturales

30 TEORÍA DE UN PROGRAMA DE PREVENCIÓN
OBJETIVOS DEFINICIÓN TEMAS AUTOESTIMA Percepción de sí mismo como persona singular, eficaz, valiosa y merecedora de felicidad RESPETO POR UNO MISMO CAPACIDAD PARA AFRONTAR LOS DESAFÍOS HABILIDADES PARA LA VIDA Habilidades emocionales que promueven su autonomía y les ayudan a enfrentar situaciones de dificultad, a encontrar equilibrios entre el mundo individual y el colectivo MANEJAR LA TENSIÓN (Estrés) RELACIONARSE TOMAR DECISIONES INFORMACIÓN DROGAS Conceptos claros, sencillos y veraces, y actitudes firmes ante las drogas más corrientes y accesibles en el entorno sociofamiliar MEDICAMENTOS ALCOHOL TABACO HÁBITOS SALUDABLES Hábitos saludables relacionados con funciones y necesidades físicas, psíquicas y fisiológicas; muy ligados al aquí y ahora del alumnado ACTIVIDAD Y DESCANSO ALIMENTACIÓN SEGURIDAD HIGIENE

31 Teorías cognitivo-afectivas Teorías de aprendizaje social
Las 14 teorías que consideran Petratis, Flay y Millar (1995) para explicar la experimentación con el uso de sustancias. Teorías cognitivo-afectivas Teoría de la acción razonada Teoría de la conducta planificada Teorías de aprendizaje social Teoría del aprendizaje social Teoría del aprendizaje social/cognitiva social Teorías del apego social Teoría del control social Modelo de desarrollo social Teorías en las que las que las características interpersonales juegan un papel esencial Modelo de ecología social Teoría del auto-desprecio Modelo de varias etapas de aprendizaje social Teoría de la interacción familiar Teorías que integran constructor cognitivo-afectivos, de aprendizaje, compromiso y apego, e intrapersonales Teoría de la conducta problema Teoría de cluster de iguales Modelo de vulnerabilidad de Sher Modelo de Dominio. (Becoña, 76).

32 TEORÍA DEL PROGRAMA ES:
-“La construcción de un modelo razonable y sensible de cómo se supone que funciona el programa” (Bickman cit en Chen, 1990: 40). - “La cadena de asunciones que explican cómo las actividades conducen paso por paso a los resultados esperados” (Weiss, 1998: 265)

33 BLACK BOX Sobre la base de observaciones cualitativas, Weiss y Rein (1970) critican las evaluaciones que no informan sobre lo que ocurre en la “caja negra”, refiriéndose con este término al proceso de implementación del programa (Ballart, 1996, pág 329).

34 2.2 Procesos

35 INSIDE BLACK BOX Las cosas que hace el programa
Actividades, implementación = procesos

36 DEFINICIÓN DE PROCESO Secuencia de acciones que con su desempeño genera un producto o servicio con un valor añadido con relación a las “entradas” iniciales

37 Secuencia de actividades que produce resultados
LOS PROCESOS PRODUCEN RESULTADOS - Procesos - Resultados Secuencia de actividades que produce resultados

38 LOS PROCESOS PRODUCEN RESULTADOS
+ Procesos +

39 2.3 Estructura

40 ESTRUCTURA Tal y como citan Cohen y Franco por estructura se puede entender la organización relativamente estable de distintos tipos de recursos para alcanzar los fines del proyecto. (1993:95). Carol Weiss menciona algunos aspectos estructurales (1998:193): La organización u organizaciones responsables de la intervención. El presupuesto asignado. Experiencia y competencias de los trabajadores. La gestión. El sitio o sitios físicos. El plan de actividades. Los métodos de prestar el servicio. La filosofía o principios de operación. Los propósitos.

41 Resultados + Procesos+ Estructura = Perspectiva sistémica
Un sistema es un conjunto con diferentes elementos independientes e interrelacionados entre sí.

42 PERSPECTIVA SISTÉMICA
NECESIDADES SOCIALES ESTRUCTURA: Recursos, personas, medios, misión, organización,… IMPACTO: outcomes, logro de objetivos finales PROCESOS: Esta dimensión se centra en cómo se está aplicando el programa EFICACIA: outputs, objetivos intermedios, logros que el programa puede garantizar.

43 TEORÍA DEL CAMBIO, MODELO LÓGICO (Wisconsin)

44 PERSPECTIVA SISTÉMICA DE LOS PROGRAMAS

45 Imágenes de modelos lógicos

46 3. APROXIMACIÓN EVALUATIVA

47 3. EVALUATIVE APPROACHES
3.1 Theory driven evaluation 3.2 Participatory approaches 3.3 Transformative paradigm 3.4 Criteria-based evaluation

48 PREGUNTAS/CRITERIOS EVALUACIÓN
Las preguntas son requerimientos de información que implican una valoración sobre la intervención o sus efectos. Por ejemplo: - ¿Se ha conseguido que los jóvenes adquieran los conocimientos? - ¿La metodología docente es adecuada? - ¿Los docentes están suficientemente cualificados? Es conveniente tener en cuenta: Las preguntas deben implicar una valoración y no una mera indagación sobre algún aspecto del objeto. Las preguntas tienen que estar dirigidas al programa (o a su relación con las necesidades sociales) y no a sucesos o dinámicas sociales ya que esto sería otro objeto de estudio más propio de la investigación. No deben ser indicadores, deben dejar claro las cuestiones que se quieren evaluar indistintamente de que especifique o no cómo se van a medir.

49 ¿De dónde salen las preguntas? De la opción evaluativa escogida
Aproximación evaluativa Preguntas Dimensiones según la teoría del cambio. Preguntas relacionadas con la Estructura/ Diseño. Preguntas relacionadas con los Procesos. Preguntas relacionadas con los Resultados Criterios Preguntas que definan el criterio. Por ejemplo, preguntas para eficacia, de eficiencia, pertinencia, cobertura,… Pluralista, democrático, orientada en los stakeholders Las preguntas proceden de los actores (es complementario con el resto de aproximaciones) Teoría crítica o transformador Las preguntas se orientan a : - cambios operados en las cuestiones detectadas en los análisis de realidad. - Desarrollo de competencias y capacidades de los actores para el cambio. - Participación, reivindicación y procesos de cambio de los propios actores.

50 3.1 THEORY DRIVEN EVALUATION
This method proposes to: Identify the programme theory or logic model. According to this analysis, we will design our evaluation. The mail goal is to analysis if the programme theory works and if it is promoting a more equitable society.

51 GENERACIÓN DE CUESTIONES CLAVE SEGÚN LA TEORÍA DEL CAMBIO
KEY POINTS GOTTEN FROM A LOGIC MODEL GENERACIÓN DE CUESTIONES CLAVE SEGÚN LA TEORÍA DEL CAMBIO Estructura: Recursos económicos. Ley Nacional de Educación. Consejos directivos conformados por locales. Existencia de edificios y medios físicos. Existencia de asociación. Necesidades sociales: jóvenes rurales desempleados Proceso 1: Proyecto educativo individualizado Proceso 2: Organización docente del centro Proceso 3: Asesoría educativa proyectos Proceso 4: Formación y actualización docente Proceso 5: Gestión administrativa del Centro Proceso 6: Gestión otorgación créditos y fondos Output 1: reducción abandono escolar Output 2: adquisición formación técnica Output 3: capacidad de formular proyectos empresariales Outcome : Generación emprendimientos ¿? Output 4: motivación y disipoción Output 5: adquisición capital ¿?

52 3.2 STAKEHOLDERS ORIENTED EVALUATION
Stakeholders are in the core the evaluative process. Recognition of the stakeholder’s voices and pay special attention to vulnerable and disadvanted groups. Need for participation: - There is no participation without organization - Ask and take into account the different stakeholders.

53 3.3 TRANSFORMATIVE PARADIGM (or critical change)
En esta aproximación evaluativa se busca dilucidar sobre las desigualdades sociales, económicas y políticas, se critica las injusticias sociales, se incrementa la toma de conciencia y la evaluación se orienta a cambiar el equilibrio de poder a favor de aquellos más desfavorecidos o, en cualquier caso, se incrementa la capacidad de los actores para representar sus propios intereses a través de la evaluación (Patton, 2002). Las evaluaciones conducidas con estas “lentes” pueden crear una sociedad más equitativa y justa (Sielbeck-Bowen y otras, 2002b).

54 3.3 TRANSFORMATIVE PARADIGM (or critical change)
Evaluators define themselves as agents of social change and their main goal is to increase social justice. Analyse exclusion and inequality focusing on the most vulnerable and disadvanted people. Assess the stakeholders’ autonomy and cappabilities. Evaluate the extent to which the stakeholders are involved in the social change promoted.

55 3.4 CRITERIA BASED EVALUATION
This approach assesses the programme acording to a set criteria and it is more focused on accountability than on learning. Pre-defined criteria: E.G. DAC criteria (effectiveness, efficiency, impact, relevance, sustainability) Ad-hoc criteria taking into account the key evaluation questions highlighted by the different stakeholders.

56 Diferentes aproximaciones evaluativas
Aproximación evaluativa Preguntas Dimensiones según la teoría del cambio. Preguntas relacionadas con la Estructura/ Diseño. Preguntas relacionadas con los Procesos. Preguntas relacionadas con los Resultados Criterios Preguntas que definan el criterio. Por ejemplo, preguntas para eficacia, de eficiencia, pertinencia, cobertura,… Pluralista, democrático, orientada en los stakeholders Las preguntas proceden de los actores (es complementario con el resto de aproximaciones) Teoría crítica o transformador Las preguntas se orientan a : - cambios operados en las cuestiones detectadas en los análisis de realidad. - Desarrollo de competencias y capacidades de los actores para el cambio. - Participación, reivindicación y procesos de cambio de los propios actores. Diferentes aproximaciones evaluativas

57 4. OPERACIONALIZACIÓN

58 4. OPERATIONALIZATION I order the questions and to do measurable the criteria/questions. Two kinds of work: A) Vertical operationalization: Definition of key dimensions depending on the evaluative approach B) Horizontal operationalization: I. Formulation of the evaluation questions II. Identification of indicators

59 TRABAJO VERTICAL Y HORIZONTAL
Dimensiones, criterios, necesidades de actores, aspectos de cambio,… Preguntas Aspectos que definen la pregunta (opcional) Indicadores Técnicas o fuentes de recogida de información 1, Definición de preguntas. 2, Indicadores para cada pregunta. 3, Fuentes o técnicas.

60 INDICADOR Las preguntas de evaluación (criterios o subcriterios). Suelen ser conceptos teóricos que no tienen porqué atender al hecho de que puedan ser medidas o no. El indicador, por el contrario, es una variable medible, observable y registrable que aporta una información que contesta a la pregunta de evaluación, por lo general a través de aproximaciones. 60

61

62

63 FORMULACIÓN INDICADOR
Los indicadores deben ser redactados como condiciones lógicas que si se cumplen contestan a la pregunta de evaluación. Se fija un estado, un punto o una condición a partir del cual se puede contestar afirmativa o negativamente a la pregunta formulada. En el caso del consumo de cannabis la redacción del indicador podría ser el que se indica en la tabla siguiente: 63

64 CASOS PARA INDICADORES
Caso A. En un programa de motivación a la lectura de los “clásicos” desarrollado por una biblioteca, se quiere evaluar el grado de eficacia de la medida. Pregunta Indicador ¿Se despierta la sensibilización hacia los autores clásicos?

65 5. TÉCNICAS

66 5. TÉCNICAS Y FUENTES 1. Ejes de clasificación
Fuentes primarias – fuentes secundarias. Cualitativo – Cuantitativo. Estructurada – no estructurada. 2. Listado de técnicas más usuales Encuesta. Observación. Entrevistas. Grupos de discusión/ Focus groups Historia de vida. Fuentes secundarias (puede ser cualquiera de las expuestas anteriormente). Análisis documental ( s, actas, calendarios, expedientes,…) Dinámicas de grupos.

67 6. ELECCIONES METODOLÓGICAS

68 LA INFLUENCIA DEL CONTEXTO

69 ¿LA INFLUENCIA DEL CONTEXTO?

70 El programa produce cambios
HIPÓTESIS PRINCIPAL: El programa produce cambios PROGRAMA, SERVICIO CAMBIOS EN LA REALIDAD

71 MÉTODOS DE EVALUACIÓN DE IMPACTO
Estrategias apoyadas en la lógica de la distribución al azar: Diseño experimental. Selección aleatoria de los grupos. Diferencias en diferencias. Diseño cuasiexperimental. Réplica del modelo experimental pero con grupo de comparación no equivalante. Identificación de grupos similares. Construidos estadísticamente (emparejamiento estadístico) Series temporales (existe la posibilidad de complementarlas con grupo de comparación). Discontinuidad de la regresión Diseños no experimentales (modelos que no permiten extraer el efecto neto) Contrafactuales falsos. Comparación antes– después; línea base - postest. Comparación postest con grupo de comparación no equivalente. Sólo después (se compara con fuentes bibliográficas). Modelización (identificación de posibles variables intervinientes). Correlación, asociación, contribución de las variables de implementación con las de resultados. Controlando sólo una variable Estandarización estadística de poblaciones. Cálculo de la media de los efectos de la variable. Controlando varias variables. Regresión múltiple. Ecuaciones estructurales .

72 AZAR O CONTRAFACTUALES
Diseño experimental. Selección aleatoria de los grupos. Diferencias en diferencias. Diseño cuasiexperimental. Réplica del modelo experimental pero con grupo de comparación no equivalante. Identificación de grupos similares. Construidos estadísticamente (emparejamiento estadístico) Series temporales (existe la posibilidad de complementarlas con grupo de comparación): Discontinuidad de la regresión Medias móviles ARIMA Diseños no experimentales (modelos que no permiten extraer el efecto neto) Contrafactuales falsos. Comparación antes– después; línea base - postest. Comparación postest con grupo de comparación no equivalente. Sólo después (se compara con fuentes bibliográficas).

73 MODELIZACIÓN Modelización (identificación de posibles variables intervinientes). Controlando sólo una variable Estandarización estadística de poblaciones. Cálculo de la media de los efectos de la variable. Controlando varias variables. Regresión múltiple. Ecuaciones estructurales

74 MÉTODOS DE EVALUACIÓN DE IMPACTO
AZAR, CONTRAFACTUAL MODELIZACIÓN

75 9. INTERPRETACIÓN

76 OBJETIVOS DEL PROGRAMA TIEMPO JOVEN
Integración, no gueto Ruptura del esquema de bandas Aceptación de las diferencias Desarrollo personal Ciudadanía y responsabilización

77 ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (I de 5)
+ -

78 ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (2 de 5)

79 ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (3 de 5)

80 ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (4 de 5)
Todos los objetivos (outcome y outputs) positivos

81 MODELO TEÓRICO PARA REDUCIR EL RACISMO

82 ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN (5 de 5)
-

83 NECESIDAD DE EVALUAR PROCESOS (C. Weiss)
CAJA NEGRA ? + -

84 LOS PROCESOS PRODUCEN RESULTADOS
+ Procesos +

85 LOS PROCESOS PRODUCEN RESULTADOS
- Procesos +

86 LOS PROCESOS PRODUCEN RESULTADOS
- Procesos -

87 ANÁLISIS SISTÉMICO ? - - .

88 Definición de interpretación.
No es narrar sino explicar qué es lo que está pasando. Dotarle de sentido, dar una explicación a todos los datos.

89 SECUENCIA PARA LOS PROPÓSITOS
Comprensión, ilustración (enlightenment). Rendimiento de cuentas Mejora

90 MEJORA CONTINUA Bucle de la calidad (Edward Deming)
BUCLE DE LA MEJORA

91 ¿ PARA QUÉ SIRVE LA EVALUACIÓN?
Comprender lo qué ocurre. Rendir cuentas, responsabilizar. Mejorar de forma sustentada. Identificar y comprobar la (s) teoría (s) en la que se apoya. Construir conocimiento particular y global. ….

92 DEFINICIÓN DE EVALUACIÓN
Recoger y analizar sistemáticamente una información para poder comprender y dotar de significado a lo que ocurre en un programa, de lo que se deducirán unos juicios específicos que permitirán rendir cuentas y tomar decisiones sobre la mejora.

93 FASES DE LA EVALUACIÓN 93 (2012) 1. MOTIVACIÓN PARA EVALUAR, ENCARGO
2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DE CONTEXTO 3. ELECCIÓN APROXIMACIÓN EVALUATIVA 4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O SISTEMAS DE MEDIDA 5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS 6. DISEÑO METODOLÓGICO 7. TRABAJO DE CAMPO 8. ANÁLISIS DE DATOS 9. INTERPRETACIONES 10. JUICIOS 11. RECOMENDACIONES 12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS 93

94

95 OBJECTIVES Main concepts in evaluation
Phases to disegn and to do evaluation Main theorical approaches. The possibilities and the use of evaluations.

96 Mulțumesc mult Juan Andrés Ligero Lasa