PRESUPUESTOS TEORICOS Y METODOLOGICOS PARA LA EVALUACIÓN DE PROGRAMAS Eduardo García Jiménez

ÍNDICE Definición y funciones. Actos básicos de la evaluación. Información a recoger Esquema comparativo. Tipos de evaluación de programas. El proceso de evaluación de programas. Validez. Fases de una evaluación.

DEFINICIÓN y FUNCIONES Definición Determinar el valor de algo de acuerdo con un criterio previo. Adoptar un conjunto de estándares, definirlos, especificar la clase de comparación, y deducir el grado con que el objetivo satisface los estándares llegando a un juicio acerca del mérito del objeto evaluado.

DEFINICIÓN Y FUNCIONES Funciones Señalar el valor de un programa Iluminar la comprensión del programa y las perspectivas de valor existentes Mejorar el programa Facilitar la tomar decisiones

2. ACTOS BÁSICOS DE LA EVALUACIÓN Descripción: Definición de un programa enumerando sus componentes, cualidades y circunstancias. Juicio: Acto mental por el que pensamos acerca de la verdad o falsedad de un enunciado relacionado con un programa. “El programa consigue ….”. Evidencias: Intenciones: el programa que se planifica Observaciones: el programa que se implanta. Estándares: de calidad de los programas. Juicios: de valor sobre un programa.

3. INFORMACIÓN A RECOGER Antecedentes: Cualquier condición con una existencia previa al programa. Fundamentos en los que se apoya el programa. Procesos: Interacciones o transacciones que añaden valor a la situación anterior de los sujetos o entidades a quienes va dirigido el programa. Resultados: Consecuencias en los sujetos o entidades atribuibles al programa.

4. EL ESQUEMA COMPARATIVO Comparación basada en descripciones. Comparación basada en juicios.

CONTINGENCIA EMPÍRICA CONTINGENCIA EMPÍRICA MATRIZ DE DESCRIPCIONES ANTECEDENTES ESPERADOS ANTECEDENTES OBSERVADOS CONGRUENCIA CONTINGENCIA LÓGICA CONTINGENCIA EMPÍRICA TRANSACIONES ESPERADAS TRANSACIONES OBSERVADAS CONGRUENCIA CONTINGENCIA LÓGICA CONTINGENCIA EMPÍRICA RESULTADOS ESPERADOS RESULTADOS OBSERVADOS CONGRUENCIA

Propuestas observadas COMPARACIÓNABSOLUTA Antecedentes Transacciones Resultados Datos descriptivos del programa Normas de calidad COMPARACIÓN RELATIVA Datos descriptivos de otros programas Datos descriptivos de otros programas Datos descriptivos de otros programas JUICIOS

5. TIPOS DE EVALUACIÓN Según quién evalúa: Interna. Externa. Según su función: Sumativa y formativa. Retroactiva y proactiva. Psicológica o sociopolítica. Ejercicio de la autoridad.

EL FLUJO DE LA EVALUACIÓN 5. TIPOS DE EVALUACIÓN Según los elementos que se están evaluando EL FLUJO DE LA EVALUACIÓN Contexto A Contexto N Finalidades Marco MONITORIZACIÓN DISEÑO DEL PROGRAMA APLICACIÓN DEL PROGRAMA TRANSFERENCIA DEL PROGRAMA FINAL DEL PROGRAMA ... NECESIDADES Situación actual EVALUACIÓN COBERTURA EVALUACIÓN RESULTADOS EVALUACIÓN DISEÑO EVALUACIÓN DE NECESIDADES EVALUACIÓN IMPLEMENTACIÓN EVALUACIÓN IMPACTO

EVALUACIÓN DE NECESIDADES Volumen y características esenciales del problema que la intervención quiere solucionar Niveles de necesidad (Witkin y Altschuld, 1995): Nivel 1(Primarias): de los receptores del programa (estudiantes, clientes, usuarios de la información, potenciales usuarios,...). Nivel 2 (Secundarias): de los responsables de la planificación, gestión y/o ejecución del programa (profesores, diseñadores, funcionarios de la Administración, profesionales, equipos directivos, inspectores...). Nivel 3 (Terciarias): relativas a los recursos o soluciones (equipamientos educativos,condiciones laborales, programas, ratios, tecnología, ayudas, salarios y beneficios...).

EVALUACIÓN DE LA EVALUABILIDAD Estudiar la posibilidad de evaluación de un programa. Metodologías: Análisis documental y entrevistas personales con los diseñadores del programa (en papel). Análisis de la realidad empírica (el programa en la realidad)

EVALUACIÓN DEL DISEÑO/ CONCEPTUALIZACIÓN DEL PROGRAMA Comprobar si el programa se basa en un mode-lo de intervención suficientemente contrastado. Metodología: Análisis lógico del programa en relación a: Población objeto y los posibles problemas de cobertura. Conjunto de actividades que constituyen el programa incluidos los recursos asignados al mismo.

EVALUACIÓN DE LA IMPLEMENTACIÓN Contrastar si hay discrepancias entre el diseño y la realidad Metodología: Describir cuáles son los elementos esenciales del programa según los textos que los especifican. Recoger información empírica sobre cómo se aplican, cómo funcionan, etc. esos elementos. Deducir si la implementación es adecuada comparando los dos puntos anteriores.

EVALUACIÓN DE LA COBERTURA Analizar hasta qué punto el programa llega a la población a la que está destinado (tasa de cobertura, sesgo, barreras y accesibilidad). Análisis de la accesibilidad: Conocimiento del programa por parte de la población objeto del mismo. Accesibilidad (física, temporal y mediática). Aceptación del programa (accesibilidad psíquica o motivacional).

MONITORIZACIÓN Y SEGUIMIENTO DEL PROGRAMA Gestionar y dirigir adecuadamente el programa. Metodología: Establecer el tipo de información a recoger Determinar la periodicidad de dicha recogida Realizar un análisis periódico de la información: Cobertura Esfuerzo (recursos humanos, medios materiales y financieros) Proceso (actividades, distribución del tiempo) e implementación Productividad (del personal del programa) Calidad (de la atención e intervención) Económica (de los costes de la intervención y su eficacia)

EVALUACIÓN DE LOS RESULTADOS Analizar todas las consecuencias o efectos previstos que tenga el programa sobre la población objeto del mismo (usuarios, beneficiarios). Metodología: Identificar los posibles efectos/consecuencias del programa. Establecer diseños: Diseños experimentales Modelos causales Diseños cualitativos

EVALUACIÓN DEL IMPACTO Analizar los efectos del programa sobre una población que va más allá de los beneficiarios/usuarios inicialmente previstos. Metodología: Identificar los posibles efectos/consecuencias no previstos en el programa. Establecer diseños: Diseños experimentales Modelos causales Diseños cualitativos

Evaluación de necesidades EVALUACIÓN ECONÓMICA Analizar el coste del programa en relación a los resultados que éste consigue. Posibilidades: coste/beneficio, coste/efectividad o coste/utilidad. Jerarquía evaluativa: Evaluación de necesidades Evaluabilidad Implementación PROGRAMA Resultados Económica

5. TIPOS DE EVALUACIÓN Según la perspectiva temporal Evaluación ex-ante: ¿El programa es pertinente? ¿Tendrá éxito? Evaluación intermedia: ¿Se está desarrollando según lo previsto? ¿Se están logrando los objetivos? Evaluación ex-post: ¿Cuáles son los logros atribuibles al programa?

6. EL PROCESO DE EVALUACIÓN Marco regulador de la evaluación. Objeto y tipo de evaluación. Finalidad y función de la evaluación. Objetivos. Identificación de las audiencias. Términos de comparación. Criterios de evaluación. Diseño de evaluación: tipo, participantes, recogida y análisis de datos. Resolución del diseño de evaluación. Calendario de trabajo previsto. Equipo de evaluación.

6. EL PROCESO DE EVALUACIÓN Objeto y tipo de evaluación ¿Qué programa? Oficial Programa en desarrollo Puesto en práctica Según el cliente Según los diseñadores Según los participantes Según las audiencias ¿Qué evaluar? Necesidades Evaluabilidad Diseño/Conceptualización Implementación Cobertura Seguimiento Resultados Impacto Economía

6. EL PROCESO DE EVALUACIÓN Finalidad y función. Objetivos Finalidad: Informar, ayudar a tomar decisiones, mejorar el programa, rendir cuentas … Funciones: Formativa Sumativa Proactiva… Objetivos.

EL PROCESO DE EVALUACIÓN Identificación de las audiencias Una evaluación puede tener más de un cliente o audiencia. Diferentes audiencias pueden tener diferentes necesidades de evaluación. Es necesario identificar las audiencias concretas y sus necesidades relacionadas con el proceso de evaluación.

6. EL PROCESO DE EVALUACIÓN Términos de comparación PROGRAMA -A- PROGRAMA -A’- PROGRAMA -B- PROGRAMA -A- PROGRAMA -A- PROGRAMA -a, b, c, ...z- PROGRAMA -A- !!PROGRAMA!!

6. EL PROCESO DE EVALUACIÓN Criterios Ajuste entre los términos de comparación. Nivel de mejora respecto a una situación anterior. Satisfacción de ciertos indicadores o estándares. Efectos sobre: personas objetivo, organizaciones, sistemas y comunidad. Impacto.

EVALUACIÓN DE NECESIDADES EVALUACIÓN DEL DISEÑO EVALUACIÓN DE LA GESTIÓN y SEGUIMIENTO EVALUACIÓN DE LOS RESULTADOS DEL IMPACTO Ad hoc basados en modelos. Sistemas de jueces Observacionales Correlacionales Causales Cuantitativos Cuanlitativos Participativos Cualitativos Tipo survey Observación Indicadores sociales Delphi, DAFO ... Escalas de valoración Paneles de expertos Indicadores. Informaciones periódicas. Medidas de rendimiento Portafolios Grupo nominal Delphi Forum comunitario Técnicas estadísticas Análisis de decisiones Análisis cualitativos Técnicas estadísticas Análisis coste-beneficio Análisis de impactos micro y macroeconómicos

6. EL PROCESO DE EVALUACIÓN Resolución del diseño Evaluador, único juez. Equipos de evaluadores. Evaluador/es y audiencias. Evaluación y toma de decisiones: ¿un solo agente o dos agentes distintos? Validez.

6. EL PROCESO DE EVALUACIÓN Calendario previsto Detallar actividades, procedimientos, responsables y tiempo asociados. Contar con los RR.HH y RR.MM al planificar el calendario. Construir un diagrama de Gantt.

6. EL PROCESO DE EVALUACIÓN Equipo de evaluación Establecer un propietario del proceso. Diferenciar funciones y responsabilidades. Carrera del evaluador, a partir de la formación y la experiencia acumuladas: Novel. Junior. Senior.

7. VALIDEZ DE LA EVALUACIÓN Útil: En la medida en que da respuesta a las necesidades, problemas o motivaciones. Procedimiento: Dinámico, sigue la lógica de ajuste al modelo. Valor: No es universalmente defendible, depende de las audiencias afectadas. Valor: Depende de que los destinatarios la consideren bien fundamentada o aplicable. Valor: Garantizada por el evaluador y certificada por las audiencias.

8. FASES DE UNA EVALUACIÓN Tyler (1950): Establecer las metas de la evaluación (conduc.) Desarrollar instrumen-tos de evaluación Recoger datos Interpretar los hallazgos Hacer recomendaciones Stake (1973): Describir el objeto Informar a las audiencias relevantes Obtener y analizar sus juicios Informar a las audiencias de la sobre el análisis realizado aplicando sus perspectivas de valor

FASES DE UNA EVALUACIÓN (Esquema tradicional) 1. Familiarización con el programa. 2. Decisión sobre la viabilidad de la evaluación. 3. Determinación del tipo de evaluación: Funcionamiento del programa (implem./monitor.) Efecto sobre la sociedad/comunidad (impacto). Resultados/efectos del programa (resultados). Consideración de beneficios y costes (coste/beneficio/utilidad). 4. Diseño/proyecto de la evaluación. 5. Recogida de la información. 6. Análisis de datos/informe.

Identificación de partes interesadas Organizar con ellas un grupo de trabajo Delimitación de preguntas y temas de evaluación SÍ Puede identificarse cómo se utilizarán las respuestas a esta pregunta NO Buscar nuevas preguntas y temas SÍ Dada la utilización prevista, vale la pena hacer la evaluación NO Toma de decisiones sobre diseño, métodos y medición

Los métodos son adecuados para las preguntas de la evaluación. 2. Los resultados que se obtengan tendrán credibilidad. Los métodos a utilizar están dentro del presupuesto. 4. Los resultados obtenidos se utilizarán. Recogida de información/datos Análisis de datos Grupo de trabajo se implica en el análisis Decisión sobre cómo utilizar y aplicar los hallazgos Decisión sobre difusión de los hallazgos