Modulo IV: Elaboración de Proyectos para la gestión pública Taller 5: Monitoreo y Evaluación de Programas y Políticas Públicas Dra. Gabriela Pérez Yarahuán CIDE/CLEAR 1

Temario Taller 5 1.Monitoreo y evaluación: conceptos básicos 2.Aspectos institucionales del monitoreo y la evaluación 3.Evaluación: conceptos básicos y tipologías 4.Evaluación: metodologías de evaluación 5.Uso de las evaluaciones 2

Agenda de la sesión 1. Conceptos básicos Evaluación Monitoreo Teoría del Programa Procesos Productos Resultados/impactos 2. Tipos de monitoreo Procesos Resultados 3

Agenda de la sesión 3. Qué monitorear, para qué monitorear, cómo monitorear 4. Fallas de la implementación 5. Información de procesos…. 6. Resultados Nivel, cambio, efecto neto Identificación Medición de resultados Monitoreo 4

Definiciones básicas Evaluación Monitoreo Teoría del Programa Procesos Productos Resultados/impactos 5

Teoría del Programa Un programa debe plantear el logro de una “cadena de objetivos” y argumentar el beneficios de llevarla a cabo. 6 PROCESO DE INTERVENCIÓN C PROGRAMA A OBJETIVO B

7

El ciclo ideal de un programa 8 DiseñoImplementaciónEvaluación

Monitoreo de Programas 9 Medición continua de los procesos o medición de los resultados del programa. Monitoreo de Procesos Monitoreo de Resultados

Tipos de monitoreo ProcesosResultados/Impactos 10

Procesos La evaluación de procesos verifica si el programa está realizando adecuadamente las funciones y actividades necesarias para la distribución de los bienes y servicios estipulados por el programa 11

12 Tipo de preguntas que debe contestar una evaluación de procesos ¿Cuántas personas están recibiendo los beneficios del programa? ¿Aquellos que reciben el programa pertenecen a la población objetivo? ¿Los beneficios se reciben en cantidad, tipo y calidad necesarias? ¿Existen beneficiarios que no son población objetivo? ¿Las funciones del programa se desarrollan de manera adecuada? ¿El programa está bien organizado? ¿Se utilizan los recursos de una manera efectiva y eficiente? ¿El programa tiene una buena coordinación con otros programas? Etc.

Estándares Las preguntas de la evaluación de procesos tienen que ver con los atributos del proceso de implementación. Bueno, adecuado, suficiente, eficiente ¿Cómo se juzga esto? Existen dos formas 13

Estandares a partir de: Teoría de Procesos del programa El diseño del programa tiene un plan de acción. Una “Teoría” de su funcionamiento. Cuando se realiza una evaluación de procesos se juzga a partir de este plan ideal. Otros estándares Metas administrativas o de gestión Estudios Tiempo 14

Tipo de Evaluación de Proceos Evaluación de los procesos o la implementación Para conocer las características de la implementación de un programa Programa nuevo Se busca retroalimentación por parte de externos Cuando la distribución de beneficios es lo más importante Para complementar una evaluación de impacto Evaluación de Procesos Continua y Sistemas de Información Gerenciales Tienen como base sistemas de información robustos Se busca tener una retroalimentación continua 15

Qué monitorear Documentación, sistematización y comunicación de las características esenciales y más relevantes de la operación de un programa. Tipo y cantidad de servicios provistos Características de los beneficiarios, e.g, edades, sexo, lugar de residencia, ingreso, status laboral, etc. Tiempos de entrega Personal empleado 16

Qué monitorear Cobertura, focalización y sesgo 17

Para qué monitorear Como paso relevante para la evaluación de impacto Para encontrar las razones de los resultados de los programas. Una evaluación que no analiza la implementación se le conoce como una evaluación de “caja negra” Para la rendición de cuentas Información, justificación, consecuencias Para la administración y gerencia del proyecto Correctivo 18

Cómo monitorear Información interna, records administrativos Encuestas de beneficiarios Encuestas nacionales 19

Fallas de la implementación 1. Intervención incompleta 2. Intervención equivocada 3. Intervención heterogénea Sistema de provisión de beneficios Necesario especificar el tipo de servicio que se provee Garantizar la accesibilidad 20

Y qué hacer con la información de monitoreo Descripción de la operación Comparación de la operación diferentes lugares (regiones, estados, municipios, ciudades, etc.) Verificar el cumplimiento con el diseño. 21

Monitoreo de Resultados Resultados Nivel, cambio, efecto neto Identificación Medición de resultados Monitoreo 22

Resultados Resultados: es el estado o circunstancia social, económica que el programa o la intervención pretende modificar. Diferencia entre nivel, cambio, efecto neto 23

Productos, resultados, impactos Canastas alimentarias Tasa de desnutrición infantil Disminución en desnutrición atribuible al programa Ejercicio 24

Intervention Indicador Ejemplo: ingreso monetario de familias, incidencia de enfermedades infantiles, escolaridad. Observable 25

26 El valor del indicador se modifica después del programa programa Observable ¿Es esto el impacto?

27 Necesitamos saber como se hubiera modificado el indicador en la ausencia del programa Programa

28 … sólo así podemos calcular el verdadero impacto del programa

Resultados Identificación de resultados Involucrados Teoría del programa Investigación 29

Medición de resultados Selección de indicadores de resultados Corto, mediano, largo plazo Cómo medirlos Ejemplos: delincuencia juvenil (número de delitos, severidad de delitos, tipo de delito, edad del primer delito); contaminación (tipo de emisión, toxicidad, cantidad de emisiones, frecuencia, proximidad a áreas con población, tasa de dispersión de toxinas, etc.). 30

Medición de resultados Confiabilidad La medición produce resultados iguales cuando se mide de manera repetida E.g., Características físicas vs. psicológicas Validez Se mide lo que se quiere medir Delincuencia juvenil y comportamiento de la policía Sensibilidad El valor de la medida cambia cuando existe un cambio o diferencia en aquello que se mide. Pruebas estadarizadas 31

Ejercicio: acuerdo de elevador Ejercicio: Contexto: su jefe ha sido citado a una reunión urgente e importante en la SHCP (en 1.5 horas) y les pide su asesoría En particular está buscando tu conocimiento experto en materia de evaluación para hacer propuestas con relación a un programa federal. Tu jefe no tiene más de 5 minutos para que lo asesores. 32

Ejercicio: acuerdo de elevador Ficha de monitoreo y evaluación (CONEVAL). 4 equipos Tienen 15 minutos para leerla 30 minutos para discutir en equipo 10 minutos presentar el caso a su jefe 33

Ejercicio: acuerdo de elevador Debriefing: Utilidad de las fichas de monitoreo ¿Qué información hace falta? ¿Qué propondrías? 34