1 Evaluación de Programas Públicos Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala. 16 y 17 de Noviembre. 2009

2 DEFINICIONES EVALUACION DE PROGRAMAS PUBLICOS “ Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE. “Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea “Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public

3 OBJETIVOS DE LA EVALUACION DE PROGRAMAS PUBLICOS APOYAR EL PROCESO DE TOMA DE DECISIONES MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS  INFORMACION SOBRE IMPACTO DE LAS POLITICAS  AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS

4 ETAPAS DEL PROCESO DE EVALUACION ETAPAS EX -ANTES Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto

5 EVALUACION Y GESTION POR RESULTADOS TIPO DE ACCION GUBERNAMENTAL QUE SE EVALUAMETODOLOGIAS/Fuentes de datos Estrategias Nacionales Cumplimiento de compromisos, prioridades nacionales Estadísticas Nacionales Encuestas Política Públicas Metas nacionales, sectoriales Comités Científicos de Evaluación, Paneles de Expertos EVALUACION DE PROGRAMAS (Escritorio, Impacto) Operativa-Instituciones Cumplimiento de metas de gestión y resultados finales Indicadores de Eficiencia, Eficacia, Calidad, Economía Sistema de Indicadores de Desempeño Cuadro de Mando Integral EVALUACION DE PROGRAMAS (Escritorio, Impacto) Marco Lógico Programas Públicos Resultados, gestión, impactoEVALUACION DE PROGRAMAS (Escritorio, Impacto) Marco Lógico Inversiones Rentabilidad Social Costo-Beneficio Evaluación costo-beneficio ex-ante

6 TIPOS DE EVALUACIONES DE PROGRAMAS Evaluación de escritorio: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico) Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública Evaluación costo – efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.

7 Uso de la evaluación de programas Seguimiento de la situación de los Programas para fines de rediseño Decisiones de asignación de recursos Rendición de cuentas

8 Planificación y Proceso Presupuestario: Mecanismos de articulación y uso de Evaluación de Programas Plan Nacional de Desarrollo: TIPOS DE INDICADORES  Indicadores Macro nivel país Tasa de disminución de pobreza, marginalidad Tasa de creación de empleo Tasa de dismunución de los delitos Indice de Calidad Educativa Indicadores de Morbilidad Planes Sectoriales TIPOS DE INDICADORES  Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc. Planes Institucionales TIPOS DE INDICADORES  Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad) Programas Presupuestarios TIPOS DE INDICADORES  Indicadores de Resultados Intermedios, Productos y Procesos (Eficacia, Eficiencia, calidad), Insumos. PRIORIDADES SECTORIALES FINES Y OBJETIVOS ESTRATEGICOS Plan Estratégico Institucional Ámbitos de Seguimiento y Evaluación PRIORIDADES NACIONALES Fuentes de Datos y Metodologías Estadísticas Nacionales Evaluaciones de Impacto Encuestas, Paneles, etc. Estadísticas Nacionales Evaluaciones de Impacto Evaluaciones Cualitativas Evaluaciones de Impacto Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño OBJETIVOS ESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS Plan Estratégico y Plan Operativo Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño

9 EVALUACION DE PROGRAMAS EN AMERICA LATINA PaísTipo de Evaluación MandanteCobertura institucional Uso de la Información Sistematicidad Continuidad Brasil Seguimiento Programas Ministerio de Planeamiento y Presupuesto PPA Programas Federales Presupuesto Rendición de Cuentas Anual No hay evaluación de impacto institucionalizada Chile Escritorio Impacto Ministerio de Hacienda Administración Pública Central Presupuesto Rendición de Cuentas Anual Continua desde 1997 Colombia Escritorio Impacto (Evaluaciones estratégicas) DNP Administración Pública Nacional Presupuesto Rendición de Cuentas Presidenciales Esporádica México Escritorio Impacto CONEVAL Secretaría de Hacienda Administración Pública Federal Presupuesto (solo la de escritorio), marco lógico Anual Perú EscritorioMEFAdministración Pública Nacional PresupuestoPlan piloto

10 TIPOS DE EVALUACIONES:Chile Evaluaciones de Programas Gubernamentales (EPG) Evaluación de consistencia en diseño, gestión y resultados Basado en la metodología de marco lógico Realizadas por paneles de 3 expertos independientes, seleccionados por concurso público Informe Final en 6 meses Evaluación de Impacto (EI) Evaluación de los resultados finales de programas en base a mediciones de impacto Metodología considera recolección de datos, técnicas de medición más sofisticadas (“Matching”, LATE), grupos de control Realizadas por consultoras privadas, universidades, seleccionadas a través de licitación pública Informe Final en 1-1/2 años Evaluación Comprehensiva del Gasto (ECG) Evaluación del diseño y gestión institucional y resultados y uso de recursos en la provisión de los productos estratégicos. Se evalúa la posible existencia de duplicidades, inconsistencias, oportunidades para generar sinergías y ahorros

11 Ambitos de la evaluación de Programas (escritorio) Justificación del Programa Diseño. Organización y Gestión.. Resultados: Eficacia, Eficiencia, Economia, Calidad Sostenibilidad/Continuidad. Conclusiones y Recomendaciones.

12 Metodología: Marco Lógico

EVALUACION DE IMPACTO

14 PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

15 OBJETIVOS Conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

16 METODOLOGIAS Diseño experimental tradicional y aleatorio Método de doble diferencias Métodos de comparaciones Pareadas (matching) Selección de modelos ( variables instrumentales) Evaluaciones cualitativas

17 Metodologías cualitativas Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa. Focus group Entrevistas a informantes claves

18 Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto Las evaluaciones realizadas tienen dificultades de ser parte de los insumos de procesos regulares de planificación y presupuesto Escasa institucionalización de las evaluaciones de impacto Se aplican evaluaciones de impacto en la mayoría de los programas sociales con financiamiento externo Con excepciones hay escasa evidencia de que los informes de evaluación de programas (sus resultados) sean utilizados en la toma de decisiones de políticas o programas públicos Las evaluaciones de programas operan principalmente como insumo a nivel micro, no contribuyen a la evaluación de políticas

19 Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto Escasos mecanismos de validación y /o certificación de las metodologías utilizadas en las evaluaciones Los indicadores de los Programas son poco confiables: Escasamente focalizados y estratégicos Varían intertemporalmente y se dificulta su seguimiento e insumo para la evaluación No auditables

20 Desafíos para la evaluación de programas y su utilización en la Planificación y el proceso presupuestario Involucramiento político con la evaluación (Gobierno, partidos políticos, legislativo, ciudadanía) Retroalimentación para la toma de decisiones de política pública (arreglos institucionales y técnicos) Fortalecimiento de las capacidades técnicas de los mandantes Desarrollo de metodologías adecuadas (que permitan el uso de la información en el ciclo presupuestario y de rendición de cuentas) Resolver tema costo, tiempo v/s utilización de la información y sentido de la evaluación