Evaluación de Programas Públicos Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala. 16 y 17 de Noviembre. 2009 Evaluación de Programas Públicos Marianela.Armijo@cepal.org Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL

DEFINICIONES EVALUACION DE PROGRAMAS PUBLICOS “Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE. “Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea “Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public

OBJETIVOS DE LA EVALUACION DE PROGRAMAS PUBLICOS APOYAR EL PROCESO DE TOMA DE DECISIONES INFORMACION SOBRE IMPACTO DE LAS POLITICAS AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS

ETAPAS DEL PROCESO DE EVALUACION EX -ANTES ETAPAS Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto

TIPO DE ACCION GUBERNAMENTAL METODOLOGIAS/Fuentes de datos EVALUACION Y GESTION POR RESULTADOS TIPO DE ACCION GUBERNAMENTAL QUE SE EVALUA METODOLOGIAS/Fuentes de datos Estrategias Nacionales Cumplimiento de compromisos, prioridades nacionales Estadísticas Nacionales Encuestas Política Públicas Metas nacionales, sectoriales Comités Científicos de Evaluación, Paneles de Expertos EVALUACION DE PROGRAMAS (Escritorio, Impacto) Operativa-Instituciones Cumplimiento de metas de gestión y resultados finales Indicadores de Eficiencia, Eficacia, Calidad, Economía Sistema de Indicadores de Desempeño Cuadro de Mando Integral Marco Lógico Programas Públicos Resultados, gestión, impacto Inversiones Rentabilidad Social Costo-Beneficio Evaluación costo-beneficio ex-ante

TIPOS DE EVALUACIONES DE PROGRAMAS Evaluación de escritorio: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico) Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública Evaluación costo – efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.

Uso de la evaluación de programas Seguimiento de la situación de los Programas para fines de rediseño Decisiones de asignación de recursos Rendición de cuentas

Plan Estratégico Institucional Plan Estratégico y Plan Operativo Planificación y Proceso Presupuestario: Mecanismos de articulación y uso de Evaluación de Programas Ámbitos de Seguimiento y Evaluación Plan Nacional de Desarrollo: TIPOS DE INDICADORES Indicadores Macro nivel país Tasa de disminución de pobreza, marginalidad Tasa de creación de empleo Tasa de dismunución de los delitos Indice de Calidad Educativa Indicadores de Morbilidad Planes Sectoriales Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc. Planes Institucionales Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad) Programas Presupuestarios Indicadores de Resultados Intermedios, Productos y Procesos (Eficacia, Eficiencia, calidad), Insumos. Fuentes de Datos y Metodologías PRIORIDADES NACIONALES Estadísticas Nacionales Evaluaciones de Impacto Encuestas, Paneles, etc. Estadísticas Nacionales Evaluaciones de Impacto Evaluaciones Cualitativas PRIORIDADES SECTORIALES Evaluaciones de Impacto Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño FINES Y OBJETIVOS ESTRATEGICOS Plan Estratégico Institucional OBJETIVOS ESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS Plan Estratégico y Plan Operativo Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño

EVALUACION DE PROGRAMAS EN AMERICA LATINA País Tipo de Evaluación Mandante Cobertura institucional Uso de la Información Sistematicidad Continuidad Brasil Seguimiento Programas Ministerio de Planeamiento y Presupuesto PPA Federales Presupuesto Rendición de Cuentas Anual No hay evaluación de impacto institucionalizada Chile Escritorio Impacto Ministerio de Hacienda Administración Pública Central Continua desde 1997 Colombia (Evaluaciones estratégicas) DNP Administración Pública Nacional Rendición de Cuentas Presidenciales Esporádica México CONEVAL Secretaría de Hacienda Administración Pública Federal Presupuesto (solo la de escritorio), marco lógico Perú MEF Plan piloto

TIPOS DE EVALUACIONES:Chile Evaluaciones de Programas Gubernamentales (EPG) Evaluación de consistencia en diseño, gestión y resultados Basado en la metodología de marco lógico Realizadas por paneles de 3 expertos independientes, seleccionados por concurso público Informe Final en 6 meses Evaluación de Impacto (EI) Evaluación de los resultados finales de programas en base a mediciones de impacto Metodología considera recolección de datos, técnicas de medición más sofisticadas (“Matching”, LATE), grupos de control Realizadas por consultoras privadas, universidades, seleccionadas a través de licitación pública Informe Final en 1-1/2 años Evaluación Comprehensiva del Gasto (ECG) Evaluación del diseño y gestión institucional y resultados y uso de recursos en la provisión de los productos estratégicos. Se evalúa la posible existencia de duplicidades, inconsistencias, oportunidades para generar sinergías y ahorros

Ambitos de la evaluación de Programas (escritorio) Justificación del Programa Diseño. Organización y Gestión.. Resultados: Eficacia, Eficiencia, Economia, Calidad Sostenibilidad/Continuidad. Conclusiones y Recomendaciones.  

Metodología: Marco Lógico

EVALUACION DE IMPACTO

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

OBJETIVOS Conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto? 

METODOLOGIAS Diseño experimental tradicional y aleatorio Método de doble diferencias Métodos de comparaciones Pareadas (matching) Selección de modelos ( variables instrumentales) Evaluaciones cualitativas

Metodologías cualitativas Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa. Focus group Entrevistas a informantes claves

Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto Las evaluaciones realizadas tienen dificultades de ser parte de los insumos de procesos regulares de planificación y presupuesto Escasa institucionalización de las evaluaciones de impacto Se aplican evaluaciones de impacto en la mayoría de los programas sociales con financiamiento externo Con excepciones hay escasa evidencia de que los informes de evaluación de programas (sus resultados) sean utilizados en la toma de decisiones de políticas o programas públicos Las evaluaciones de programas operan principalmente como insumo a nivel micro, no contribuyen a la evaluación de políticas

Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto Escasos mecanismos de validación y /o certificación de las metodologías utilizadas en las evaluaciones Los indicadores de los Programas son poco confiables: Escasamente focalizados y estratégicos Varían intertemporalmente y se dificulta su seguimiento e insumo para la evaluación No auditables

Desafíos para la evaluación de programas y su utilización en la Planificación y el proceso presupuestario Involucramiento político con la evaluación (Gobierno, partidos políticos, legislativo, ciudadanía) Retroalimentación para la toma de decisiones de política pública (arreglos institucionales y técnicos) Fortalecimiento de las capacidades técnicas de los mandantes Desarrollo de metodologías adecuadas (que permitan el uso de la información en el ciclo presupuestario y de rendición de cuentas) Resolver tema costo, tiempo v/s utilización de la información y sentido de la evaluación