EVALUACION DE PROGRAMAS PUBLICOS EN CHILE PRESUPUESTO POR RESULTADOS Maria Teresa Hamuy Pinto Consultora internacional Noviembre 2015

Institucionalidad de la Funcion de Evaluacion en Chile TIPOS DE EVALUACION ESTUDIOS / DISEÑOS / DIAGNOSTICOS PROYECTOS PROGRAMAS EX-ANTE:   SOCIALES MDS MDS (SNI) OTROS DIPRES EX-POST ----- MDS = Ministerio Desarrollo Social MDS / SNI = Sistema Nacional de Inversiones DIPRES = Ministerio Hacienda – Dirección de Presupuesto

Presupuesto Por Resultados (PPR) El concepto de Presupuesto por Resultados PPR busca integrar información de desempeño al proceso presupuestario, relacionando asignación de recursos con resultados de desempeño medibles. La información de desempeño se recoge a través de distintos instrumentos que forma el Sistema de Evaluación y Control de Gestión del Gobierno Central.

Presupuesto Por Resultados (PPR) Chile optó por establecer un PPR bajo la categoría de “Presupuesto Informado”. El principal objetivo del Presupuesto Informado es contribuir con información de desempeño al ciclo presupuestario. Existe un vínculo indirecto entre la información de desempeño y la asignación de recursos, utilizadandola para sustentar las decisiones presupuestarias.

Sistema de Evaluación y Control de Gestión Objetivo: Generar información de desempeño e introducir prácticas para mejorar la calidad del gasto. Eficiencia en la asignación de recursos Eficiencia y eficacia en el uso de los recursos Transparencia en la gestión de los programas y en la administración de las finanzas públicas

Sistema de Evaluación y Control de Gestión I. Instrumentos de Monitoreo y Seguimiento Indicadores de desempeño (1993) / Definiciones Estratégicas (2001) Seguimiento Metas de Gobierno (SEGPRES) Monitoreo de Programas Sociales y No Sociales (MDS/DIPRES – 2013) II. Evaluación Ex Ante (Internas) (2000) Sistema Nacional de Inversiones (MDS) (Década de los ’80) Presentación Estándar de Programas al Presupuesto (2000). Evaluación del diseño de Programas Sociales y No Sociales (MDS/DIPRES- 2012) Ex Post: (Independiente) (1997) Evaluación de Programas Gubernamentales (1997) Evaluación de Impacto de Programas (2001) Evaluación del Gasto Institucional (2002) Evaluación de Programa Nuevos (2009) III. Mecanismos de Incentivo Institucional

Evaluación EX ANTE de Programas Objetivo: Recoger información relevante (diagnóstico, población potencial y objetivos; criterios de focalización y selección de beneficiarios; resultados esperados; costos, entre otros) a través de un formato estándar, que permita evaluar a nivel de diseño, todos aquellos programas nuevos o reformulaciones de programas en ejecución. Dependiendo de la iniciativa, el MDS o la DIPRES, emite una recomendación respecto de la pertinencia de financiar la solicitud en el Presupuesto.

Evaluación EX POST de Programas Objetivo : Implementar distintas líneas de evaluación de manera gradual, a fin de contar con evidencia e información relevante para mejorar la asignación y uso de los recursos. Marco Legal : Sistema dependiente de la Dirección de Presupuestos del Ministerio de Hacienda. Protocolo de Acuerdo con el Congreso. Se definen programas a evaluar. (1997) Ley de Administración Financiera y su Reglamento. Norma los procedimientos. (2003)

Evaluación EX POST de Programas Carácterísticas Principales: Programas seleccionados en conjunto con el Congreso. Evalúa objetivos declarados o resultados esperados de los programas en ejecución Relacionadas con el ciclo presupuestario. Evaluación desarrollada por evaluadores independientes elegidos a través de concurso público (paneles de expertos o universidades y consultoras). Evaluadores con autoridad para solicitar información, encargar estudios.

Evaluación EX POST de Programas Carácterísticas Principales: Contraparte en ministerios y servicios responsable de programa en evaluación. Sus resultados son públicos, se informan en la elaboración del presupuesto, se envían al Congreso y se publican en pagina web. Compromisos de mejora como resultado de las recomendaciones de la evaluación. Seguimiento a través de acuerdos formales entre DIPRES e Instituciones Evaluadas.

Evaluación EX POST de Programas Selección Programas/Instituciones Evaluadores Proceso Evaluación Resultados Recomendaciones Envío al Congreso Compromisos Institución / Ministerio de Hacienda Acciones Específicas Plazos Seguimiento

Evaluación EX POST de Programas Principios Orientadores de las Evaluaciones: Independientes (externas) Transparentes (resultados de carácter público) Confiables (calidad técnica) Pertinentes (mejorar eficiencia gasto público) Oportunas (ciclo presupuestario)

Evaluación EX POST de Programas Focos de la Evaluación : Diseño Organización y Gestión Resultados: (capacidad del programa para resolver el problema para el cual fue creado) Eficacia/Calidad Eficiencia Economía Sostenibilidad Recomendaciones

Evaluación EX POST de Programas Conclusiones sobre el Desempeño Global ¿El programa responde a una necesidad concreta, medible y con diagnóstico claro; y, en qué medida cumple el objetivo para el cual fue creado? ¿Los costos de proveer los bienes y/o servicios del programa se comparan favorablemente con aquellos de otros programas o prestaciones de naturaleza similar o con un referente internacional?

Evaluación EX POST de Programas Conclusiones sobre el Desempeño Global ¿La entrega del los bienes y/o servicios del programa se hace incurriendo en el menor costo posible?. Se revisa si existen actividades prescindibles o posibles de sustituir por mecanismos de menor costo, que permitan alcanzar un nivel de desempeño equivalente al actual?

Líneas de Evaluación EX POST Evaluación de Programas Gubernamentales (EPG) (1997) Evaluación de diseño y gestión de un programa, y resultados a nivel de producto (cobertura, focalización, entre otros). Utiliza sólo información disponible. Realizada por un panel de evaluadores externos, aprox. 6 meses de duración. (Metodologia Marco Lógico).

Líneas de Evaluación EX POST Evaluación de Impacto de Programas (EI) (2001) Permite evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasi-experimentales, construyendo grupos de control y línea de base. Realizada por un entidad evaluadora externa, aprox. 12 meses de duración.

Líneas de Evaluación EX POST Evaluación del Gasto Institucional (EGI) (2002) Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados. Realizada por un entidad evaluadora externa, aprox. 14 meses de duración.

Líneas de Evaluación EX POST Evaluación de Programas Nuevos (EPN) (2009) Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases y utilizando preferiblemente diseño experimental. Esta linea se ha discontinuado.

Programa de Evaluación: 1997-2015 Línea Evaluación  1997 a 1999 2000 a 2005 2006 a 2009 2010-2015 Total 1. Evaluación Programas Gubernamentales 80 94 63 95 332 2. Evaluación del Gasto Institucional 19 18 17 54 3. Evaluación de Impacto   30 41 50 121 4. Evaluación Programas Nuevos 5 9 14 Total General 143 127 171 521 8% En desarrollo.

RESULTADOS EVALUACIONES Categorías de Resultados para EPG e Impacto: Buen Desempeño: El programa presenta resultados positivos y significativos a nivel intermedio y final, así como también en las dimensiones diseño, gestión y producto. Desempeño Suficiente: El programa tiene resultados positivos que dan cuenta de sus objetivos, sin embargo presente debilidades en alguna(s) de las dimensiones evaluadas.

RESULTADOS EVALUACIONES Categorías de Resultados para EPG e Impacto: Desempeño Insuficiente: El programa presenta resultados insuficientes y/o muestra debilidades en las dimensiones evaluadas que no le permiten dar cuenta de sus objetivos. Resultados no Demostrados: La evaluación no entrega información suficiente que permita obtener resultados concluyentes respecto del desempeño del programa.

Categoría de Resultados Estadísticas de Evaluaciones de Programas (EPG – Impacto) Años 2012 - 2015 Categoría de Resultados Total (%) Buen Desempeño (BD) 1% Desempeño Suficiente (DS) 27% Desempeño Insuficiente (DI) 54% Resultados no Demostrados (RnD) 18% TOTAL (67) 100%

Resultados Evaluación de Programas Categoría de Resultados Gubernamentales Año 2015 Categoría de Resultados Programas Evaluados Desempeño Suficiente Infraestructura Hidraúlica de Agua Potable Rural (APR): El programa ha provisto de infraestructura de APR a localidades rurales concentradas y semi-concentradas, aumentando la cobertura de población rural de 6% en 1960 a 53% en 2014, beneficiando a más de un millón y medio de personas. Sin embargo, se observa una insuficiente y dispar distribución en las capacidades de gestión, técnicas y financieras de los comités y cooperativas que administran los APRs una vez construidos, lo que sumado a que la edad promedio de los sistemas (22,3 años) supera la vida prevista de 20 años, redunda en problemas de cantidad/calidad/continuidad del servicio y en una necesidad de mejora/ampliación/conservación de los APRs existentes, actividades que concentran una parte importante del gasto del Programa (57% del gasto 2014).

Resultados Evaluación de Programas Categoría de Resultados Gubernamentales Año 2015 Categoría de Resultados Programas Evaluados Desempeño Insuficiente Fondo de Servicios de Atención al Adulto Mayor : El año 2014 la cobertura fue de 2,4% en el caso de los Establecimientos de larga estadía para adultos mayores (ELEAM) y de 0,84% en Condominio de Viviendas Tuteladas (CVT). No fue posible medir la focalización debido a que el programa no cuenta con la información necesaria para una caracterización socioeconómica y según nivel de dependencia y carencia de redes socio-familiares de los beneficiariosefectivos. La ocupación en 2014 fue de 92,7%, y de 94,5% en los ELEAM y CTV, respectivamente; lo cual no se condice con los bajos niveles de cobertura y revela las deficiencias existentes en las definiciones de cupos por establecimiento y respecto de los tiempos en que debería ser ocupada una vacante. El mecanismo de pago per cápita en los ELEAM no está asociado al nivel de dependencia de los beneficiarios (leve, moderada, severa), lo que podría actuar como incentivo para orientar la atención de los operadores hacia los beneficiarios con menor nivel de dependencia, y por tanto de menor costo.

Efectos Presupuestarios Proceso 2016 Programas Evaluados: Presupuesto 2015, Proyecto de ley 2016 (Miles de $ y Variación)   Recursos asignados Ley 2015 (miles de $ 2016) Recursos asignados Proyecto 2016 Variación Variación (%) Desempeño Suficiente 125.149.638 125.876.480 726.842 0,6% Desempeño Insuficiente 533.994.787 565.798.505 31.803.718 6,0% Desempeño Insuficiente Sin JUNJI 213.704.081 188.878.752 -24.825.329 - 12,0% Total 659.144.425 691.674.985 32.530.560 4,9% Total Sin JUNJI 338.853.720 314.755.232 -24.098.487 -7,0%

al 30 de Junio de 2015, por Ministerio Años 1999-2014 Cumplimiento de Compromisos de las Evaluaciones de Programas e Instituciones al 30 de Junio de 2015, por Ministerio Años 1999-2014 Ministerio Cumplido Parcialmente Cumplido No Cumplido Traspasado N° Total de Compromisos Junio 2015 Ministerio de Agricultura 100% 0% - 647 Ministerio de Defensa 152 Ministerio de Economía 99% 1% 354 Ministerio de Educación 955 Ministerio de Relaciones Exteriores 172 Ministerio de Hacienda 115 Ministerio del Interior y Seguridad Pública 96% 2% 370 Ministerio de Justicia 98% 274 Ministerio de Desarrollo Social 643 Ministerio de Minería 49 Ministerio de Obras Públicas 89% 7% 4% 153 Ministerio de Salud 3% 182 Ministerio Secretaria General de Gobierno 92% 8% 273 Ministerio de Secretaría General de la Presidencia 31 Ministerio de Trabajo y Previsión Social Ministerio de Transporte y Telecomunicaciones 97 Ministerio de Vivienda y Urbanismo 5% 255 Ministerio de Bienes Nacionales 46 Ministerio de Energía 83% 17% 41 Ministerio del Medio Ambiente   87 TOTAL 97% 5.170

Desafíos Aumentar cobertura número de evaluaciones. Mejorar oportunidad resultados evaluaciones. Formalizar efectos presupuestarios. Fomentar seguimiento.

Referencias www.dipres.gov.cl Sistema de Evaluación y Control de Gestión/ Evaluación de Programas e Instituciones