SISTEMA DE CONTROL DE GESTION Y PRESUPUESTO POR RESULTADOS LA EXPERIENCIA CHILENA Marcela Guzmán Jefa División de Control de Gestión Dirección de Presupuestos Ministerio de Hacienda

PROCESO PRESUPUESTARIO Discusión Aprobación Ejecución Evaluación Formulación

SISTEMA CONTROL DE GESTIÓN OBJETIVO : Obtener información de desempeño e introducir prácticas para mejorar la calidad del gasto. Asignación de Recursos Gestión de recursos Transparencia

INSTRUMENTOS DE CONTROL DE GESTIÓN DEFINICIONES ESTRATÉGICAS EVALUACIÓN INDICADORES DE DESEMPEÑO PRESENTACION DE INICIATIVAS AL PRESUPUESTO BGI PROGRAMAS DE MEJORAMIENTO DE LA GESTIÓN

INCORPORACION AL CICLO PRESUPUESTARIO Información de Desempeño SEGUIMIENTO Ley de Presupuestos EVALUACIÓN INTERNA FORMULACIÓN EJECUCIÓN Presentación Proyecto Aprobación Ley PROCESO PRESUPUESTARIO

INDICADORES DE DESEMPEÑO Miden como evoluciona el desempeño de los pricipales productos de una institución pública a lo largo del tiempo Mediciones se comparan principalmente con mediciones pasadas Miden desempeño en diferentes: Dimensiones (eficacia, eficiencia, economia, calidad de servicio) Ambitos de control (proceso, producto y resultado)

INDICADORES DE DESEMPEÑO Principios /Requisitos: Relevantes Verificables Medibles a costos razonables

FORMULARIO INDICADORES EN EL PRESUPUESTO MINISTERIO/INSTITUCIÓN: Producto Estratégico al que se vincula (bien y/o servicio) Indicador de Desempeño Fórmula de cálculo Datos Efectivos Estimación Meta Medios de verificación 2001 2002 2003 2004 2005 Eficacia/ Resultado Eficiencia/ Producto Calidad/ Producto Economía/ Proceso

INDICADORES DE DESEMPEÑO PROCESO Propuesta de Indicadores de Desempeño Formulación Indicadores Análisis técnico y de consistencia con los recursos Envío al Congreso Seguimiento

INDICADORES DE DESEMPEÑO ACTORES DEL PROCESO Instituciones Públicas Dirección de Presupuestos – M. de Hacienda Congreso Nacional

INCORPORACION AL CICLO PRESUPUESTARIO

INDICADORES DE DESEMPEÑO – AÑO 2005 Dimensión y Ámbito de Control Dimensiones Proceso Producto Resultado Total Dimensión Participación % Eficacia 46% 91% 861 54% Eficiencia 13% 2% 177 11% Economía 34% 4% 7% 191 12% Calidad 37% 0% 359 23% TOTAL 100% Total Ambito 396 901 291 1.588 25% 57% 18%

INDICADORES DE DESEMPEÑO AÑO 2003. RESULTADOS

PRINCIPALES CAUSAS DE NO EVALUACIÓN Reformulaciones (algoritmos) Modificaciones programáticas Periodos de medición mayores que un año

INDICADORES DE DESEMPEÑO AÑO 2003. GRADO DE CUMPLIMIENTO

PRINCIPALES CAUSAS DE NO CUMPLIMIENTO Factores externos atendibles (justificado) Sobreestimaciones de Metas por escasa información previa Problemas de gestión institucional

EJEMPLOS INDICADORES DE DESEMPEÑO

INDICADORES DE DESEMPEÑO ASPECTOS PENDIENTES Mejorar la disponibilidad de información para las mediciones Internalizar el uso en las Instituciones Públicas Continuar mejorando la pertinencia de los indicadores (desde procesos a resultados)

Evaluación Programas Gubernamentales (EPG) (1997) Evaluación de Impacto (EI) (2001) Evaluación en Profundidad (EP) Módulo de Impacto (MI) Institucionales Evaluación Comprehensiva del Gasto (ECG) (2002)

EVALUACIÓN DE PROGRAMAS Inicio : Año 1997 Marco Legal : Protocolo de Acuerdo Congreso Ley de Administración Financiera y su Reglamento (2003)

EVALUACIÓN – PRINCIPIOS /REQUISITOS INDEPENDIENTE TRANSPARENTE : La evaluación debe ser externa a la Institución y al Ministerio Responsable. : Los resultados deben ser de carácter público.

EVALUACIÓN – PRINCIPIOS /REQUISITOS : La evaluación debe ser pertinente y objetiva, es decir fundamentarse en antecedentes estríctamente técnicos. TÉCNICA OPORTUNA EFICIENTE : La evaluación debe proveer información en los tiempos adecuados para apoyar la toma de decisiones. : El costo de la evaluación debe guardar relación con los resultados que se espera de ella (juicios evaluativos).

EVALUACIÓN – PROCESO Selección de Programas/Instituciones Selección de Evaluadores Preparación de Antecedentes Capacitación y Preparación Marcos Lógicos Preliminares Evaluación. Resultados Recomendaciones Envío al Congreso Compromisos Institución / Ministerio de Hacienda Acciones Específicas Plazos Seguimiento

EVALUACIÓN – ACTORES DEL PROCESO Institución responsable del Programa / Inst. evaluada Evaluadores Comité Interministerial Ministerio de Planificación Ministerio Secretaria de la Presidencia Ministerio de Hacienda Dirección de Presupuestos – M. de Hacienda Congreso Nacional (Protocolo de Acuerdo)

EPG: OBJETIVOS - METODOLOGÍA La metodología utilizada se basa en la metodología de marco lógico. La metodología de marco lógico es utilizada por el Banco Interamericano de Desarrollo (BID), el Banco Mundial y otras agencias internacionales. Es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa.

SÍNTESIS ESQUEMÁTICA DE LA MATRIZ DE MARCO LÓGICO OBJETIVOS INDICADORES/METAS MEDIOS DE VERIFICACIÓN SUPUESTOS ( O FACTORES EXTERNOS) FIN PROPÓSITO COMPONENTES ACTIVIDADES

EPG: ASPECTOS DE LA EVALUACIÓN Justificación Diseño Organización y Gestión Resultados Eficiencia Eficacia/calidad Economía Sostenibilidad/Justificación de la continuidad Recomendaciones

OBJETIVOS - METODOLOGÍA EVALUACIÓN IMPACTO: OBJETIVOS - METODOLOGÍA Integrar la evaluación de los resultados de los programas, entendidos como los beneficios de corto, mediano y largo plazo (impacto), con la evaluación de eficiencia y economía en el uso de recursos y con los aspectos relativos a la gestión de los procesos internos de los programas.

OBJETIVOS - METODOLOGÍA EVALUACIÓN IMPACTO: OBJETIVOS - METODOLOGÍA Metodología varia según tipo de resultados: Resultado a nivel de productos: Construcción de indicadores de desempeño Resultados intermedios y finales o impacto Contrucción de grupo control Construcción situación antes – después Aplicación de encuesta a muestra de beneficiarios y no beneficiarios Aplicación de metodología estándar de evaluación de impacto (diferencias en diferencias, matching, variables instrumentales)

EVALUACIÓN IMPACTO: ASPECTOS Resultado del Programa a nivel de productos (producción de bienes y servicios y sus atributos), resultados intermedios y finales o impacto. Aspectos Institucionales y de Gestión. Uso de Recursos (Costo / Eficiencia / Economía) Medición Global del Desempeño Recomendaciones

EVALUACIÓN COMPREHENSIVA DEL GASTO OBJETIVOS - METODOLOGÍAS Evaluar aspectos de diseño institucional, gestión, uso de recursos y resultados en la provisión de los productos estratégicos de una institución

EVALUACIÓN COMPREHENSIVA DEL GASTO MATRIZ DE EVALUACION. Misión Ministerial Misión Institucional Prioridades Gubernamentales Agenda de Trabajo Gubernamental Objetivos Estratégicos Ministeriales Objetivos Estratégicos Institucionales Productos Clientes / Usuarios Indicador Gasto Asociado Medios de Estratégicos Beneficiarios Dimensión / Ámbito (M$) Verificación

EVALUACIÓN COMPREHENSIVA DEL GASTO: ASPECTOS Considerando la información presentada en la matriz anterior deberán evaluarse aspectos tales como: Diseño Institucional la consistencia en las definiciones estratégicas, la distribución de funciones y las duplicidades y complementariedades entre productos estratégicos Gestión Organizacional los procesos de gestión claves

EVALUACIÓN COMPREHENSIVA DEL GASTO: ASPECTOS Resultados y Uso de los Recursos: Resultado del Programa a nivel de productos (producción de bienes y servicios y sus atributos), resultados intermedios y finales o impacto. Uso de Recursos (Eficiencia / Economía) Costos Medición Global del Desempeño Recomendaciones

EVALUACIÓN DE PROGRAMAS (EPG - IMPACTO) (2000 - 2004) EFECTOS % DE PROG. 1.- AJUSTES MENORES 25% 2.- MODIFICACIONES IMPORTANTES EN EL DISEÑO DE COMPONENTES Y/O PROCESOS DE GESTIÓN INTERNA 39% 3.- REDISEÑO SUSTANTIVO DEL PROGRAMA 21% 5% 4.- REUBICACIÓN INSTITUCIONAL 5.- FINALIZACIÓN DEL PROGRAMA 10% TOTAL PROGRAMAS (91) 100%

EVALUACIÓN COMPREHENSIVA DEL GASTO (2002 - 2004) EFECTOS % DE PROG. 1.- AJUSTES MENORES 21% 2.- MODIFICACIONES IMPORTANTES EN EL DISEÑO Y/O PROCESOS DE GESTIÓN INTERNA 72% 7% 3.- REDISEÑO SUSTANTIVO TOTAL INSTITUCIONES (14) 100%

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS FONDO DE PROMOCIÓN DE EXPORTACIONES (FPE) – PROCHILE (evaluación año 2002) DESCRIPCIÓN El FPE financia proyectos y actividades de promoción de exportaciones que permiten aumentar y diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en Chile, además de promover el desarrollo exportador de las regiones y ampliar las oportunidades de exportación de las pequeñas y medianas empresas. RESULTADOS Y EFECTOS El FPE ha ha beneficiado a más de 2.500 empresas en el período 1996-2001 a través del cofinanciamiento de proyectos de promoción de exportaciones. La evaluación no muestra resultados significativos del programa sobre el volumen de exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo de control. Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para el año 2004, incluyéndose también una reestructuración de las partidas presupuestarias y la elaboración de compromisos en materia de gestión interna para asegurar un mejor desempeño.

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS PROGRAMA DE TELECENTROS COMUNITARIOS (TLCC) – SUBTEL (evaluación año 2003) DESCRIPCIÓN El objetivo del programa es promover el acceso de los sectores más vulnerables a las Tecnologías de Información y Comunicación mediante la creación de una red de Telecentros Comunitarios (TLCC), otorgando subsidios a operadores privados y públicos sobre la base de una presentación competitiva de propuestas para instalar y administrar los TLCC durante un período de 5 años. RESULTADOS Y EFECTOS El programa ha contribuido a ampliar el acceso de la población a las TIC, representando el 22% del total de puntos de acceso público. Sin embargo, producto del aumento de su cobertura a 292 comunas el programa tuvo una pérdida de focalización. Por otra parte se detectó una duplicación de esfuerzos con otras dependencias gubernamentales y en relación a la modalidad de pago del subsidio (pago total al inicio) existía el riesgo potencial de un comportamiento oportunista por parte de los operadores. Como resultado de la evaluación se decidió no aprobar nuevas inversiones en Telecentros a partir del año 2005, reorientándose los recursos del programa a resolver el problema de calidad de conectividad y extensión de redes a las localidades pobres, rurales y aisladas.

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004) DESCRIPCIÓN El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas. RESULTADOS Y EFECTOS La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los módulos del programa, lo que se evalúa positivamente. El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en 98% en el año 2003. Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura del programa en relación a acciones educativas, preventivas y curativas de atención dental.

Cumplimiento de Compromisos Programas/Instituciones Evaluadas Años 1999 al 2004

INCORPORACION AL CICLO PRESUPUESTARIO Evaluación de Programas e Instituciones SEGUIMIENTO Ley de Presupuestos EVALUACIÓN INTERNA FORMULACIÓN EJECUCIÓN Presentación Proyecto Aprobación Ley PROCESO PRESUPUESTARIO

EFECTOS PRESUPUESTARIOS EVALUACIONES DE PROGRAMAS 2000 - 2004 Incluye Evaluaciones de Programas Gubernamentales (EPG) y Evaluaciones de Impacto (EI) (En millones de pesos de 2005)

Número de Evaluaciones

Gasto Anual en Programas Evaluados   US$ Millones Porcentaje Evaluación de Programas Gubernamentales + Evaluaciones de Impacto  3.128  64%

RESULTADOS ENCUESTA PROCESO EPG

Resultado Encuesta – Porcentaje de Uso de Resultados de las Evaluaciones en el Análisis de Asignación de Recursos   Servicios Ministerios Encargados de Programas 56% - Jefes DIPLAP 61% 60% Coordinadores Ministeriales 47%

Resultado Encuesta – Formas de Uso de la Información de las Evaluaciones en el Proceso Presupuestario - Justificar recursos existentes del Programa 30% (Jefes DIPLAP Servicios y Encargados de Programas) - Redistribuir recursos al interior del programa 32% (Jefes DIPLAP Servicios) - Obligar a cambios de los procesos al interior del programa 31% (Encargados de Programas)

Principales Conclusiones Evaluación Programa de Evaluación Banco Mundial Programa de Evaluación Diseño y Procesos Procedimientos altamente regulados garantizan objetividad y estándares de cantidad, calidad, costos y tiempos de cumplimiento de las evaluaciones. Comisión de evaluaciones externas a los programas y a las instituciones garantizan objetividad y transparencia, y es el pilar de credibilidad del Programa. Carácter público de la información permite el seguimiento por parte de la ciudadanía. Cumplimiento de Objetivos Evaluaciones realizadas competentemente, y recomendaciones y compromisos institucionales incorporados sistemáticamente en las decisiones presupuestarias. Monitoreo y reporte sistemático del cumplimiento de los compromisos propician el mejoramiento de gestión de los programas. Aún en aquellos casos en que la calidad de las evaluaciones sufre de las deficiencias de diseño de los programas y de las insuficiencias de información, ésta agrega valor identificando estas carencias. Aplicación flexible de estándares de evaluación, concientes que la evaluación no es un fin en sí mismo sino que está al servicio de la elevación de la calidad del gasto. Comparación Internacional En un escenario de muchos fracasos, experiencias interrumpidas o de éxitos parciales, el desarrollo exitoso, sistemático y sostenido del programa de evaluación, su continuidad y profundización es mirado con interés por la comunidad internacional.

EVALUACIÓN – ASPECTOS PENDIENTES Mejorar el uso de los resultados de las evaluaciones - en las instituciones públicas en el Congreso Mejorar la información en instituciones públicas para una aplicación más completa de las metodologías de evaluación.

FPRESENTACION DE INICIATIVAS AL PRESUPUESTO (Fondo Concursable) Ministerios postulan las iniciativas (programas nuevos o ampliaciones y programas evaluados). La postulación se basa en matriz de marco lógico (fin, propósito, resultados esperados, indicadores, población objetivo). Hacienda propone programas a financiar en base a calidad técnica y prioridades gubernamentales. Presidente toma la decisión final.

PRESENTACION DE INICIATIVAS AL PRESUPUESTO (Fondo Concursable) Se inicia el año 2000 Mecanismo para hacer más eficiente la asignación de recursos, eliminar prácticas incrementalistas Hacienda determina gastos inerciales, por diferencia con límite global de gasto Fondo Concursable Presupuesto Vigente Presupuesto Inercial Año t+1 Año t

BALANCE DE GESTION INTEGRAL Se inicia en 1997 por un acuerdo entre el Ejecutivo y el Congreso Es concebido como un mecanismo de transparencia y cuenta pública. Las instituciones públicas reportan su desempeño contra metas, compromisos y recursos establecidos (113 Instituciones). Esta en concordancia con otros mecanismos de control de gestión (indicadores de desempeño, evaluación de programas, etc.) y con las regulaciones presupuestarias. Posee un formato estándar de reporte definido por el Ministerio de Hacienda. Es distribuido al Congreso y puesto a disposición del público. Constituye la base para el reporte institucional en la próxima rendición del presupuesto.

Apectos del Balance de Gestión Integral ( BGI) II. Identificación de la Institución I. Carta del Jefe de Servicio Identificación de la institución en aspectos tales como: estructura organizacional, definiciones estratégicas, recursos humanos y financieros Presentación de los resultados más relevantes de la institución y desafíos del próximo año BGI III. Resultados de la Gestión IV. Desafios Resultados de la gestión, incluyendo informe de desempeño, de gestión financiera, de metas, instituciones y de recursos humanos, entre otros aspectos Descripción de los aspectos más relevantes de las líneas de acción sobre los cuales se desarrollará la gestión del servicio durante el año en curso

APRENDIZAJES Cultura. Persistir en el desarrollo y uso de los instrumentos, con el fin de romper las barreras culturales. Perfeccionamiento continuo. Efectuar revisiones periódicas del funcionamiento de los diferentes instrumentos con el fin de introducir los cambios necesarios - Procedimientos - Metodologías - Resultados   Limitaciones. Identificar las limitaciones de los instrumentos de evaluación del desempeño Sinergia. Potenciar los elementos conceptuales y operativos comunes.

FIN DE LA PRESENTACIÓN www.dipres.cl