1 SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN María Teresa Hamuy Jefa Departamento de Evaluación División Control de Gestión Noviembre 2009

SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN Generar información de desempeño e introducir prácticas para mejorar la calidad del gasto. Objetivos del Sistema de Evaluación y Control de Gestión Eficiencia en la asignación de recursos Eficiencia en el uso de los recursos Transparencia en la gestión de los programas y en la administración de las finanzas públicas

I. Sistema de Evaluación y Control de Gestión del Gobierno Central

7) 2009: Creación de nueva línea: Evaluación de Programas Nuevos (EPN) Período 2006 - 2009 SISTEMA DE EVALUACIÓN 6) 2006: Aumento cobertura - 155 programas o instituciones serán evaluados en 2006-2010. 7) 2009: Creación de nueva línea: Evaluación de Programas Nuevos (EPN) DEFINICIONES ESTRATÉGICAS INDICADORES DE DESEMPEÑO BALANCE DE GESTIÓN INTEGRAL PRESENTACION PROGRAMAS AL PRESUPUESTO 1) 2007: Asistencia Técnica MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL 2) 2007: Metas de Eficiencia Institucional 4) 2008: FONDO DE MODERNIZACIÓN DE LA GESTIÓN PÚBLICA 3)2008: Revisión Diseño de Programas 5) 2009: Programa de Mejoramiento de la Gestión (PMG) - Programa Marco de la Calidad

INSTRUMENTOS DE EVALUACIÓN Y CONTROL DE GESTIÓN Instrumentos de Monitoreo y Seguimiento Indicadores de desempeño (1993) Balances de Gestión Integral (1997) Definiciones Estratégicas (2001) Presentación Estándar de Programas al Presupuesto (2000) – a partir de 2008 con entrega de asistencia técnica Evaluación Evaluación de programas (1997) Evaluación de Impacto (2001) Evaluación de Instituciones (2002) Evaluación de Programas Nuevos (2009) Mecanismos de Incentivo Institucional Programas de Mejoramiento de Gestión (1998) Ley Médica (2003) Metas de Eficiencia Institucional (2007) Fondo de Modernización de la Gestión Pública (2008) 5

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES Evaluación Programas Gubernamentales (EPG) (1997): Analiza consistencia de los objetivos, aspectos de organización y gestión y resultados a nivel de producto (cobertura, focalización, entre otros). Evaluación de Impacto (EI) (2001): Además de lo anterior, permite evaluar resultados intermedios y finales en los beneficiarios, utilizando grupos de control y técnicas econométricas. Evaluación de Programas Nuevos (EPN) (2009): Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases para la futura evaluación de impacto del mismo. Instituciones Evaluación Comprehensiva del Gasto (ECG) (2002): Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados.

5. Evaluaciones LÍNEA DE EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES (EPG): OBJETIVOS - METODOLOGÍA La metodología utilizada se basa en la metodología de marco lógico. La metodología de marco lógico es utilizada por el Banco Interamericano de Desarrollo (BID), el Banco Mundial y otras agencias internacionales. Es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa.

LÍNEA DE EVALUACIÓN DE IMPACTO 5. Evaluaciones LÍNEA DE EVALUACIÓN DE IMPACTO OBJETIVOS Cuantificar y analizar el resultado final o impacto que tiene el programa o política pública en sus beneficiarios, participantes, o usuarios. Para evaluar el efecto del programa sobre resultados finales se debe identificar y separar los beneficios logrados como consecuencia de la intervención del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal de las condiciones del entorno o la acción de otros programas públicos o privados.

LÍNEA DE EVALUACIÓN DE PROGRAMAS NUEVOS Esta nueva línea, posee los siguientes aspectos centrales: Diseño de la evaluación desde el inicio de la implementación de un nuevo programa. Construcción de un grupo de control como parte del diseño de la evaluación, el que será obtenido preferiblemente a partir de un diseño experimental. Apoyo técnico de un Panel Asesor Internacional, conformado por académicos de gran prestigio y experiencia en materia de diseño e implementación de evaluaciones de impacto. Apoyo del Centro de Microdatos del Departamento de Economía de la Facultad de Economía y Negocios de la Universidad de Chile.

EVALUACIÓN – PRINCIPIOS /REQUISITOS INDEPENDIENTE: La evaluación es externa a la Institución y al Ministerio responsable. TRANSPARENTE: Los resultados deben ser públicos y enviados al Congreso Nacional. TÉCNICA: La evaluación debe ser pertinente y objetiva, es decir fundamentarse en antecedentes estrictamente técnicos. OPORTUNA: La evaluación debe proveer información en los tiempos adecuados para apoyar la toma de decisiones. EFICIENTE: El costo de la evaluación debe guardar relación con los resultados que se espera de ella (juicios evaluativos).

EVALUACIÓN – PROCESO Selección de Programas/Instituciones Selección de Evaluadores Preparación de Antecedentes Capacitación y Preparación Marcos Lógicos Preliminares Evaluación. Resultados Recomendaciones Envío al Congreso Compromisos Institución / Ministerio de Hacienda Acciones Específicas Plazos Seguimiento

PROCESO DE EVALUACIÓN Propuesta de Instituciones a DIPRES evaluar Comité Inter - Ministerial: SEGPRES, MIDEPLAN y DIPRES Propuesta de Instituciones a evaluar SEGPRES: Ministerio Secretaria General de la Presidencia MIDEPLAN: Ministerio de Planificación y Cooperación

ROLES Y FUNCIONES ACTORES INVOLUCRADOS DIPRES Comite Inter - Ministerial: SEGPRES, MIDEPLAN y DIPRES Congreso Agregan o eliminan prog. de la lista Propuesta de Instituciones a evaluar Firma del Protocolo Instituciones seleccionadas SEGPRES: Ministerio Secretaria General de la Presidencia MIDEPLAN: Ministerio de Planificación y Cooperación

PROCESO DE EVALUACIÓN Comentarios DIPRES Institución . Resp. del Programa Evaluada Informe EQUIPO EVALUADOR Comentarios

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES Meta: 155 programas o instituciones serán evaluadas durante esta administración Evaluaciones 1997-2009 (Número de programas/Instituciones evaluadas)   1997 - 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Total Evaluación de Programas Gubernamentales (EPG) 80 18 19 15 13 16 14 20 237 Evaluaciones de Impacto (EI) 2 4 6 7 11(3) (12) (8) 71 Evaluaciones Comprehensivas del Gasto (ECG) 8 5 4 (3) (5) 37 Evaluación de Programas Nuevos (EPN) Total anual 21 27 31 22 32 35 (38) 350 Total período 2006-2009: 127 ( ): Evaluaciones en proceso.

Evaluación Comprehensiva del Gasto (ECG) 2008 Recomendaciones - Implicancias Categorías de Efectos Instituciones 1.- Ajustes Menores Considera instituciones que requieren de ajustes de grado menor, tales como el perfeccionamiento de sus definiciones estratégicas, y/o de sus sistemas de información, monitoreo y seguimiento. 2.- Modificaciones Importantes en el Diseño o Gestión Interna Considera instituciones que requieren incorporar modificaciones, ya sea en el diseño de parte de su estructura organizacional, y/o cambio en algunas de sus definiciones estratégicas y/o en procesos claves de su gestión interna, tales como asignación y transferencia de recursos e incentivos y relación con agentes ejecutores. - Defensoría Penal Pública 3.- Rediseño Sustantivo en el Diseño o Gestión Institucional Considera instituciones que requieren reformulaciones o reestructuraciones profundas en su diseño institucional lo que implica cambio en sus definiciones estratégicas, en su estructura organizacional y en su gestión interna. Sector Pesca: - Subsecretaría de Pesca - Servicio Nacional de Pesca (SERNAPESCA) - Instituto de Fomento Pesquero (IFOP)

30 de Junio de 2009, según año de evaluación (1999-2008) Cumplimiento de Compromisos al 30 de junio 2009, según año de evaluación (1999-2008) Porcentaje de Cumplimiento de Compromisos de las Evaluaciones de Programas e Instituciones al 30 de Junio de 2009, según año de evaluación (1999-2008)   Año de Evaluación Calificación Traspaso de Com-promisos1 Nº Programas N° Instituciones N° de Egresados de Seguimiento2 N° Total de Compromisos Cumplido Parcialmente Cumplido No Cumplido Programas Instituciones 1999 100% 0% - 15 49 2000 99% 1% 18 17 148 2001 93% 7% 22 21 521 2002 6 5 566 2003 14 2 12 475 2004 94% 5% 4 506 2005 83% 11% 6% 24 789 2006 73% 18% 9% 450 2007 39% 22% 459 2008 35% 50% 15% 16 216 Total 82% 12% 181 25 104 7 4.179 Notas: 1 Corresponde a compromisos pendientes que han sido traspasados al seguimiento de evaluaciones posteriores de programas o instituciones. 2 Incluye programas/instituciones egresados de seguimiento o cuyos compromisos pendientes se han incorporado a otras evaluaciones posteriores. Fuente: Dirección de Presupuestos.

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS METODOLÓGICOS Y OPERATIVOS

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR a) Diseño Institucional a.1 La consistencia entre: -Las prioridades gubernamentales; -La misión y objetivos estratégicos ministeriales; -La misión y objetivos estratégicos de la institución; -Los productos y subproductos estratégicos; y -Los beneficiarios vinculados a la institución. Se evalúa si el cumplimiento de los objetivos estratégicos identificados en la institución contribuyen al logro de los objetivos estratégicos ministeriales. De igual modo, se evalúa la consistencia entre productos y subproductos estratégicos (productos específicos cuando corresponda) y los objetivos institucionales.

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR a) Diseño Institucional (Cont.) a.2 La consistencia entre los beneficiarios y los productos estratégicos, subproductos, o productos específicos provistos, y entre estos últimos y los objetivos estratégicos. La evaluación de consistencia entre beneficiarios y productos deberá considerar el análisis de los criterios de focalización o selección de beneficiarios definidos por la institución, según corresponda. a.3 Estructura institucional y la distribución de funciones que genera esa estructura entre cada una de las unidades organizacionales y/o regionales, y su vinculación con los productos / subproductos estratégicos. Lo anterior referido a cómo el diseño institucional genera (o no) los incentivos correctos necesarios para el logro de los objetivos estratégicos de la Institución.

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR a) Diseño Institucional (Cont.) a.4 Duplicaciones, superposiciones y complementariedades existentes entre productos / subproductos estratégicos, y con productos provistos por otros servicios públicos u otros bienes o servicios provistos por el sector privado. a.5 Actividades y productos prescindibles o que pueden, por su naturaleza, ser ejecutados por el sector privado o sustituirlos por otros más eficaces. Lo anterior en el contexto de análisis de fallas de mercado y de bienes públicos. a.6 Si corresponde incorporar el enfoque de género en el diseño de los productos estratégicos.

EVALUACIÓN COMPREHENSIVA DEL GASTO MATRIZ DE EVALUACION Prioridades Gubernamentales Sistema de Programación Gubernamental Misión Ministerial Misión Institucional Objetivos Estratégicos Ministeriales Objetivos Estratégicos Institucionales Productos Clientes / Usuarios Indicador Gasto Asociado Medios de Estratégicos Beneficiarios Dimensión / Ámbito (M$) Verificación

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR b) Gestión Organizacional b.1 Procesos de producción, mecanismos de coordinación y asignación de responsabilidades en relación a la provisión de los productos estratégicos. Identificar y analizar los procesos y agentes claves (público/privado) vinculados a la provisión de cada producto o subproducto relevante y capacidades de coordinación con otros organismos. b.2 Capacidad institucional respecto de: Recursos Humanos Capacidades Tecnológicas Gestión de la Información Infraestructura, etc.

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR b) Gestión Organizacional (Cont.) b.3 Actividades e instrumentos de seguimiento, monitoreo y evaluación que son utilizados en la provisión de sus productos estratégicos; como asimismo las actividades de fiscalización que se desarrollan para velar por el adecuado uso y acceso a sus productos. b.4 Mecanismos de asignación y transferencia de recursos, las modalidades de pago, los incentivos y la relación entre los agentes ejecutores y la institución pública responsable. b.5 Mecanismos de auditoría, análisis de gasto, rendición de cuentas y transparencia en el uso de recursos para cada producto estratégico.

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR c) Resultados y Uso de los Recursos      c.1 Consiste en la evaluación de los resultados de productos y subproductos estratégicos, considerando los ámbitos de control (proceso, producto y resultados intermedios y finales) y las dimensiones del desempeño (eficacia, eficiencia, economía y calidad), vinculando estos resultados con los recursos asignados para la provisión de estos beneficios. Los indicadores utilizados en la evaluación tendrán como fuente tanto información construida para la evaluación como la de uso en la Institución. c.2 Se considera un análisis del presupuesto institucional y de la disciplina financiera (programación de gastos y ejecución financiera).

EVALUACIÓN COMPREHENSIVA DEL GASTO ASPECTOS A EVALUAR d) Conclusiones e) Recomendaciones

Caso: Dirección de Arquitectura Misión Dirección de Arquitectura “Gestionar la edificación pública, incorporando el patrimonio arquitectónico, el arte y la cultura a la infraestructura y espacio público; generando los instrumentos normativos que permitan la adecuada fiscalización, para satisfacer con calidad los requerimientos de las Instituciones del Sector Público…..” Objetivos Estratégicos: 1.- Identificar, gestionar y desarrollar proyectos de inversión en edificación pública relevantes para el cumplimiento de las políticas de modernización del Estado. 2.- Gestionar la recuperación del patrimonio arquitectónico de inmuebles de propiedad estatal, y/o declarados Monumentos Nacionales, con el objeto de cautelar y conservar el patrimonio cultural arquitectónico de valor excepcional del Estado. 3.- Gestionar e incorporar obras de arte, en el ámbito de la plástica, a la infraestructura y espacio público.

Caso: Dirección de Arquitectura Recomendación: Redefinir la Misión de la DA con el objeto que quede explícito el rol de asesoría técnica que brinda a instituciones de la administración del Estado. Compromiso: Se redefinió la Misión como: “Proveer y conservar la edificación pública requerida, para favorecer la competitividad y el mejoramiento de la calidad de vida de los habitantes a través del MOP o por mandato de otras instituciones” Se incorporó el siguiente objetivo estratégico: “Incorporar estándares y procedimientos para garantizar la transparencia, cobertura y calidad en la Edificación Pública”

Caso: Dirección de Arquitectura Recomendación: - Eliminar el objetivo estratégico 3 “Gestionar e incorporar obras de arte a la infraestructura y espacio público”, su producto y subproductos, traspasando los subproductos convocatoria a concursos de arte y ejecución de obras de arte, al Consejo de la Cultura (CNCA), en la medida que este cuente con las capacidades requeridas para ello. - Externalizar las actividades relacionadas con los subproductos diseño gráfico de apoyo al Programa Ministerial de Obras de Arte, montaje de exposiciones y diseño de publicaciones . Compromisos: - Elaborar un programa de trabajo entre la DA y la CNCA para el traspaso paulatino de las funciones de convocatoria a concursos de arte y ejecución de obras de arte al CNCA. - Externalizar las actividades relacionadas con el diseño gráfico de apoyo al Programa de Obras de Arte, montaje de exposiciones y diseño de publicaciones.

Caso: Dirección de Arquitectura Recomendación : Definir criterios de selección de clientes y focalizar su rol en aquellas instituciones de la administración pública que no cuentan con las capacidades técnicas para hacer encargos y supervisar contratos de edificación pública, entre las cuales se encuentran los municipios pequeños, o en obras de mayor tamaño o complejidad, tales como las asociadas al tema patrimonial”. Compromisos : 1.Elaborar metodología para establecer estándares de edificación pública. 2.Difundir los estándares dentro de la DA. 3.Implementar uso de estándares en obras mandatadas a la DA. 4.Elaborar Guía/Pauta que incluya criterios de priorización de obras edificación pública.

Caso: Dirección de Arquitectura Recomendación : Evaluar las reales necesidades de personal para los diversos cargos de la institución realizando un estudio que permita definir un estándar en función del número y/o monto de los proyectos y metros cuadrados construidos, entre otros aspectos. Para los inspectores fiscales se debería establecer la frecuencia y duración de las visitas de inspección por proyecto, en función de tipo de proyectos, etapas del proceso de ejecución, rangos de tamaño y dispersión territorial. Compromisos : 1.Elaborar diagnóstico de las capacidades de la inspección fiscal y de las brechas existentes. 2.Elaborar propuesta para abordar las brechas detectadas considerando como marco el Proyecto de Modernización Institucional del MOP 3. Implementar propuesta para incorporar cambios que permitan reducir las brechas detectadas, considerando el cronograma de implementación fijado en el marco del Proyecto de Modernización del MOP.

Caso: Dirección de Arquitectura Recomendación : Revisar y perfeccionar los mecanismos de coordinación y discusión presupuestaria al interior del MOP, a los efectos de alcanzar una gestión de planificación de la DA que permita una completa y eficiente ejecución presupuestaria. Compromisos : 1.Realizar un análisis del proceso de planificación y ejecución de la inversión con el objeto de perfeccionar los mecanismos de coordinación y discusión presupuestaria relevantes para la DA, dentro del MOP. 2. En función de los resultados del análisis de proceso proponer mejoras en los procedimientos y evaluar la pertinencia de desarrollar una programación plurianual de las iniciativas de inversión.

Sistema de Evaluación de Programas e Instituciones Los Mitos sobre las Evaluaciones y sus Resultados Es importante tener en cuenta los mitos que se han construido alrededor del Sistema de Evaluación de DIPRES. Las evaluaciones las realiza la Dirección de Presupuestos. La Dirección de Presupuestos evalúa para reducir los recursos de los programas o de las instituciones. Las evaluaciones están hechas para cerrar programas. Nunca se cierran los programas que han sido mal evaluados. Las evaluaciones realizadas en el marco del Sistema de Evaluación y Control de Gestión buscan mejorar la gestión de los programas y de las instituciones, incorporando las recomendaciones realizadas por los evaluadores externos, contribuyendo a la modernización del Estado.

PRINCIPALES LOGROS DEL SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN Voluntad política de implementar mejoramiento en la gestión pública de un modo sistemático, gradual y en el marco de la normativa existente. Se ha logrado vincular el sistema de evaluación y control de gestión al proceso presupuestario permitiendo contar con información de desempeño que utilizada con otras categorías de información ha permitido mejorar el proceso de toma de decisiones. Involucramiento del Jefe de servicio en los temas de gestión institucional, contribuyendo a la pertinencia y relevancia del proceso en algunos instrumentos tales como evaluaciones institucionales, programa marco de la calidad. Se han mejorado las prácticas de gestión institucional con el apoyo de especialistas externos, unificando metodologías de trabajo y contribuyendo a definir con mayor claridad las responsabilidades y autoridades al interior de las instituciones. Se ha incorporado gradualmente una cultura del mejoramiento continuo en las instituciones.

PRINCIPALES DESAFÍOS DEL SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN Lograr el liderazgo y dirección del Jefe de servicio y equipo directivo con compromiso explícito en el proceso de mejoramiento de gestión de la institución. Mayor uso de la información de desempeño en los procesos de toma de decisiones al interior de la organización Mejorar los sistemas de información

Principales Desafíos del Sistema de Evaluación de Programas e Instituciones Fortalecer el Sistema de Evaluaciones Mejorar la metodología de evaluación comprehensiva del gasto considerando el uso de modelos de evaluación de gestión aplicados en otros sectores (modelo de gestión de calidad, modelos de excelencia, etc.) Mejorar oportunidad (contratos, tiempo duración, selección de programas). Mejorar Calidad (información disponible, ampliar mercado). Mayor uso información de evaluación. Diseñar evaluaciones experimentales aprovechado la gradualidad en la implementación de las nuevas reformas o políticas Avanzar en el mejoramiento del Sistema de Monitoreo de los compromisos Integrar sistemas de información actualmente disponible. (CASEN,FPS, RECH, FONASA, etc.)

www.dipres.gov.cl Sistema de Evaluación y Control de Gestión