Evaluación de Programas Federales en el Marco del Sistema de Evaluación del Desempeño Abril de

AGENDA La evaluación Antecedentes GpRD El PbR-SED – Conceptos y actores clave Actores e instrumentos relacionados con PbR-SED – Sistema Nacional de Planeación Democrática – Matriz de Indicadores para Resultados – Evaluaciones – Modelo Sintético de Información de Desempeño – Portal de Transparencia Presupuestaria Conclusiones 2

¿Qué es la evaluación? – Real Academia Española (Diccionario de la Lengua Española) evaluar Del fr. évaluer. 1. tr. Señalar el valor de algo. – OCDE (Glosario de los principales términos sobre evaluación y gestión basada en resultados) Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto. – BM (Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados) Evaluación sistemática y objetiva de un proyecto, un programa en curso o terminado o de las políticas, comprendiendo su diseño, ejecución y resultados. Lo que se busca es determinar la relevancia y satisfacción de los objetivos, la eficiencia del desarrollo, su efectividad, impacto y sostenibilidad. – BID (Guía Básica para la Evaluación de Proyectos) Proceso sistemático, metódico y neutral que hace posible el conocimiento de los efectos de una iniciativa, relacionándolo con las metas propuestas y los recursos utilizados. La evaluación 3

La evaluación en el marco del Sistema de Evaluación del Desempeño Análisis sistemático y objetivo de los programas federales y que tiene como finalidad determinar la pertinencia y el logro de sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados, impacto y sostenibilidad Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal : La evaluación 4

¿Por qué y para qué evaluar? Porque a través de la evaluación puede responderse a las siguientes interrogantes: –¿Puedo demostrar los resultados, efectos o impactos que un programa o intervención gubernamental tiene sobre un problema o necesidad de política pública? –¿Qué tan costo-efectivo es el programa o intervención gubernamental? –¿En qué grado y de qué manera el diseño de un programa o intervención gubernamental permite prever los resultados? –¿En qué grado y de qué manera los procesos soportan la operación del programa para el logro de sus resultados? –¿Qué tan consistentes son el diseño, la operación y los resultados esperados del programa? ¿Estoy haciendo lo que debo hacer para obtener los resultados esperados? 5

¿Qué esperar de la evaluación? A través de la evaluación, puede identificarse:  Si se está haciendo lo correcto con el programa;  Si se tiene evidencia del impacto de la intervención sobre el objetivo y población esperada, o  Si se trata de la mejor alternativa. La evaluación:  No pretende fincar responsabilidades;  No tiene el mismo alcance en todos los casos;  No siempre es factible o deseable realizarla;  No siempre puede arrojar resultados cuantitativos. 6

AGENDA La evaluación Antecedentes GpRD El PbR-SED – Conceptos y actores clave Actores e instrumentos relacionados con PbR-SED – Sistema Nacional de Planeación Democrática – Matriz de Indicadores para Resultados – Evaluaciones – Modelo Sintético de Información de Desempeño – Portal de Transparencia Presupuestaria Conclusiones 7

La GpRD es una estrategia de gestión centrada en el desempeño del desarrollo y en las mejoras sostenibles en los resultados del país. Proporciona una serie de instrumentos y sistemas de gestión del desempeño orientados a resultados para implementar los planes nacionales, las estrategias del país, los programas y proyectos sectoriales. OCDE / BANCO MUNDIAL. Convenio de la Mesa Redonda de Resultados de Marrakech, Principios de la GpR Centrar el diálogo en los resultados en todas las fases del proceso de desarrollo Alinear la programación, el monitoreo y la evaluación con los resultados Mantener la medición y la información sencillas Gestionar para, no por, resultados Usar la información de resultados para aprender y para la toma de decisiones. Gestión para Resultados en el Desarrollo (GpRD) 1 La Mesa Redonda fue auspiciada por los bancos multilaterales de desarrollo – Banco Africano de Desarrollo, Banco Asiático de Desarrollo, Banco Europeo para la Reconstrucción y el Desarrollo, Banco Interamericano de Desarrollo y el Banco Mundial – en colaboración con la Organización para la Cooperación y el Desarrollo Económicos. 8

Se define como: “una estrategia de gestión que orienta la acción de los actores públicos del desarrollo para generar el mayor valor público posible a través del uso de instrumentos de gestión que, en forma colectiva, coordinada y complementaria, deben implementar las instituciones públicas para generar los cambios sociales con equidad y en forma sostenible en beneficio de la población de un país”*. Pilares del ciclo de gestión GpRD *Banco Interamericano de Desarrollo (BID) Pilares de la Gestión para Resultados 1. Planeación orientada a Resultados 2. Presupuesto por Resultados 3. Gestión financiera, auditoría y adquisiciones 4. Gestión de programas y proyectos 5. Monitoreo y evaluación 9

Índice GpRD - BID Valora las capacidades institucionales de los países, con base en cinco pilares del ciclo de gestión a)Planeación orientada a resultados b)Presupuesto por resultados c)Gestión financiera pública d)Gestión de programas y proyectos e)Monitoreo y evaluación En 2010, México obtuvo un Índice de GpRD de 3.2, lo que lo ubicó en la cuarta posición, sólo después de Chile (3.9), Brasil (3.7) y Colombia (3.2). En 2015, México obtuvo un Índice de 4.0, ubicado en la segunda posición, sólo después de Chile (4.1). 10

AGENDA La evaluación Antecedentes GpRD El PbR-SED – Conceptos y actores clave Actores e instrumentos relacionados con PbR-SED – Sistema Nacional de Planeación Democrática – Matriz de Indicadores para Resultados – Evaluaciones – Modelo Sintético de Información de Desempeño – Portal de Transparencia Presupuestaria Conclusiones 11

Antecedentes del PbR - SED 1976 Implantación del Presupuesto Por Programas (PPP) Primer intento para orientar el Gasto Público hacia la consecución de objetivos Reforma al Sistema Presupuestario (RSP) Orientación del Gasto Público a eficiencia y efectividad. Establecimiento de la Nueva Estructura Programática (NEP). Establecimiento del Sistema de Evaluación del Desempeño (SED). Implantación del Proceso Integral de Programación y Presupuesto (PIPP) Evaluación externa de programas sujetos a reglas de operación. Establecido en el Presupuesto de Egresos de la Federación 2004 Ley General de Desarrollo Social La evaluación externa es una obligación de Ley 12 Se crea CONEVAL 2005

Antecedentes del PbR - SED 2006 Promulgación de la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) Inicia la construcción del Presupuesto basado en Resultados (PbR) Mejorar los impactos del gasto público en beneficio de la sociedad mexicana, y como una respuesta a la demanda de impulsar el desarrollo nacional, considerando la escasez de recursos y las condiciones adversas de la economía mundial. El SED se define en la LFPRH y es un componente clave del PbR; permite la valoración objetiva del desempeño de los programas y las políticas públicas a través de la verificación del cumplimiento de metas y objetivos, con base en indicadores estratégicos y de gestión Reforma el Artículo 134 de la Constitución Política de los Estados Unidos Mexicanos. Uso de recursos con eficiencia eficacia, economía, transparencia y honradez, para satisfacer los objetivos a los que estén destinados. Resultados del uso de los recursos, evaluados por instancias técnicas. Los recursos económicos se asignarán en los presupuestos con dichos criterios. 13

Antecedentes del PbR - SED 2008 Emisión de la Ley General de Contabilidad Gubernamental (LGCG) Se establecen criterios y lineamientos de Contabilidad Gubernamental en los tres órdenes de gobierno Art. 54. Establecimiento de indicadores que permitan determinar el cumplimiento de las metas y objetivos de cada uno de los programas, así como vincular los mismos con la planeación del desarrollo. Art. 61. Incorporar los resultados del presupuesto basado en resultados y del sistema de evaluación del desempeño en el proceso de integración de la información financiera para la elaboración de los presupuestos. Art. 80. Revisión y, en su caso, actualización de los indicadores de los fondos de aportaciones federales y de los programas y convenios a través de los cuales se transfieran recursos federales, con base en los cuales se evaluarán los resultados que se obtengan con dichos recursos Reformas a la LGCG Art. 79. Difusión de Programas Anuales de Evaluación, metodologías, indicadores y resultados de las evaluaciones. 14

Antecedentes del PbR - SED 2013 Programa para un Gobierno Cercano y Moderno 2013 – Objetivo 2: Fortalecer el presupuesto basado en resultados de la APF, incluyendo el gasto federalizado. LINEAMIENTOS para la construcción y diseño de indicadores de desempeño mediante la Metodología de Marco Lógico. LINEAMIENTOS para informar sobre los recursos federales transferidos a las entidades federativas, municipios y demarcaciones territoriales del Distrito Federal, y de operación de los recursos del Ramo General Programa Nacional de Financiamiento del Desarrollo Estrategia 3.1: Fortalecer un Presupuesto basado en Resultados. Plan Nacional de Desarrollo Estrategia Línea de Acción: Consolidar un Sistema de Evaluación del Desempeño y Presupuesto basado en Resultados.

Esquema Marco Jurídico del PbR-SED Art. 73, XXVIII Art. 74, VI, VIII, 79, II, 116, II Art. 6 Art. 26 A Ley de Planeación Art. 3,9 y 14 Art. 134 Ley General de Desarrollo Social Art. 72 a 80 Ley de Coordinación Fiscal C o n s t i t u c i ó n P o l í t i c a d e l o s E s t a d o s U n i d o s M e x i c a n o s Lineamientos y Criterios de Evaluación emitidos por el Consejo Nacional de Armonización Contable Art. 73, XXVIII Art. 74, VI, VIII, 79, II, 116, II Art. 6 Art. 26 A y 26 C Ley General de Contabilidad Gubernamental Ley Federal de Transparencia y Acceso a la Información Pública Gubernamental Ley de Planeación Art. 3,9 y 14 Plan Nacional de Desarrollo (PND) Art. 54, 61, 79 y 80 Ley de Fiscalización y Rendición de Cuentas de la Federación Art. 134 Ley Orgánica de la Administración Pública Federal Art. 31 y 32 Ley Federal de Presupuesto y Responsabilidad Hacendaria Art. 1, 2, 6, 7, 24, 25, 27, 42, 45, 61, 77, 78, 82, 83, 85, 106, 107, 110 y 111 Reglamentos de las Leyes Disposiciones Generales del Sistema de Evaluación del Desempeño Lineamientos Generales de Evaluación Lineamientos del Proceso Presupuestario Lineamientos Programas derivados del PND Programa para un Gobierno Cercano y Moderno CONEVAL Autónomo

El Presupuesto basado en Resultados (PbR) ¿Qué es? Es el proceso que considera los resultados esperados y alcanzados de las políticas públicas y los Programas presupuestarios (Pp) durante todas las etapas del ciclo presupuestario. Lo anterior con el objeto de entregar mejores bienes y servicios públicos a la población, elevar la calidad del gasto público, promover una más adecuada rendición de cuentas y transparencia y, de esta manera, lograr los objetivos del desarrollo nacional. Orienta el gasto público al logro de resultados. Promueve la mejora de los programas públicos. Permite desplegar la planeación del desarrollo. Fomenta la rendición de cuentas. Introduce la información de desempeño al ciclo presupuestario. 17

El Sistema de Evaluación del Desempeño (SED) Sistema de Evaluación del Desempeño: el conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas, bajo los principios de verificación del grado de cumplimiento de metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer el impacto social de los programas y de los proyectos; LFPRH, Art. 2 Frac. LI. Conocer los resultados de la aplicación de los recursos públicos federales y el impacto social de los programas y de los proyectos. Identificar la eficiencia, economía, eficacia, cobertura, equidad y calidad del gasto público. Proveer de información de desempeño para la toma de decisiones. Vincular la planeación, programación, presupuestación, seguimiento, ejercicio de los recursos y la evaluación de las políticas públicas y los Programas presupuestarios. Impulsar el Presupuesto basado en Resultados (PbR). 18

PbR-SED. Instrumentos y actores relevantes 19 Evaluación LFPRH Art. 110 Monitoreo LFPRH Art. 111 Información de Desempeño PbR Sistema de Evaluación del Desempeño Planeación y programación (MIR) LFPRH – Art. 27 APF Sistema Nacional de Planeación Democrática

AGENDA La evaluación Antecedentes GpRD El PbR-SED – Conceptos y actores clave Actores e instrumentos relacionados con PbR-SED – Sistema Nacional de Planeación Democrática – Matriz de Indicadores para Resultados – Evaluaciones – Modelo Sintético de Información de Desempeño – Portal de Transparencia Presupuestaria Conclusiones 20

Sistema Nacional de Planeación Democrática 21 Matrices de Indicadores para Resultados

Matriz de Indicadores para Resultados Es un instrumento de gestión de programas y proyectos, que fortalece su diseño (orientación a resultados) y su ejecución. Resume los principales aspectos del programa o proyecto, sirve de base para la programación, y facilita el seguimiento y la evaluación de la gestión y los resultados. – Sintetiza en un diagrama sencillo y homogéneo, la alternativa de solución seleccionada, lo que permite darle sentido a la intervención gubernamental. – Establece con claridad los objetivos y resultados esperados de los programas a los que se asignan recursos presupuestarios. 22 – Define los indicadores estratégicos y de gestión que permitan conocer los resultados generados por la acción gubernamental y, con ello, el grado de éxito o de fracaso de su instrumentación.

Evaluación Normada por los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal. Ejecutadas conforme al Programa Anual de Evaluación emitido por SHCP y CONEVAL Surgimiento Consolidación Maduración Diseño Procesos Impacto Consistencia y Resultados Específica de Desempeño Específica de Costo – Efectividad Específicas - Estratégicas 23

Modelo Sintético de Información de Desempeño Instrumento que consolida y sintetiza en cinco variables, de manera estandarizada y homogénea, la información de desempeño de los Programas Presupuestarios 24 Núm. VariableDetalles 1Ejercicio del Gasto PEF Considera el ejercicio del gasto en términos del PEF de cada Pp durante los últimos dos ejercicios fiscales. 2 Matriz de Indicadores para Resultados (MIR) Examina tres aspectos de la MIR: a) Calidad en su diseño b) Proporción de las metas aprobadas con respecto al presupuesto c) Cumplimiento de las metas de los indicadores estratégicos en el nivel Propósito. 3 Evaluaciones externas del PAE Considera los resultados de las evaluaciones externas más recientes realizadas a los Pp en el marco del PAE. 4 Aspectos Susceptibles de Mejora (ASM) Registra el avance de los ASM suscritos por los responsables de los Pp de conformidad con el Mecanismo para el seguimiento a los ASM vigente. 5 Padrones de beneficiarios incorporados en el Sistema Integral (SIIPP-G) El SIIPP-G es una herramienta que consolida en una base de datos la información que identifica a los beneficiarios de los diferentes Pp. Esta variable valora la calidad de la información incorporada al Sistema, particularmente CURP, Identificación Geográfica y Monto de Apoyos.

Portal de Transparencia Presupuestaria 25

Evaluaciones: 1,323 al cierre de 2015 publicadas en el PTP. – Consistencia y Resultados: 300 – Diseño: 191 – Específicas: 699 – Estratégicas: 15 – Impacto: 16 – Procesos: 42 – Percepción de beneficiarios: 4 – Complementarias: 56 Estado Actual Programas presupuestarios con Matriz de Indicadores para Resultados (MIR) 2016 – MIR: 398 – Fichas de Indicador de Desempeño (FID):149 26

AGENDA La evaluación Antecedentes GpRD El PbR-SED – Conceptos y actores clave Actores e instrumentos relacionados con PbR-SED – Sistema Nacional de Planeación Democrática – Matriz de Indicadores para Resultados – Evaluaciones – Modelo Sintético de Información de Desempeño – Portal de Transparencia Presupuestaria Conclusiones 27

Conclusiones 28 La evaluación ha servido para: Mejorar los programas o políticas públicas evaluadas. Rendir cuentas al público en general y a otras instituciones del Estado. Tomar decisiones estratégicas de política pública. Con ello, se ha avanzado en la consolidación del PbR-SED en México.

Evaluación de Programas Federales en el Marco del Sistema de Evaluación del Desempeño Abril de