Evaluación Específica de Desempeño Abril 2016 CONEVAL

Evaluación Específica de Desempeño Sistema de Monitoreo y Evaluación para el desarrollo social en México Resultados Medir si un programa resuelve el (los) problema(s) por los que se creó Seguimiento de Recomendaciones Resumen del Desempeño de los Programas PlaneaciónEvaluación Diagnóstico de problemas sociales y meta-evaluación de avances Medición de Pobreza Multidimensional Uso de las evaluaciones para la mejora de programas (diseño e implementación) Planeación Nacional Vinculación de programas con prioridades nacionales Indicadores suficientes y necesarios para dar seguimiento a los objetivos de los programas de la política socia Programa Anual de Evaluación Evaluación de Impacto Evaluación de Diseño Evaluación de procesos Evaluación estratégica ¿Para qué evaluar? Orientación de la oferta gubernamental Evaluación Específica de Desempeño

Monitoreo de Programas Sociales Todo programa debe saber qué hacer y cómo medir sus avances Mejor diseño de objetivos y entregables claros Facilita la construcción de mejores indicadores para medir los avances El CONEVAL ha diseñado y aplica instrumentos para valorar los objetivos e indicadores de los programas sociales Estos instrumentos permiten analizar la calidad, la permanencia, el enfoque de resultados así como el uso de la información de las MIR e indicadores de los programas sociales Diagnóstico de Monitoreo de Programas Sociales Diagnóstico de Matrices de Indicadores para Resultados Informe de Aprobación de Indicadores de programas sociales Diagnóstico de diseño e indicadores de los programas derivados del PND Fichas de Evaluación de MIR Fichas de Evaluación del Indicador Fichas de Evolución de la MIR de los programas sociales

Avances Monitoreo Los programas han mejorado el planteamiento de sus objetivos, identificando sus resultados principales y sus entregas. Todos los programas y acciones sociales, hoy, tienen mediciones que dan cuenta de sus avances en sus objetivos tanto de resultados como de entregas de bienes o servicios a su población beneficiaria. AntesDespués Los estudiantes egresados de licenciatura y posgrado reciben formación de posgrado de calidad en áreas y sectores estratégicos. El capital humano de alto nivel formado en posgrados de calidad, crece y se consolida en el sector productivo y académico AntesDespués Porcentaje de unidades de producción pecuaria que recibieron apoyos para ampliar o mejorar su base productiva Productividad Laboral en el subsectror Agroalimentario Ganadero SAGARPA – Programa de Fomento Ganadero (2016) CONACYT – Becas de posgrado y apoyos a la calidad (2016) El programa hacía referencia sólo a la entrega de un servicio (formación) mientras que en 2016 su objetivo va más allá, que su Población Objetivo crezca y se consolide en los sectores productivo y académico El programa antes medía sus resultados a través de los apoyos y en 2016 los mide a través del incremento en la productividad laboral

Actualmente, 1 de cada 3 indicadores de los programas sociales se relacionan con temas de resultados (ingresos de productores agrícolas, competitividad, productividad, morbilidad, mortalidad, rendimiento escolar, sostenibilidad de empresas, etc.) Distribución de indicadores por nivel Programas Sociales 2015 El Plan Nacional de Desarrollo (PND) incorpora por primera vez indicadores para el seguimiento de las prioridades nacionales Los programas sectoriales también cuentan ya con indicadores para dar seguimiento a sus objetivos principales y se está analizando su construcción y sus avances Se ha incrementado cada vez más el uso de la información de las MIR e indicadores para: Mejorar la planeación Como base para el desarrollo de evaluaciones Apoyar la realización de auditorías de desempeño Mayor transparencia y rendición de cuentas Información complementaria en la asignación presupuestal

Evaluación Específica de Desempeño (EED) Objetivo y alcance ¿Qué es la EED? Es una valoración sintética que refleja el desempeño de los programas presupuestarios, con base en la información entregada por los operadores de los programas, la cual permite generar información útil y rigurosa para la toma de decisiones, así como contribuir a la transparencia y a la rendición de cuentas. Dirigido a: tomadores de decisiones al interior de las dependencias. ¿Para qué EED? Esta evaluación se utiliza para retroalimentar el proceso presupuestario brindando información sobre el desempeño de los programas. Permite identificar hallazgos relevantes derivados de las evaluaciones externas y otros estudios sobre los programas, así como identificar las principales recomendaciones que los programas están atendiendo para mejorar. Permita comparar resultados de los programas

Esquema de la EED La Evaluación Específica de Desempeño atiende las disposiciones del Artículo 110 de la Ley de Presupuesto y Responsabilidad Hacendaria Información Pública y otorgada por los operadores de los programas Fin Propósito Alineación Resultados Componentes Actividades Presupuesto Productos Aspectos Susceptibles de Mejora Seguimiento Cobertura Población Potencial, Objetivo y Atendida Cobertura o Indicadores de Resultados o Evaluaciones Externas de Resultados o Indicadores Sectoriales o Indicadores de Servicios y Gestión o Informes Trimestrales o Documento de Trabajo o Documento Institucional o Avances del Seguimiento o Informes de Cobertura o Evaluaciones Externas Informe EED

A quién está dirigida la EED ¿Quiénes son los usuarios? La EED contribuye a la Rendición de Cuentas

Reunión introductoria Presentación de la EED Capacitación de evaluadores en el uso de TdR y sistemas Carga de información requerida para la evaluación en el sistema Revisión de la información cargada al sistema Reunión para presentación de los programas y solicitud de información adicional* Entrega del Informe Inicial de la EED CONEVAL/UE/UR CONEVAL/Evaluador UE/UR CONEVAL Siglas: UE: Unidad de Evaluación de la dependencia o entidad. UR: Unidad Responsable del Programa o Acción. TdR: Términos de Referencia Notas: * Interviene todos los actores: CONEVAL, Evaluador, UE y UR. Evaluador Simbología: Acción Documento Base de datos Publicación de la evaluación en página Web/ Entrega a instancias según normatividad Aprobación Comité Directivo de CONEVAL Opinión Institucional Entrega del Informe Final de la EED Atendiendo los comentarios de CONEVAL Reunión para revisar el Informe Inicial* Comentarios del Informe Inicial CONEVAL Evaluador UR/UE CONEVAL Bases de datos de la EED CONEVAL Evaluación Específica de Desempeño Proceso de Evaluación

¿Qué hemos logrado con la EED? Hacer un ejercicio sistemático de la evaluación Desarrollar una creciente cultura de la evaluación entre los actores involucrados Mejorar la coordinación de los actores que operan las políticas de desarrollo social EED Dependencias y Entidades Federales Evaluaciones a Programas Total76642 Evaluación Específica de Deseen la EED Fuente: elaboración CONEVAL con base en la EED 1 2 3

El ejercicio sistemático de la evaluación ha servido para mejorar la calidad de la información disponible para evaluación Por ejemplo, los programas reporten las definiciones de las poblaciones que buscan atender, en este sentido existe mayor claridad sobre la población que presenta el problema (población potencial), la que es elegible para recibir el apoyo (población objetivo) y la que se atiende. Población Atendida desagregada por nivel geográfico Fuente: elaboración CONEVAL con base en la EED ¿Qué hemos logrado con la EED? 4

Rendición de cuentas Se han evaluado 5 ejercicios de evaluación a 642 programas de desarrollo social Toma de decisiones A partir de la EED se genera información para el Proceso presupuestario A partir de la EED se genera el Resumen del Desempeño Mejora de programas La principal fuente de información para los Aspectos Susceptibles de Mejora (ASM) de 2014, 2012 y 2010 fue la Evaluación Específica de Desempeño, con el 72.7, 65.2 y 45 por ciento, respectivamente. ¿Qué hemos logrado con la EED? 5 6 7

Lo que genera el CONEVAL sí se usa La mejora de la política social requiere que la información llegue a los actores responsables de tomar decisiones, por lo que el CONEVAL ha creado una base de datos con el objetivo de presentar la evidencia sobre el uso que se ha hecho de la información que genera el consejo en la mejora de la política social. 3,583 acciones de mejora que muestran el uso de la información y los productos del Consejo no sólo de actores clave sino también de la sociedad civil, academia, organismos internacionales y medios de comunicación. Estas acciones de mejora se clasifican en tres categorías principales: 34% Uso para el cambio de políticas o programa Uso para fortalecer la capacidad institucional Uso para la opinión informada y sustentada 22%44%

Las recomendaciones de la EED no aportan nueva información para mejorar la implementación de los programas. ¡No son para eso! Mejorar la calidad y suficiencia de la información de los programas El diseño del informe de la EED es por programa presupuestario y no capta información de los subprogramas El proceso de evaluación se enmarca entre la Cuenta Pública y el inicio del proceso presupuestario, por lo que debe desarrollarse en un tiempo corto A pesar de ser el ejercicio más OPORTUNO, derivado del periodo del proceso presupuestario, solo se enuncian los avances del ejercicio fiscal en curso Incrementar la calidad y cantidad de evaluadores disponibles en el mercado ¿Cuáles son los retos de la EED?

Retos del enfoque programático a Resultados Debe haber mayor estabilidad en la Estructura Programática para que los programas tengan mayor continuidad en el tiempo y con ello, sus indicadores Dadas las fusiones de programas, se perdió claridad en los objetivos y se ha dificultado su medición de resultados Es necesario que los programas y acciones sociales generen historia en sus objetivos e indicadores puesto que sólo con pocos se pueden generar series que permitan un mejor análisis en su evolución temporal Debe mejorarse el enfoque de resultados de los programas sociales, mayor claridad en la problemática que pretenden solucionar Debe incentivarse el mayor uso de los indicadores de los programas sociales en temas fundamentales como planeación y asignación presupuestal Cerca de la mitad de los indicadores de los programas que se derivan del PND, hacen referencia a la entrega de bienes o servicios o gestión pero no a la solución de problemáticas de política sectorial Las dependencias deben revisar la información de indicadores de los programas que se derivan del PND para evaluar los alcances de las prioridades nacionales y si