El sistema de evaluación en México: avances a nivel nacional y en las entidades federativas Mayo, 2014 Edgar A. Martínez M. www.coneval.gob.mx

Necesitamos contar con políticas públicas efectivas, gestión para resultados Gobiernos que tomen en cuenta los intereses de todos... Democracia, participación ciudadana, balance del poder, etc. Procesos de rendición de cuentas Enfocarse en resultados (algunas veces de largo plazo) Hacedores de política pública profesionales, mejores diseños Actores clave e instituciones con suficiente liderazgo técnico para apoyar la búsqueda de resultados Generación de información, principalmente evidencia rigurosa Mecanismos institucionales para usar evidencia y hacer los cambios

Planeación de las Políticas Públicas Identificar y cuantificar el problema Análisis Diseño de programas Presupuesto Operación Evaluación y Monitoreo ¿Para qué Evaluar? Mejorar políticas y programas públicos Tomar mejores decisiones (de operación, diseño, presupuestales..) Rendición de Cuentas

Presupuesto basado en Resultados Presupuesto PARA (obtener) Resultados El presupuesto debe iniciar analizando cuáles son los Resultados sociales que se quieren lograr en el país Se modifican los programas y estrategias para que éstos tengan mejores Resultados Presupuesto BASADO en Resultados Las decisiones presupuestarias toman en cuenta los Resultados que arrojan las evaluaciones de los programas y las políticas/estrategias. Se favorecen programas con mejores Resultados

Presupuesto basado en Resultados Social Medición de Pobreza en varias dimensiones Evaluación de programas y políticas Identificar los principales problemas sociales Programas y políticas sociales con resultados Mejora de programas y políticas públicas

El Sistema de Evaluación del Desempeño de la Política de Desarrollo Social Monitoreo Evaluación Programas Sectoriales contribuyen con el Plan Nacional de Desarrollo Programa Anual de Evaluación Evaluación de Consistencia y Resultados Resultados Programas presupuestales contribuyen con los Programas Sectoriales y Objetivos Estratégicos Evaluación de Impacto Evaluación de Procesos e Indicadores Programas Presupuestales con Matriz de Indicadores Evaluación de Políticas Evaluaciones Complementarias Programas Nuevos Seguimiento a recomendaciones Evaluación Específica de Desempeño

Medición y Análisis de la Pobreza Evaluación de Programas Sociales CONEVAL: Principales Productos Medición y Análisis de la Pobreza Evaluación de Programas Sociales Medición Multidimensional de la Pobreza (Estimaciones Nacionales y Estatales) Bienestar económico Rezago educativo Acceso a los servicios de salud Acceso a la seguridad social Calidad y espacios de vivienda Acceso a los servicios básicos en la vivienda Acceso a la alimentación Grado de cohesión social Índice de rezago social Índice de Tendencia Laboral de la Pobreza (ITLP) Mapas de Pobreza Medición de la Pobreza por Ingreso Programa Anual de Evaluación Marco Lógico: Programas Evaluaciones de Consistencia y Resultados Evaluación de Impacto Evaluaciones Complementarias Evaluaciones de Desempeño Valoración del Desempeño de los Programas Inventario de Programas de Desarrollo Social Evaluaciones Temáticas Evaluación de Políticas Seguimiento a Recomendaciones Documento para consideraciones presupuestarias

Programa Anual de Evaluación  TIPOS DE EVALUACIÓN 2007 2008 2009 2010 2011 2012 TOTAL Consistencia y Resultados 106 -   - - 148 254 Diseño 13 22 32 19 45 14 145 Impacto 3 6 2 1 15 Específicas 8 Específica de Desempeño 131 128 133 137 530 Procesos 5 7 16 Complementarias 4 9 56 Evaluaciones Integrales 21 10 50 Evaluaciones Estratégicas Matriz de indicadores 220 237 237* 1/ Actualizado al 31 de diciembre de 2012. *Total de Matrices de Indicadores de los programas de desarrollo social a 2012. Mas de 1,320 instrumentos de monitoreo y evaluación conforman el sistema de evaluación del desempeño de desarrollo social

Evaluación: Valoración del desempeño de los Programas Valoración integral del desempeño de los programas sociales 2012-2013 Evaluación Específica de Desempeño 2012-2013 Resultados relacionados con los objetivos del programa (impacto y avances) Avances de entrega de bienes y servicios, metas e indicadores Cobertura Eficiencia Porcentaje de avance respecto a recomendaciones Resultados relacionados con los objetivos del programa De la Evaluación Específica de Desempeño: Fortalezas Retos y recomendaciones Conclusiones del evaluador Cumplimiento presupuestal Resultados de la revisión MIR Derecho social asociado Incidencia distributiva

Congreso: Comisión de Presupuesto Conductos institucionales para incidir en la mejora de la política social (uso de las evaluaciones) Congreso SHCP Presidencia Estados Congreso: Comisión de Presupuesto SHCP 1 Información para proceso presupuestarios 2 Entrega a actores relevantes + Reuniones explicativas + Reuniones con diputados Página electrónica Prensa Sociedad civil Documentos de trabajo Difusión a prensa y sociedad civil 3 Seguimiento a recomendaciones 4

Cambios en la política social derivados de las evaluaciones La leche fortificada reduce 26% la anemia infantil La leche fortificada se está promoviendo en otros programa sociales y se vende al público Piso Firme: reducción de 19% en anemia y parásitos en niños menores de 5 años Una de las acciones sociales más importantes es hacer pisos firmes Incorporación del componente educativo a nivel secundaria Incremento de 24% en matriculación de niñas y de 12% en la estatura infantil Los efectos en áreas urbanas han sido marginales. Se ha modificado el diseño en áreas urbanas.

Cambios en la política social derivados del uso de la información del CONEVAL Todas las evaluaciones son públicas desde 2007. La SEDESOL redefinió los criterios de la distribución presupuestal del FAIS para que los estados y municipios que mejores sus indicadores de pobreza reciban más recursos. La SEDESOL seleccionó los municipios de la Cruzada contra el Hambre con base en la medición de la pobreza y las recomendaciones emitidas por el CONEVAL.. La SAGARPA rediseñó el Programa PROAGRO Productivo (antes PROCAMPO) para reducir la regresividad del Programa. Para la asignación de los programas de subsidios del Ramo 20 Desarrollo Social se da prioridad a la población en condiciones de pobreza, en condiciones de vulnerabilidad, rezago y de marginación de acuerdo con los criterios que define el CONEVAL. El Programa Oportunidades actualiza los montos bimestrales que se entregan a los beneficiarios del programa Oportunidades, con base en el índice de tendencia laboral de la pobreza del CONEVAL. El Ejecutivo Federal sustentó la Ley del Seguro de Desempleo conforme a la información de carencias sociales del CONEVAL.

Se requieren sistemas de M&E a nivel estatal Brinda evidencia de los avances en las políticas y programas Permite identificar y alinear prioridades de atención Favorece la coordinación entre los diferentes actores Favorece la rendición de cuentas y la transparencia en el uso de los recursos públicos Factores que impulsan su implementación: Ejercicios piloto de monitoreo y evaluación Uso y generación de sistemas de información Dependencia técnica y líder en temas de M&E Cultura de resultados, transparencia y rendición de cuentas

¿Por qué no hay Sistemas de M&E estatales? Enfoque de gestión orientado a productos y no a resultados Poca capacidad institucional y organizacional para implementar herramientas de M&E Deficiente construcción de registros administrativos Bajo impacto de la demanda ciudadana hacia resultados Factores que obstaculizan su implementación: Normatividad con enfoque de gasto y no de resultados Poca flexibilidad y sobrerregulación en normas de gasto Baja calidad y altos costos en la oferta de evaluadores Rechazo cultural

Definición de elementos del diagnóstico A partir del análisis de la legislación federal aplicable a las entidades federativas se determinaron ocho elementos para identificar las buenas prácticas en monitoreo y evaluación: 7.1 Normativa en monitoreo y evaluación. 7.2 Criterios/lineamientos para la evaluación. 7.3 Planeación de evaluaciones. 7.4 Publicación de evaluaciones realizadas. 7.5 Seguimiento a los resultados de las evaluaciones. 7.6 Estudios, diagnósticos, investigaciones o análisis en materia de desarrollo social. 7.7 Indicadores de resultados para la política y/o los programas de desarrollo social. 7.8 Indicadores de gestión para la política y/o los programas de desarrollo social. 1 Existencia y alcance de la Ley de Desarrollo Social (LDS) o equivalente. Criterios para la creación de programas estatales de desarrollo social (programas nuevos). Creación de un padrón de beneficiarios. Elaboración de Reglas de Operación (ROP) o equivalente. Difusión de información acerca de los programas estatales de desarrollo social. Transparencia en el presupuesto asignado a los programas estatales de desarrollo social. Elementos de monitoreo y evaluación Existencia, facultades e independencia del área responsable de realizar/coordinar la evaluación de la política y/o de los programas de desarrollo social en el estado 2 3 4 5 6 7 8

Índice de monitoreo y evaluación en las entidades federativas 2013 2011 2013 Promedio nacional en 2013: 52.5 Promedio nacional en 2011: 44.4

Evolución 2010, 2011 y 2013 21 2010 29 2011 32 2013 Entidades que tienen LDS o equivalente 17 2010 23 2011 29 2013 Entidades que cuentan con ROP o equivalentes

Conclusiones: Aspectos positivos 7 la implementaron en los últimos dos años Ley de Desarrollo Social 28 han establecido esta área de evaluación 12 incrementaron la emisión de esta normativa Área responsable de coordinar la evaluación Normativa para creación de padrones de beneficiarios Todas las entidades federativas cuentan con 16 presentaron un cambio. 4 han trabajado en la construcción de un padrón estatal: Coahuila, Guanajuato, Oaxaca y Quintana Roo Este elemento es uno de los que presenta un mayor incremento de 2011 a 2013: 13 incrementaron su normativa en estos dos años. Regulación del M&E de la política y/o PEDS Padrones de beneficiarios (29) Entre 2011 y 2013, nueve presentaron un cambio en la práctica: antes carecían de padrones o contaban con menos información sobre los beneficiarios 29 cuentan en su normativa con información sobre los criterios/ lineamientos que se deben seguir para la realización de evaluaciones. Información sobre el presupuesto asignado a los PEDS Normativa para difusión de información de PEDS 20 presentan información posterior a 2011 desagregada para todos o algunos programas de desarrollo social. 5 presentaron un incremento en normativa 6 presentaron un incremento en práctica Difusión de información de sus PEDS PEDS: programas estatales de desarrollo social

Conclusiones: en el ciclo de evaluación aún falta por avanzar… Programa anual de evaluación 7 entidades cuentan con una planeación de las evaluaciones Evaluaciones a programas 25 entidades establecen en su normativa la publicación de las evaluaciones realizadas 7 entidades han realizado evaluaciones a sus programas de desarrollo social de 2011 a la fecha Seguimiento a resultados de las evaluaciones 13 entidades han establecido en su normativa el seguimiento a los resultados de las evaluaciones 2 entidades han implementado el seguimiento a los resultados de las evaluaciones de 2011 a la fecha

Conclusiones: Áreas de oportunidad A nivel general se visualizan pocos cambios en la emisión de normativa que establezca criterios para la creación de nuevos programas. Se observan pocos estudios, diagnósticos, investigaciones o análisis en materia de desarrollo social implementados por los estados. Aunque el promedio nacional se incrementó, no fue el caso para todas las entidades. Aquellos estados que emitieron normativa con temporalidad anual en muchos casos mostraron una caída en el componente normativo. Varios estados presentaron decrementos en el componente práctico pues dejaron de implementar evaluaciones, de dar seguimiento a sus resultados o de actualizar sus padrones de beneficiarios, entre otros.

Logros y Retos ¿Qué necesitamos para producir buena evidencia? Dinero Información Habilidades para investigar Informes de Resumen claros Archivos Administrativos Actores interesados Institucionalización de M&E Tiempo Hacedores de políticas profesionales Cambios en la Reglas de Operación Cooperación de los Directores de programas

Cambios en la Reglas de Operación Logros y Retos ¿Qué necesitamos para utilizar la evidencia? ¿Qué necesitamos para producir buena evidencia? Dinero Información Hacedores de Política Profesionales Habilidades para investigar Informes de Resumen claros Demanda por parte de Instituciones fuertes (SHCP, Presidencia, Congreso, Instituciones de Evaluación) Archivos Administrativos Informes fáciles de usar Actores interesados Institucionalización de M&E Oportunidades de cambiar al estatus Quo Tiempo Hacedores de políticas profesionales Mecanismos Institucionales a favor del uso de la evidencia Cambios en la Reglas de Operación Cooperación de los Directores de programas Convencer a otros Demandas de la sociedad civil

Para integrar un Sistema de M&E se debe generar cohesión y: Construir un sistema de M&E a nivel estatal requiere política, técnica y rendición de cuentas Reformar la normatividad para institucionalizar el M&E Para integrar un Sistema de M&E se debe generar cohesión y: 1 Fortalecer la capacidad institucional para realizar acciones de M&E 2 Marchar de la mano de las áreas con atribuciones de M&E 3 Realizar pequeños ejercicios de M&E que tienen un efecto multiplicador y complementarlos entre sí 4 Garantizar la continuidad de los ejercicios de M&E más allá del periodo de la administración 5

Gracias… edgar.martinez@coneval.gob.mx