Sistema de Evaluación y Monitoreo: Un Reto de Política Pública Secretaría de Desarrollo Social MÉXICO Gonzalo Hernández Licona

Índice El esquema ideal de M&E Creación del sistema de M&E en México (Secretaría de Desarrollo Social) Funcionamiento del sistema de M&E Retos

La Política Social Identificación de problemas y objetivos Análisis Diseño de programas Presupuesto Operación de programas Evaluación y Monitoreo

M&E: Esfuerzo de Política Pública Si estuviéramos hablando de una empresa privada, los incentivos son los correctos para que exista un M&E, casi automáticamente Cuando hablamos de programas sociales, es necesario crear los incentivos e instituciones correctos para desarrollar el M&E. El reto es que las reglas de juego creen un M&E que sea parte integral, y útil, de la Política Social

Proceso de Toma de Decisiones ¿Quién exige conocer el beneficio? Identificar beneficios Medir Impacto Información requerida Monitoreo de Procesos ¿Qué se hace con los resultados? Información para decisiones presupuestales

Creación paulatina del sistema de M&E Durante los 90s se llevaron a cabo las primeras evaluaciones de algunos programas sociales (Leche, Abasto Rural) La evaluación del programa Oportunidades, a partir de 1997, ha sido el proyecto de evaluación más exitoso y mejor pensado hoy en día en México El BID exigió una evaluación externa Los actores políticos la aceptaron bien Desde 2000, el Congreso exige por ley la evaluación anual de todos los programas del Ejecutivo Federal Desde 1999 se vio la necesidad, desde el Congreso, de evitar que mediante los programas sociales se compraran votos en las elecciones del 2000 por parte del PRI Funcionarios receptivos que favorecían las evaluaciones de los programas

Creación paulatina del sistema de M&E: Secretaría de Desarrollo Social (SEDESOL) 2001 Creación de la Subsecretaría de Planeación, Prospectiva y Evaluación 2002 Acuerdo de la Secretaría de Hacienda y de la Contraloría para mejorar evaluaciones 2004 Ley de Desarrollo Social, que institucionaliza aún más el proceso de evaluación de la política y los programas de desarrollo social Congreso plural Ejecutivo respetuoso Democracia y Transparencia El desarrollo reciente de mejores técnicas de evaluación ha fomentado mejores evaluaciones

Fortalezas y Debilidades del cambio institucional Se cambian repentinamente las reglas del juego; se acelera el cambio cultural Se fuerza a los actores a pensar en términos de evaluación Se fuerza a los actores a rendir cuentas Debilidades No se capacita técnicamente a los actores No se explicaa la importancia de la evaluación a los operadores de los programas Falta capacitación técnica en evaluadores, evaluados y tomadores de decisiones No se cuenta con un sistema integral de indicadores El sistema no tiene como uno de sus objetivos tomar decisiones presupuestarias La Secretaría de Hacienda es, realmente, ajena el proceso

Componentes del Sistema de M&E Medición Oficial de la Pobreza Meta (impacto) Evaluación de Impacto Resultados Logros Productos Creación del Sistema de Monitoreo Basado en Resultados Evaluación Externa al Congreso Actividades Implementación Insumos

Evaluaciones externas al Congreso La lleva a cabo un evaluador externo Se reporta al Congreso (Hacienda y Contraloría) de forma anual (Septiembre) Requisitos mínimos Hacienda: cobertura, focalización, cumplimiento reglas, impacto, costo beneficio, percepción de beneficiarios La Dirección General de Evaluación hace términos de referencia, junto con el programa social. El evaluador externo tiene presentaciones periódicas en todo el año y retroalimentación por parte de Sedesol, sobre todo de los operadores

¿Qué hacer con las evaluaciones finales? El evaluador resume puntualmente la evaluación con fortalezas, retos y recomendaciones Sistematización de acciones de los programas atendiendo las recomendaciones de las evaluaciones De manera oficial se envía a los programas los retos y recomendaciones Los programas responden de manera oficial sobre las acciones que emprenderán para corregir las debilidades. Las evaluaciones se tomen en cuenta El evaluador mejora su trabajo Los programas tienen cambios importantes La evaluación es una herramienta de decisión para el proceso de integración presupuestal de la Sedesol

Fortalezas y Debilidades de la Evaluación Externa Se fuerza a los actores a pensar en términos de evaluación y rendir cuentas Se hacen hallazgos que sirven para mejorar el progama Debilidades Falta de capital humano por parte de los evaluadores Proceso de licitación complicado que no favorece la calidad Reportes anuales ambiciosos para todos los programa El programa no tiene los insumos básicos para que el evaluador haga su tarea En algunos programas se percibe a la evaluación como impuesta y poco útil No se relaciona directamente con decisiones presupuestales

Evaluaciones de Impacto Se ha puesto mucho énfasis en tener buenas evaluaciones de impacto de largo plazo En algunas de ellas se evalúa impacto y se complementa con evaluaciones cualitativas El financiamiento y asistencia técnica es con apoyo de otras instituciones: Banco Mundial, BID, Conacyt Progresa-Oportunidades 1997-2000. Oportunidades 2001-2004 Liconsa leche fortificada Liconsa programa de Abasto Social de Leche Programa Alimentario Estrategia Microrregiones Hábitat Programa Tu Casa Programa Piso Firme Coahuila Jóvenes con Oportunidades

Evaluación de Impacto: ¿por qué esos programas? ¿Para qué? En general son los programas más importantes de la Secretaría Se ha tomado la evaluación seriamente, aunque también… … se busca que algunos programas trasciendan al próximo gobierno (experiencia de Progresa) En el caso de la leche fortificada: Se mejoraron las prácticas del hogar. En el caso del Programa Alimentario: ¿cash o transfer?

Monitoreo basado en Resultados: Es todavía un gran reto Insumos Costos Presupuesto Producción Abasto Equipamiento físico Calidad Percepción del Beneficiario Impacto Beneficiarios II ICo IPr IPo I1 I2 I3 I4 I5 In IPa I6 I7 I8 I9 I10

Monitoreo basado en Resultados Insumos Presupuesto Abasto Calidad Impacto Beneficiarios II ICo IPr IPo IA IEf ICa IP IB Costos Producción Equipamiento físico Percepción del beneficiario Tratar de convencer a operadores que tener un buen sistema de monitoreo basado en resultados, aún sin la exigencia del Congreso, es útil El sistema permitirá una mejor y más eficiente evaluación externa Tener eventualmente un sistema con menos indicadores, pero más útiles

Pasos que se están implementando Readiness assessment por parte del Banco Mundial (2004) Seminario sobre Monitoreo basado en Resultados (Banco Mundial, febrero 2005) Pláticas con Hacienda, Función Pública, Presidencia para explicar esquema (2005) Contratación de un consultor y una empresa para que, junto con 4 programas piloto, se pueda avanzar en fortalecer los sistemas de monitoreo(IDF Banco Mundial, verano 2005) Promover diálogo entre programas (y expertos en informática) para intercambiar experiencias de sistemas

Medición Oficial de la Pobreza Desde 2001 se pidió a un grupo plural de expertos en medición, que sugirieran una medición de pobreza, con la cual el Gobierno pudiera evaluar sus esfuerzos en esta materia 10 investigadores de diversas universidades recomendaron una metodología Reducción de la pobreza 2002-2004 Este componente no está ligado a los otros componentes de sistema M&E

Proceso de Toma de Decisiones. Balance  ¿Quién exige conocer el beneficio? Identificar beneficios Medir Impacto Información requerida Monitoreo de Procesos ¿Qué se hace con los resultados? Información para decisiones presupuestales ?   ?  ?   ? 

Retos Tener un sistema integral de M&E Fortalecer el sistema de monitoreo; fortalecer la evaluación interna Tener un nexo más claro con las decisiones sobre presupuesto Mejorar el capital humano de investigadores locales… …pero también de los usuarios potenciales de las evaluaciones (Congreso, etc.) Mejorar evaluaciones cualitativas La transición hacia el nuevo Consejo Nacional de Evaluación no será fácil ni automática La evaluación a nivel estatal o municipal prácticamente no existe