Sistema de Evaluación y Monitoreo: Un Reto de Política Pública

Presentación del tema: "Sistema de Evaluación y Monitoreo: Un Reto de Política Pública"— Transcripción de la presentación:

1 Sistema de Evaluación y Monitoreo: Un Reto de Política Pública
Secretaría de Desarrollo Social MÉXICO Gonzalo Hernández Licona

2 Índice El esquema ideal de M&E
Creación del sistema de M&E en México (Secretaría de Desarrollo Social) Funcionamiento del sistema de M&E Retos

3 La Política Social Identificación de problemas y objetivos Análisis
Diseño de programas Presupuesto Operación de programas Evaluación y Monitoreo

4 M&E: Esfuerzo de Política Pública
Si estuviéramos hablando de una empresa privada, los incentivos son los correctos para que exista un M&E, casi automáticamente Cuando hablamos de programas sociales, es necesario crear los incentivos e instituciones correctos para desarrollar el M&E. El reto es que las reglas de juego creen un M&E que sea parte integral, y útil, de la Política Social

5 Proceso de Toma de Decisiones
¿Quién exige conocer el beneficio? Identificar beneficios Medir Impacto Información requerida Monitoreo de Procesos ¿Qué se hace con los resultados? Información para decisiones presupuestales

6 Creación paulatina del sistema de M&E
Durante los 90s se llevaron a cabo las primeras evaluaciones de algunos programas sociales (Leche, Abasto Rural) La evaluación del programa Oportunidades, a partir de 1997, ha sido el proyecto de evaluación más exitoso y mejor pensado hoy en día en México El BID exigió una evaluación externa Los actores políticos la aceptaron bien Desde 2000, el Congreso exige por ley la evaluación anual de todos los programas del Ejecutivo Federal Desde 1999 se vio la necesidad, desde el Congreso, de evitar que mediante los programas sociales se compraran votos en las elecciones del 2000 por parte del PRI Funcionarios receptivos que favorecían las evaluaciones de los programas

7 Creación paulatina del sistema de M&E: Secretaría de Desarrollo Social (SEDESOL)
2001 Creación de la Subsecretaría de Planeación, Prospectiva y Evaluación 2002 Acuerdo de la Secretaría de Hacienda y de la Contraloría para mejorar evaluaciones 2004 Ley de Desarrollo Social, que institucionaliza aún más el proceso de evaluación de la política y los programas de desarrollo social Congreso plural Ejecutivo respetuoso Democracia y Transparencia El desarrollo reciente de mejores técnicas de evaluación ha fomentado mejores evaluaciones

8 Fortalezas y Debilidades del cambio institucional
Se cambian repentinamente las reglas del juego; se acelera el cambio cultural Se fuerza a los actores a pensar en términos de evaluación Se fuerza a los actores a rendir cuentas Debilidades No se capacita técnicamente a los actores No se explicaa la importancia de la evaluación a los operadores de los programas Falta capacitación técnica en evaluadores, evaluados y tomadores de decisiones No se cuenta con un sistema integral de indicadores El sistema no tiene como uno de sus objetivos tomar decisiones presupuestarias La Secretaría de Hacienda es, realmente, ajena el proceso

9 Componentes del Sistema de M&E
Medición Oficial de la Pobreza Meta (impacto) Evaluación de Impacto Resultados Logros Productos Creación del Sistema de Monitoreo Basado en Resultados Evaluación Externa al Congreso Actividades Implementación Insumos

10 Evaluaciones externas al Congreso
La lleva a cabo un evaluador externo Se reporta al Congreso (Hacienda y Contraloría) de forma anual (Septiembre) Requisitos mínimos Hacienda: cobertura, focalización, cumplimiento reglas, impacto, costo beneficio, percepción de beneficiarios La Dirección General de Evaluación hace términos de referencia, junto con el programa social. El evaluador externo tiene presentaciones periódicas en todo el año y retroalimentación por parte de Sedesol, sobre todo de los operadores

11 ¿Qué hacer con las evaluaciones finales?
El evaluador resume puntualmente la evaluación con fortalezas, retos y recomendaciones Sistematización de acciones de los programas atendiendo las recomendaciones de las evaluaciones De manera oficial se envía a los programas los retos y recomendaciones Los programas responden de manera oficial sobre las acciones que emprenderán para corregir las debilidades. Las evaluaciones se tomen en cuenta El evaluador mejora su trabajo Los programas tienen cambios importantes La evaluación es una herramienta de decisión para el proceso de integración presupuestal de la Sedesol

12 Fortalezas y Debilidades de la Evaluación Externa
Se fuerza a los actores a pensar en términos de evaluación y rendir cuentas Se hacen hallazgos que sirven para mejorar el progama Debilidades Falta de capital humano por parte de los evaluadores Proceso de licitación complicado que no favorece la calidad Reportes anuales ambiciosos para todos los programa El programa no tiene los insumos básicos para que el evaluador haga su tarea En algunos programas se percibe a la evaluación como impuesta y poco útil No se relaciona directamente con decisiones presupuestales

13 Evaluaciones de Impacto
Se ha puesto mucho énfasis en tener buenas evaluaciones de impacto de largo plazo En algunas de ellas se evalúa impacto y se complementa con evaluaciones cualitativas El financiamiento y asistencia técnica es con apoyo de otras instituciones: Banco Mundial, BID, Conacyt Progresa-Oportunidades Oportunidades Liconsa leche fortificada Liconsa programa de Abasto Social de Leche Programa Alimentario Estrategia Microrregiones Hábitat Programa Tu Casa Programa Piso Firme Coahuila Jóvenes con Oportunidades

14 Evaluación de Impacto: ¿por qué esos programas? ¿Para qué?
En general son los programas más importantes de la Secretaría Se ha tomado la evaluación seriamente, aunque también… … se busca que algunos programas trasciendan al próximo gobierno (experiencia de Progresa) En el caso de la leche fortificada: Se mejoraron las prácticas del hogar. En el caso del Programa Alimentario: ¿cash o transfer?

15 Monitoreo basado en Resultados: Es todavía un gran reto
Insumos Costos Presupuesto Producción Abasto Equipamiento físico Calidad Percepción del Beneficiario Impacto Beneficiarios II ICo IPr IPo I1 I2 I3 I4 I5 In IPa I6 I7 I8 I9 I10

16 Monitoreo basado en Resultados
Insumos Presupuesto Abasto Calidad Impacto Beneficiarios II ICo IPr IPo IA IEf ICa IP IB Costos Producción Equipamiento físico Percepción del beneficiario Tratar de convencer a operadores que tener un buen sistema de monitoreo basado en resultados, aún sin la exigencia del Congreso, es útil El sistema permitirá una mejor y más eficiente evaluación externa Tener eventualmente un sistema con menos indicadores, pero más útiles

17 Pasos que se están implementando
Readiness assessment por parte del Banco Mundial (2004) Seminario sobre Monitoreo basado en Resultados (Banco Mundial, febrero 2005) Pláticas con Hacienda, Función Pública, Presidencia para explicar esquema (2005) Contratación de un consultor y una empresa para que, junto con 4 programas piloto, se pueda avanzar en fortalecer los sistemas de monitoreo(IDF Banco Mundial, verano 2005) Promover diálogo entre programas (y expertos en informática) para intercambiar experiencias de sistemas

18 Medición Oficial de la Pobreza
Desde 2001 se pidió a un grupo plural de expertos en medición, que sugirieran una medición de pobreza, con la cual el Gobierno pudiera evaluar sus esfuerzos en esta materia 10 investigadores de diversas universidades recomendaron una metodología Reducción de la pobreza Este componente no está ligado a los otros componentes de sistema M&E

19 Proceso de Toma de Decisiones. Balance
 ¿Quién exige conocer el beneficio? Identificar beneficios Medir Impacto Información requerida Monitoreo de Procesos ¿Qué se hace con los resultados? Información para decisiones presupuestales ?   ?  ?   ? 

20 Retos Tener un sistema integral de M&E
Fortalecer el sistema de monitoreo; fortalecer la evaluación interna Tener un nexo más claro con las decisiones sobre presupuesto Mejorar el capital humano de investigadores locales… …pero también de los usuarios potenciales de las evaluaciones (Congreso, etc.) Mejorar evaluaciones cualitativas La transición hacia el nuevo Consejo Nacional de Evaluación no será fácil ni automática La evaluación a nivel estatal o municipal prácticamente no existe