Sistema de Monitoreo y Evaluación basado en resultados: Caso México Shakirah Cossens Dirección de Monitoreo de los Programas Sociales Junio de 2008 www.coneval.gob.mx

ANTECEDENTES 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestar 2000: Inicio normativo de la evaluación sin una estrategia clara 2000-2006: Desarticulación de la evaluación con la mejora en la gestión PEF y Acuerdo entre SHCP y SFP Ausencia de una estrategia de monitoreo Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad Gubernamental Sistema de Metas Presidenciales 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública Creación del Coneval Primer impulso normativo al monitoreo Vínculo con los temas de pobreza y con la Política de Desarrollo Social

EL CONEVAL Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de: Normar y coordinar la evaluación de la Política Nacional de Desarrollo Social Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF Establecer los criterios para la definición, identificación y medición de la pobreza El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo designado por el Ejecutivo Federal Contribuir a la toma de decisiones de Política de desarrollo Social y combate a la pobreza y rezago social en México Información útil, objetiva y oportuna

6 Investigadores Académicos COMITÉ DIRECTIVO Secretario de Desarrollo Social Presidente electos democráticamente por la Comisión Nacional de Desarrollo Social 6 Investigadores Académicos 1 Representante de la SHCP, Subsecretario de Egresos Invitados: - Secretario Ejecutivo, CONEVAL - Comisario Público - DPOP, SEDESOL - OIC

DIAGNÓSTICO - VENTAJAS Se ha avanzado en la cultura de la evaluación Existen casos particulares de evaluaciones que han apoyado la toma de decisiones Existe un respaldo normativo para institucionalizar un M&E Ley General de Desarrollo Social, CONEVAL, Ley Federal de Presupuesto y Responsabilidad Hacendaria, PEF 2007 Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Función Pública, Congreso Transición política favorable para la introducción de cambios

DIAGNÓSTICO - RETOS Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año. … y con poca utilidad Percepción del sistema de M & E como instrumento de fiscalización, y no de gestión y rendición de cuentas La medición de Resultados no es una prioridad para el programa o la dependencia. Mucho énfasis en indicadores de producto y ejercicio del recurso Muchos indicadores que no se usan para una gestión por resultados No hay claridad en los objetivos estratégicos de las dependencia Lineamientos poco flexibles Seguimiento limitado a las recomendaciones generadas de la evaluación Falta de coordinación y uso de resultados por las diferentes autoridades

Lineamientos de Evaluación y Monitoreo (Marzo 2007) NUEVAS REGLAS DEL JUEGO CONEVAL (2005) SHCP: Ley de Presupuesto y Responsabilidad Hacendaria (2006) SED y planes de una Reforma Fiscal SFP: Programa de Mejoramiento de la Gestión PEF 2007. Cámara de Diputados Lineamientos de Evaluación y Monitoreo (Marzo 2007) 7

Seguimiento a los resultados SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN Objetivos Estratégicos Diferentes tipos de Evaluación Resultados Matriz de Marco Lógico Programas Nuevos Sistema de Evaluación Del Desempeño (SED) Programa Anual de Evaluación Seguimiento a los resultados de las evaluaciones 8

Nivel 3 Planeación incompleta si no se llega a ROP Política de Desarrollo Social Nivel 1 Programas Sectoriales Nivel 2 Objetivos de las dependencias Nivel 3 Programas presupuestarios Nivel 4 Objetivos Nacionales Ejes política pública Objetivos y Estrategias Objetivos de los Programas del PND Estrategias Líneas de acción Objetivo estratégico de la Dependencia Fin   Propósito Componentes Actividad Reglas de operación 9

Componentes Actividades QUEREMOS PASAR DE ESTO … Componentes Actividades Propósito??? Implementación Resultados 10

Fin Resultados Propósito Actividades … A ESTO EN EL MEDIANO Y LARGO PLAZO Objetivos Nacionales Fin Resultados Propósito Componentes Actividades 11

EVALUACIÓN DE CONSISTENCIA Y RESULTADOS Evaluación de gabinete que busca medir, de manera homogénea, el desempeño global de los Programas (gestión y RESULTADOS) 100 preguntas distribuidas en 5 temas: diseño, planeación estratégica, cobertura y focalización, operación, percepción de los beneficiarios y resultados Respuestas específicas, en su mayoría, en esquema binario (SI o NO) fundamentada con evidencia documental y análisis de la misma (información con la que cuenta el programa) Identificación concisa de fortalezas y oportunidades, debilidades y amenazas para cada tema de evaluación En el 2007, será un “Diagnóstico” de la orientación de los programas hacia una gestión para RESULTADOS En años posteriores, comparación con diagnóstico

SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN Evaluación Externa 1. Diseño 8 2. Cobertura y focalización 9 3. Planeación 8 4. Operación 5 5. Resultados 7 6. Percepción de los Beneficiarios 9 Evaluación Externa 1. Diseño 8 2. Cobertura y focalización 9 3. Planeación 5 4. Operación 9 5. Resultados 7 6. Percepción de los Beneficiarios 9 Preparación para un SM&E basado en Resultados SE REQUIERE UNA EVALUACIÓN DE PLANEACIÓN SE REQUIERE UNA EVALUACIÓN DE OPERACIÓN Evaluación de Consistencia 1. Diseño 2. Cobertura y focalización 3. Planeación 4. Operación 5. Resultados 6. Percepción de los Beneficiarios Evaluaciones Estratégicas Programa Anual de Evaluación Diseño del Sistema de Evaluación del Desempeño (SED-SHCP) Evaluación de Impacto Matriz de Marco Lógico Evaluaciones Temáticas Evaluación de Consistencia 1. Diseño 2. Cobertura y focalización 3. Planeación 4. Operación 5. Resultados 6. Percepción de los Beneficiarios 0 < p < 1 Matriz de Marco Lógico Matriz de Marco Lógico Diseño del Sistema de Evaluación del Desempeño (SED-SHCP) SED 2008 2009 2010 2011 … Programa Anual de Evaluación Evaluación de Impacto Evaluaciones Estratégicas Evaluaciones Temáticas 2007

Resultados de Evaluación 2006-2007 Definir claramente la población objetivo Asegurar la existencia personal suficiente y capacitado para la operación y monitoreo del programa Incentivar la coordinación efectiva para potenciar los beneficios otorgados Mejorar la calidad de los bienes y servicios que otorgan los programas Elaborar ROP que reflejen con mayor claridad los objetivos y la consistencia de los procesos Generar y utilizar sistemas de evaluación y monitoreo con información de Indicadores de Resultados útiles y confiables

RETOS EN LA EVALUACIÓN Implementar pilotos del resto de los tipos de evaluación Potenciar los usos de la EC&R Fortalecer las capacidades de las Secretarías Mejorar los esquemas de generación de información (monitoreo) Mejorar la oferta de evaluadores Fortalecer el vínculo con la mejora de la gestión y “adecuar” la relación con el presupuesto Analizar los resultados de políticas específicas Mejorar la coordinación entre las “autoridades” y fortalecer vínculo con la Presidencia Fortalecer los esquemas de evaluación a nivel estatal

Principales observaciones a la mI Se tiene mal definidos los componentes Las MI tiene problemas en la definición del Propósito El Propósito no implica una contribución significativa al Fin Las MI no presenta una clara vinculación del Fin con el OE Se presenta algún tipo de duplicidad en niveles de objetivos Los supuestos no están bien identificados

RETOS EN LOS INDICADORES Continuar analizando y mejorando las matrices Impulsar el nivel de “propósito” Impulsar capacitación en indicadores y metas (planeación) Mejorar la coordinación con las “autoridades” Impulsar el tema de monitoreo Fortalecer a los estados Fortalecer los vínculos internos de las Secretarías (Evaluación, Planeación y Presupuesto) Auditoría Superior de la Federación Congreso

LO QUE SE ESPERA EN EL MEDIANO PLAZO Promover la gestión y evaluación basada en “Resultados” Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado Menor número de indicadores a reportar, pero de mejor calidad Promover el uso sistemático de la información de evaluación y monitoreo Que el sistema tenga nexos con el proceso presupuestario Que la información se utilice para mejorar la gestión de los programas y dependencias Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales Utilizando la evolución de los indicadores de pobreza nacionales, estatales y municipales Reforzar la transparencia y la rendición de cuentas 18

Gracias… scossens@coneval.gob.mx www.coneval.gob.mx