Sistema Integral de Monitoreo y Evaluación basado en Resultados 11 FEBRERO DE 2008 Dirección General Adjunta de Coordinación www.coneval.gob.mx

NUESTRO ORIGEN La Ley General de Desarrollo Social establece la creación del CONEVAL, entidad sectorizada a la SEDESOL cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de: Normar y coordinar la evaluación de la Política Nacional de Desarrollo Social Establecer los criterios para la definición, identificación y medición de la pobreza

Secretaría Ejecutiva Análisis de Pobreza Coordinación Evaluación ¿QUIÉNES SOMOS? Secretaría Ejecutiva Análisis de Pobreza Coordinación Evaluación Administrativo

SISTEMA NACIONAL DE DESARROLLO SOCIAL CONSULTIVA POLITICA OPERATIVA TECNICA CONSEJO CONSULTIVO COMISIÓN INTERSECRETARIAL DEPENDENCIAS Y ENTIDADES CONSEJO DE EVALUACIÓN Analizar y proponer programas y acciones que inciden en la Política Nacional de Desarrollo Social Proponer partidas y montos de gasto social Ordenar la Política Social a nivel Federal Operación de los programas, acciones y fondos Contratar evaluaciones, bajo la norma del CNEval; COMISIÓN NACIONAL Coordinación de programas y acciones de dependencias y entidades federales

DIAGNÓSTICO DEL SISTEMA 2002-2006 No existe un enfoque a RESULTADOS Los programas no estaban 100% preparados internamente No contaban con sistemas de monitoreo No siempre hay claridad en la lógica y consistencia interna de cada programa No se alineaban a objetivos Estratégicos Hasta el año 2006, las evaluaciones entregadas al H. Congreso de la Unión estuvieron sujetas a la interpretación del “Acuerdo de Requisitos Mínimos” (DOF, abril 2002) Se pedía el mismo tipo de evaluación externa cada año para todos los programas, cubriendo muchos temas Términos de Referencia heterogéneos y poco específicos: Reportes largos y confusos Mucha información que no se usaba sistemáticamente

¿Lo que el programa federal ha hecho tiene sentido, tiene lógica? PRIMER AÑO DE GOBIERNO Aprovechar inicio de administración para impulsar nuevos mecanismos de planeación ¿Lo que el programa federal ha hecho tiene sentido, tiene lógica? ¿El programa está acorde con los planteamientos del nuevo gobierno y con la nueva realidad del país? Es importante medir avances Gasto, ejercicio, número de servicios entregados Pero sobre todo, medir RESULTADOS FINALES

Resultados SISTEMA INTEGRAL DE EVALUACIÓN Y MONITOREO Gestión para Objetivos Estratégicos Matriz de Marco Lógico Sistema de Evaluación Del Desempeño (SED) Resultados Diferentes tipos de Evaluación Programa Anual de Evaluación Evaluaciones Complementarias Programas Nuevos Gestión para Convenio de Compromisos para el Mejoramiento de la Gestión

PRINCIPALES ELEMENTOS DE ESTE SISTEMA “Matriz de Indicadores” (marco lógico). Permite focalizar la atención y los esfuerzos de una dependencia o entidad, así como apoyar los procesos de planificación, diseño, monitoreo y evaluación “Lineamientos generales de evaluación” (DOF, marzo 2007) con varios tipos de evaluaciones y mayor libertad para temas específicos Evaluación de programas Federales Evaluación Estratégica Evaluación de Programas Nuevos Evaluación de Consistencia y Resultados Evaluación de Indicadores Evaluación de Procesos Evaluación de Impacto Evaluación Específica Programa o conjunto de programas en torno a las estrategias, políticas e instituciones Diagnóstico Matriz de Indicadores Evaluación en materia de Diseño Análisis del funcionamiento y operación

MATRIZ DE INDICADORES Hoy en día es difícil conocer la lógica interna de los programas federales y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo) Permite identificar sus objetivos, sus relaciones causales y supuestos o riesgos que pueden influir en el éxito a fracaso del programa Por otro lado, tenemos que reportar muchos indicadores, no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN) Permite determinar indicadores de RESULTADOS Cualitativos y cuantitativos De eficacia, eficiencia, calidad y economía

Los indicadores más relevantes hoy en día son: MATRIZ DE INDICADORES Los indicadores más relevantes hoy en día son: El presupuesto asignado a cada programa El % del presupuesto ejercido cada año El número de microcréditos/becas/cursos de capacitación/litros de leche/metros cuadrados pavimentados/etc. Pero falta medir RESULTADOS: ¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito? ¿Los desempleados que recibieron capacitación encontraron trabajo? ¿Más mujeres se incorporan a trabajar a raíz del programa de estancias infantiles?

¿QUÉ ES LA MATRIZ DE INDICADORES? La Matriz de Indicadores (matriz de marco lógico) es una herramienta de gestión que ayuda a: Entender y mejorar la lógica interna Mejorar el diseño de los programas, y Mejorar los indicadores del programa Comprende la identificación de: Los objetivos de un Programa Sus relaciones causales Los indicadores, y Los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo. Permite focalizar la atención y los esfuerzos de una dependencia o entidad, así como apoyar los procesos de planificación, diseño, monitoreo y evaluación.

¿QUÉ ES LA MATRIZ DE INDICADORES? El marco lógico permite: Presentar en forma resumida y estructurada cualquier iniciativa Establecer mayor claridad sobre los objetivos y metas que se buscan alcanzar Hacer más evidentes los riesgos de operación, y Abordar el tema de seguimiento (monitoreo) con mayor facilidad Establecer una base objetiva para su evaluación Debe ser consensuado con los principales involucrados Que NO es: NO es el único instrumento de planeación NO es suficientes para una mejor gestión NO es un instrumento de evaluación NO es un esquema de programación y operación

ANTECEDENTES METODOLÓGICOS La metodología tiene su origen en el desarrollo de técnicas de administración por objetivos de los 60´s A principios de los 70´s, la USAID comenzó a utilizarla formalmente en la planificación de sus proyectos Múltiples objetivos, Responsabilidades poco definidas, y Base poco objetiva. Más tarde, fue adoptada por la GTZ en su método ZOPP (planificación de proyectos orientada a objetivos) Actualmente es utilizada por: Entidades financieras internacionales como BM, BID y ADB Organismos Internaciones como la ONU Agencias de cooperación como USAID, CIDA Gobiernos nacionales como Canadá, Estados Unidos, Chile, Colombia, Perú, la Unión Europera, y actualmente México

Indicadores de Desempeño Medios de Verificación ESQUEMA PARA LOS PROGRAMAS FEDERALES Objetivo del Eje de Política Pública del Plan Nacional de Desarrollo: Objetivo Sectorial, Institucional, Especial o Regional: Objetivo Estratégico de la Dependencia y/o Entidad: Resumen Narrativo Indicadores de Desempeño Medios de Verificación Supuestos Enunciado Fórmula de Cálculo Frecuencia de Medición Fin: propósito: Componentes: Actividades:

Fin Resultados Propósito Actividades Componentes OBJETIVOS DEL PROGRAMA Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Fin Resultados Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema Propósito 1.- Capacitación a individuos en pobreza extrema desempleados 2.- Beca de apoyo a familias beneficiadas Componentes Implementación - Focalización Geográfica 1.1 Identificación y selección de familias en pobreza extrema 2.1 Distribución de las becas de apoyo Actividades

Resultados Fin Propósito Actividades Componentes ES IMPORTANTE PODER MEDIR EL ALCANCE DE LOS OBJETIVOS Fin Porcentaje de capacitados que obtienen un mejor trabajo Resultados Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados Propósito 1.- Número de cursos y talleres realizados 2.- Número de becas repartidas 3.- Monto total de las becas repartidas 4.- Porcentaje de desempleados capacitados Componentes Implementación Actividades 1.- % del presupuesto ejercido 2.- Costo promedio x actividad 3.- Costo promedio de distribución de la beca

Componentes Actividades QUISIERAMOS PASAR DE ESTO… Resultados Propósito??? Implementación Resultados

Objetivos Nacionales y Sectoriales ….. A ESTO Componentes Actividades Propósito Fin Objetivos Nacionales y Sectoriales Resultados

MÉTODOS COMPLEMENTARIOS: ANÁLISIS DE INVOLUCRADOS Al estudiar las alternativas de un programa se deben considerar los intereses y expectativas de los involucrados Dichos intereses pueden ser coincidentes, complementarios o incluso antagónicos Aprovechar y potenciar el apoyo de involucrados con intereses coincidentes o complementarios al proyecto Disminuir la oposición de involucrados con intereses opuestos al proyecto Conseguir el apoyo de los indiferentes Posibles involucrados: Beneficiarios directos o indirectos Autoridades locales La comunidad en general Los residentes o promotores del proyecto Proveedores Posibles afectados

MÉTODOS COMPLEMENTARIOS: ÁRBOL DE PROBLEMAS Y ÁRBOL DE OBJETIVOS Permite identificar correctamente el problema que se pretende atender, sus causas y efectos, así como las diversas alternativas de atención Árbol del problema Es un diagrama que sirve para diagnosticar una situación actual de manera objetiva y basada en evidencia científica Establece las relaciones de causa-efecto y asegura que las raíces de los problemas y no sólo sus síntomas sean identificados y considerados para su tratamiento El primer paso consiste en definir el problema central que será atendido por el programa Enseguida, se deben identificar los efectos generados por el problema central y las causas que lo han generado.

PLANEACIÓN Y MATRIZ DE INDICADORES Política de Desarrollo Social Nivel 1 Programas sectoriales Nivel 2 Objetivos de las dependencias Nivel 3 Programas presupuestarios Nivel 4 Objetivos Nacionales Ejes política pública Objetivos y Estrategias Objetivos de las programas del PND Estrategias Líneas de acción Objetivo estratégico de la Dependencia Fin   Propósito Componentes Actividad Reglas de operación