Experiencia de implementación de la Metodología de Marco Lógico en México Julio de 2011

ÍNDICE Antecedentes Matrices de Indicadores para Resultados de la APF Proceso de Aprobación de Indicadores Retos

Antecedentes El escenario de la APF en 2006, a pesar de que algunos de los programas con reglas de operación tenían una historia de evaluación se caracterizaba por los siguientes aspectos: No siempre tenían objetivos ligados con “resultados” Los objetivos eran muy generales y ambiguos No existían indicadores de resultados Sin una metodología homogénea aplicada por todos los programas No era clara la lógica del programa para alcanzar resultados La mayoría de los indicadores establecidos medían gestión más no resultados

Antecedentes CONEVAL analizó distintas metodologías y casos internacionales para identificar la metodología más adecuada para el diseño y la construcción de la matriz de indicadores: Caso Chile (DIPRES) Implementación de la MML en 1994 Análisis de vinculación con presupuestación (Indicadores de Desempeño) Caso Colombia (SINERGIA) Introducción de instrumentos de medición de resultados desde 1994 Caso Estados Unidos (OMB) Criterios para la especificación de Indicadores (SMART) Caso Canadá (Oficina del Tesoro) Inicio de implementación del Sistema en los años 70

Antecedentes ¿Por qué se definió la Metodología de Marco Lógico (MML) como instrumento? * Porque permite: la identificación de objetivos a nivel Resultados e Implementación (gestión) establecer relaciones causales entre los objetivos que se plantean diseñar indicadores vinculándolos a los objetivos identificar la lógica interna de los programas (valorar su diseño) presentar el programa en forma resumida, estructurada y sintética * Al mismo tiempo, la SHCP estaba en busca de metodología para incorporar información al Sistema de Evaluación del Desempeño (SED)

 Los indicadores más relevantes hoy en día son: –El presupuesto asignado a cada programa –El % del presupuesto ejercido cada año –El número de becas/cursos de capacitación/litros de leche/pasaportes entregados/juntas realizadas, etc, etc. Pero falta medir RESULTADOS: –¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito? –¿Los desempleados que recibieron capacitación aprendieron y encontraron trabajo? –¿Más mujeres se incorporan a trabajar a raíz del programa de estancias infantiles? –¿Disminuyó la delincuencia por el programa de seguridad? –¿Se disminuyó el tiempo de trámite de los pasaportes? Objetivo: Planear, evaluar, presupuestar (tener una gestión) para buscar y medir resultados

Componentes ActividadesPropósito Fin Implementación Resultados Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema 1.- Capacitación a individuos en pobreza extrema desempleados 2.- Beca de apoyo a familias beneficiadas - Focalización Geográfica 1.1 Identificación y selección de familias en pobreza extrema 2.1 Distribución de las becas de apoyo ESQUEMA LÓGICO DE UN PROGRAMA

Porcentaje de capacitados que obtienen un mejor trabajo Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados 1.- Porcentaje de cursos y talleres realizados 2.- Porcentaje de becas repartidas 3.- Monto total de las becas repartidas 4.- Porcentaje de desempleados capacitados 1.- % del presupuesto ejercido 2.- Costo promedio x actividad 3.- Costo promedio de distribución de la beca Componentes ActividadesPropósito Fin Implementación Resultados MENOS Y MEJORES INDICADORES

Componentes ActividadesPropósito Fin Objetivos Nacionales Resultados Implementación Esquema lógico de objetivos de un programa Antecedentes

Antecedentes Componentes Actividades Propósito??? Implementación Resultados Se pretendía pasar de esto…

ComponentesActividades Propósito? Implementación Resultados Antecedentes …a este esquema en un primer momento

Componentes ActividadesPropósito Fin Objetivos Nacionales Resultados Implementación …a esto en un segundo momento… Antecedentes

ÍNDICE Antecedentes Matrices de Indicadores para Resultados de la APF México Proceso de Aprobación de Indicadores Retos

Matrices de Indicadores para Resultados Del total de las MIR de la APF (cerca de 600), el CONEVAL coordina 231, de acuerdo con el Programa Anual de Evaluación Las modalidades presupuestarias de estas MIR son las siguientes: S Programas Sujetos a Reglas de Operación U Otros subsidios E Prestación de Servicios Públicos B Provisión de Bienes Públicos

35% de las MIR son de programas de Educación; Medio Ambiente y Desarrollo Social cuentan con 10% de los programas, respectivamente Cerca del 45% de las MIR se refieren a programas de seguridad social, Hacienda y Crédito Público, agrícolas, ganaderos, pesca, laborales. Matrices de Indicadores para Resultados

16 Indicadores contenidos en las MIR 2011  El total de MIR de la APF para 2011 es de 586 que incluyen 4,997 indicadores de desempeño.  183 Matrices corresponden a Programas Sociales Nivel del Indicador Indicadores en el PASH Indicadores Programas sociales Total% % 4, , FIN Propósito Componentes1, Actividades1, Promedio por Programa 11

ÍNDICE Antecedentes Matrices de Indicadores para Resultados Proceso de Aprobación de Indicadores Retos

Mandato para Coneval Ley General de Desarrollo Social Artículo 77. El Consejo Nacional de Evaluación, antes de aprobar los indicadores a que se refiere este artículo, los someterá a la consideración de la Secretaría de Hacienda y Crédito Público y a la Cámara de Diputados por conducto de la Auditoría Superior de la Federación, para que emitan las recomendaciones que en su caso estimen pertinentes.

Lineamientos de Evaluación y de la MIR Capacitación en MML Carga de MIR 2007 en PASH Capacitación y Asistencia Técnica Carga de MIR 2008 al PASH (Revisión MIR) Diagnóstico MIR 2008 Capacitación y Asesoría Revisión 31 programas federales en Mesa Técnica de Indicadores Normativa / Implementación 2007 Revisión MIR / Diagnóstico 2008 Mejoramiento indicadores / Revisión 2009 Revisión Indicadores / Consideración 2010 Ejecución Integral 2011 Consolidación de Aprobación 2012 Revisión 34 programas federales en MTRI Envío de información 3 programas federales a ASF y SHCP Diagnóstico MIR 2010 Revisión todos los programas federales en MTRI (S y U) Lineamientos Generales de Aprobación de indicadores Cierre del proceso de aprobación de indicadores PROCESO DE MEJORAMIENTO DE INDICADORES

Mejoramiento de MIR y de indicadores ETAPA I Lineamientos de Evaluación Lineamientos de la matriz de indicadores ETAPA II Capacitación básica en Marco Lógico Carga de MIR 2007 al PASH ETAPA III Capacitación y Asistencia Técnica Carga de MIR 2008 al PASH Revisión de la consistencia MIR ETAPA IV* Diagnóstico de las MIR 2008 Capacitación en construcción indicadores ETAPA V - A Capacitación básica y asesoría Programas mejoran sus MIR y actualizan PASH ETAPA VI - A Aprobación de Indicadores (Revisión de 31 Programas Federales) ETAPA V - B Capacitación y asesoría técnica Mejoramiento de MIR y actualización en PASH ETAPA VI – B Aprobación de Indicadores (34 Sesiones de Comité Técnico de Revisión de Indicadores) Normativa / Implementación 2007 Revisión MIR / Diagnóstico 2008 Mejoramiento indicadores / Aprobación 2009 Aprobación de Indicadores 2010

¿Qué hemos hecho en cada Etapa? 2007: Sentando las bases de implementación Etapa I Emisión de Lineamientos Generales de Evaluación de los Programas Federales de la Administración Pública Federal Se incluyen elementos de los Objetivos Estratégicos Se integran elementos de la matriz de indicadores Se relaciona a la Evaluación de Consistencia y Resultados Lineamientos de MIR Se vincula con el presupuesto: Integración en el Anexo 1 de los Lineamientos Generales para el Proceso de Programación y Presupuestación para el ejercicio fiscal 2008 de la Metodología para la elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF

Primeros avances del proceso de implementación de la MML Se emite normatividad para fijar las bases de diseño de indicadores Se comienza una herramienta que facilita el proceso de planeación La MML se incorpora en un capítulo de la Evaluación de Consistencia y Resultados La SHCP integra elementos de la MIR en el análisis de presupuestación para el ejercicio 2008 NormatividadPlaneaciónEvaluación Presupuestaci ón Implementación de la MML ¿Qué hemos hecho en cada Etapa?

¿Qué hemos hecho en cada Etapa? 2007: Sentando las bases de implementación Etapa II Capacitación de funcionarios públicos en materia de Metodología de Marco Lógico Cursos de Sensibilización de la MML para 595 funcionarios públicos de todos los sectores de la APF (se integran incluso los Ramos como Defensa Nacional, Gobernación, etc.) En Agosto, impartición de Talleres para la Construcción de la primera versión de la MIR de los programas Primera carga de la MIR de 133 programas federales en el PASH Se vincula la MIR con la ECR (Capítulo de Diseño) CONEVAL realiza la primera revisión de las MIR de los programas S y U mediante criterios establecidoscriterios establecidos Derivado de los resultados de la revisión se diseña un Curso de MML con mayor nivel de profundidad en los temas

¿Qué hemos hecho en cada Etapa? En marzo se carga una nueva versión de las MIR de programas federales al PASH Con base a la nueva versión de MIR, se elabora el Diagnóstico de Matrices de Indicadores para Resultados 2008 Envío de recomendaciones para el mejoramiento de las MIR de 133 programas federales en dos períodos (Julio y Noviembre) Las MIR por primera vez son utilizadas en el proceso de presupuestación (para el ejercicio fiscal 2009) En conjunto con la SHCP, se emitieron los Lineamientos para la actualización de la Matriz de Indicadores de los programas presupuestarios para el ejercicio fiscal funcionarios públicos capacitados en MML Incorporación de Asistencia Técnica para mejorar las MIR Diseño de Curso Específico de Indicadores de Desempeño 2008: Mejorando la aplicación de la Metodología Etapa III y IV

¿Qué hemos hecho en cada Etapa? 2009: Diseñando de mejor manera los indicadores de desempeño Etapas V-A Continuación de capacitación a funcionarios públicos 1,428 funcionarios públicos capacitados en Metodología de Marco Lógico para la Construcción de la Matriz de Indicadores para Resultados Capacitación de 365 funcionarios públicos en Diseño de Indicadores de Desempeño Proceso menos masivo debido a restricciones presupuestales Incorporación de nuevos apartados en el Curso para adecuarlo a la evolución de las MIR de los programas Mayor Asistencia Técnica a los programas para el mejoramiento de las MIR Actualización de las 110 MIR de programas federales S y U con versión 2008 Incorporación al análisis de 47 nuevas MIR modalidad S y U y 67 E y B

Aprobación de Esquema de Aprobación de Indicadores por parte de la Comisión Ejecutiva (Sesión de Comisión Ejecutiva Mayo de 2009) Durante el mes de octubre se realizaron las primeras Sesiones de la Mesa Técnica de Revisión de Indicadores de Resultados (31 programas federales) Selección de programas considerando las siguientes variables: Presupuesto 2009 Valoración MIR Valoración indicadores Indicadores PEF Programa estratégico SHCP 2009: Diseñando de mejor manera los indicadores de desempeño Etapa V-B ¿Qué hemos hecho en cada Etapa?

¿Qué hemos hecho en cada Etapa? 2010: Consolidando el proceso de aprobación de indicadores Etapas VI-A Adecuación del esquema de Capacitación: 582 funcionarios públicos capacitados en Metodología de Marco Lógico para la Construcción de la Matriz de Indicadores para Resultados Modificación de esquema de Capacitación ahora por demanda de los programas que así lo requirieron Mayor énfasis al mejoramiento de las MIR e indicadores Capacitación de 191 funcionarios públicos en Diseño de Indicadores de Desempeño Diagnóstico de Matrices de Indicadores para Resultados Diagnóstico de Matrices de Indicadores para Resultados

En abril, se enviaron recomendaciones para el mejoramiento de las MIR versión 2011 de 220 programas federales Continuación del Proceso de Aprobación de Indicadores Realización de la Segunda Ronda de Sesiones de la Mesa Técnica de Revisión de Indicadores de Resultados para 34 programas federales Mismos Criterios de selección que en versión 2009 Envío de la información de 3 programas federales a consideración de la Auditoría Superior de la Federación y la SHCP3 programas federales Selección de 5 programas federales de la Segunda Ronda de Sesiones susceptibles a enviar a la ASF y SHCP ¿Qué hemos hecho en cada Etapa? 2010: Consolidando el proceso de aprobación de indicadores Etapas VI-B

Esquema de Aprobación de Indicadores Pasos I. Validación integral de todos los Indicadores REPORTE de Criterios Mínimos por Programa Revisión de indicadores con FICHA TÉCNICA * Diseño de Ficha Técnica de Revisión General Reporte + VALORACIÓ N indicadores Resultado Revisión de Indicadores de Resultados por MTRI Selección de Experto Temático y Estadístico II. Valoración especifica de Indicadores de Resultado III. Aprobación de los indicadores DICTAMEN sobre Indicadores por programa Se turna Dictamen a Comité Directivo Se turna Dictamen a Comisión Ejecutiva

¿Qué hemos hecho en cada Paso del Esquema? I Validación Integral de Indicadores Se diseñó la Ficha Técnica de Valoración de Indicadores, la cual mide las siguientes características mínimas con que debe contar un indicador:Ficha Técnica de Valoración de Indicadores Claridad Relevancia Monitoreabilidad Adecuación La aplicación de la Ficha Técnica se realizó para cerca de 2,000 indicadores contenidos en las MIR de 220 programas federales Los resultados fueron enviados a los programas federales en conjunto con las recomendaciones de mejora de las MIR

¿Qué hemos hecho en cada Paso del Esquema? II Validación Específica de Indicadores de Resultados El objetivo de esta etapa es revisar la consistencia de los indicadores de resultados tanto del nivel de Fin como de Propósito Implica la conformación de una Mesa Técnica de Revisión de Indicadores (MTRI) integrada por los siguientes representantes: Secretaría de Hacienda y Crédito Público Auditoría Superior de la Federación CONEVAL Unidades de Evaluación de las Coordinadoras de Sector Representantes de los programas Experto Temático Experto Estadístico

Resultados de las Sesiones de la MTRI Principales Comentarios en los Informes Los indicadores miden efectivamente los objetivos del Programa; Los medios de verificación para la estimación del indicador provienen de medios confiables y robustos Las variables planteadas en los objetivos son medidas parcialmente en los indicadores, por lo que es necesario su modificación; Las fórmulas de cálculo deben plantearse con mayor exactitud, de manera que no se existan dudas acerca de su estimación El indicador no mide lo que se encuentra planteado en los objetivos del programa; Los métodos de cálculo del indicador son confusos y no se describen las variables utilizadas

ÍNDICE Antecedentes Matrices de Indicadores para Resultados Proceso de Aprobación de indicadores Retos

Convencimiento a los programas federales de la importancia del mejoramiento de los indicadores para la consolidación del proceso Aceleración en la adopción de mejoras tanto a los objetivos como a los indicadores de los programas / Mayor asistencia técnica La MIR es un instrumento que es dinámico en el tiempo pero debe contar con una consolidación Concientización de que la aprobación de indicadores es un proceso gradual en el que los programas mejoran continuamente y es además, un proceso dinámico en el tiempo Retos

ANEXOS

Variables Calificación MIR

Diagnóstico General de las matrices  Se determinó una calificación en la que se consideran elementos que debe contener la Matriz de Indicadores para Resultados: Cumplimiento Calidad Planeación Nacional (6 puntos) Fin (6 puntos) Propósito (12 puntos) Componentes (10 puntos) Actividades (6 puntos) Lógica Vertical (30 puntos) Lógica Horizontal (30 puntos) Ponderación 40% Ponderación 60% Semaforizaci ón CalificaciónCaracterísticas Mayor a 80 puntosConsistente requiere cambios menores Entre 50 y 80 puntosParcialmente consistente, requiere cambios para fortalecer la coherencia Menor a 50 puntosNo consistente, con deficiencias en la identificación de objetivos e indicadores

 Para el análisis de la calidad de las MIR, en cuanto a “Diseño” e “Indicadores“ se consideraron los siguientes elementos: Diseño Indicadores Fin debe estar vinculado con el objetivo estratégico de la dependencia o entidad Propósito único y cambio específico en la población objetivo Componentes suficientes y necesarios Indicadores de los diferentes niveles de la MIR permiten monitorear el programa Los medios de verificación planteados son suficientes y necesarios para obtener información y verificar estimaciones Diagnóstico General de las matrices

Diagnóstico MIR 2010

Comparativo Diagnósticos 2008 – 2010 (Global) SEMAFORIZACIÓN MIR 2008 (CLASIFICACIÓN S Y U) SEMAFORIZACIÓN MIR 2010 (CLASIFICACIÓN S Y U) SEMAFORIZACIÓN MIR 2010 DISEÑO (CLASIFICACIÓN S Y U) SEMAFORIZACIÓN MIR 2008 DISEÑO (CLASIFICACIÓN S Y U) SEMAFORIZACIÓN INDICADORES 2008 (CLASIFICACIÓN S Y U) SEMAFORIZACIÓN INDICADORES 2010 (CLASIFICACIÓN S Y U) Mejoras en diseño y relación con el objetivo que mide Semaforización roja disminuyó de casi 60% a 41% Mayor vinculación entre los objetivos Más de la mitad de las MIR en semaforización verde Avance en diseño de la MIR y mejores indicadores Semaforización verde aumentó de 25 a 40 programas

Diagnóstico general MIR 2010 Cerca del 40 por ciento de los programas mejoraron la calidad de sus MIR (11 de rojo a amarillo, 30 de amarillo a verde). 47 por ciento de las matrices permanecieron en el mismo nivel que en 2008, sin embargo una gran parte de las MIR se acercaron a su nivel inmediato superior 16 por ciento de los programas disminuyeron en la calidad de su MIR y requieren de una mayor labor para regresar al nivel que tenían anteriormente (aunque únicamente 8 disminuyeron de verde a amarillo)

Diagnóstico general MIR 2010  (DICONSA)  Oportunidades  Rescate de espacios públicos  Programa de la Mujer en el Sector Agrario (PROMUSAG)  Becas para realizar estudios de posgrado  Programa de Apoyo a Contingencias Climatológicas  PRONABES  Programa Escuelas de Calidad  Programa Asesor Técnico Pedagógico  Fondo de Apoyo para la Calidad de los Institutos Tecnológicos  Programa Nacional de Financiamiento al Microempresario

Comentarios Principales Programas enviados a ASF

Resultados de las Sesiones de la MTRI Programa de Desarrollo Humano Oportunidades Principales Comentarios por Participante Experto Temático Experto Estadístico SHCPASF Unidad de Evaluación y Programa Inclusión de indicadores similares al de Fin en al menos otra dimensión, por ejemplo, salud Se recomienda establecer mediciones respecto a promedios nacionales y no solamente respecto a la población beneficiaria Algunos indicadores podrían considerarse como una doble diferencia Algunos indicadores pudieran expresarse en términos relativos y no absolutos Si la inclusión de nuevos indicadores no implican mayor desembolso para el programa se sugiere realizarlo En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición El programa acepta la mayoría de las sugerencias, sin embargo se considerará aumentar en lo mínimo el número de indicadores

Resultados de las Sesiones de la MTRI Programas del Fondo Nacional de Fomento a las Artesanías Principales Comentarios por Participante Experto Temático Experto Estadístico SHCPASF Unidad de Evaluación y Programa Uno de los indicadores de resultados podría medir el impacto del programa comparando los cambios en algunas variables de los beneficiarios respecto a un grupo de control Deben especificarse de mejor manera los medios de verificación de donde se obtienen los datos para el cálculo de los indicadores. Al integrar indicadores es necesario que el Programa considere que las MIR deben ser lo más ejecutivas posible En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición El programa acepta todas las sugerencias pero la integración de indicadores que requieran de una Evaluación de Impacto está en función de la autorización del presupuesto del programa

Resultados de las Sesiones de la MTRI Programa de Uso Sustentable de Recursos Naturales para la Producción Primaria Principales Comentarios por Participante Experto Temático Experto Estadístico SHCPASF Unidad de Evaluación y Programa El programa podría considerar la inclusión de un indicador sobre sustentabilidad de los sistemas productivos para medir los objetivos del programa Los medios de verificación deben ser más explícitos y detallados. Una vez calculados algunos indicadores se recomienda verificar el ajuste de los datos. Sin comentarios adicionales. En un proceso de auditoría se le cuestionará al programa todas y cada una de las afirmaciones planteadas en los objetivos y de ahí su forma de medición El programa acepta todas las sugerencias.

Contexto de Indicadores de Desempeño La APF cuenta con aproximadamente 500 programas presupuestarios de diversas modalidades con Matriz de Indicadores para Resultados (MIR) Las casi 500 MIR cuentan con cerca de 4,500 indicadores de desempeño Los programas con modalidad S y U tienen más de 1,700 indicadores 464 – 26% de resultados (Fin y Propósito) 1,309 – 74% de gestión (Componentes y Actividades) En 2008, la normatividad presupuestaria obligaba a presentar MIR a los programas presupuestarios S y U y en 2010 obligaba también, entre otras, las modalidades B y E El promedio de indicadores por programa de las modalidades S y U es de 12 (en 2008 era de 16) Nivel del Indicador Indicadores en el PASH Indicadores Programas S y U Total% % 4, , Fin Propósito Componentes1, Actividades1, Promedio por Programa 12