Experiencia del D.F. en la Evaluación del Desempeño Gubernamental Sandra Luz Ramírez Marroquín Junio 2012

Contenido Modelo de Evaluación Qué es y Cómo se diseña un Indicador Avances en la Evaluación del Desempeño Gubernamental Replicabilidad de la Estrategia

1. Modelo de Evaluación 3

Modelo Conceptual 1. Estructura Dinámica de Evaluación 2. Marco Metodológico 3. Coordinación Interinstitucional 4. Administración del Conocimiento 4 4

En términos del programa, los tipos de indicadores son: Indicadores de Gestión: Expresiones cuantitativas que permiten determinar el grado de ejecución de las actividades, la asignación y el uso de recursos en las diferentes etapas de los procesos, proyectos y programas Ejemplo: Porcentaje de Alumnos con Becas Entregadas en el periodo Indicadores de Resultados: Expresiones cuantitativas que permiten medir el grado de logro de los objetivos del ente público, sus servicios, programas y proyectos Ejemplo: Eficiencia Terminal de los Alumnos que Recibieron la Beca en el Periodo Indicadores de Impacto: Expresiones cuantitativas que permiten medir los efectos a mediano y largo plazo de un conjunto de acciones en el nivel de desarrollo social, económico o político de una sociedad Ejemplos: Porcentaje de ex alumnos becados que tienen un mejor salario que el grupo de control, Índice de Desarrollo Humano.

Indicadores de Gestión Específicos y de Resultados Perspectiva Finanzas Públicas 1.1) Egresos 1.2) Ingresos (Datos específicos) 1.3) Planeación Presupuestal y Financiera Perspectiva Procesos Internos 2.1) Reingeniería de Procesos 2.2) Programas y Proyectos del Ente Público (Datos específicos) 2.3) Planeación Estratégica 2.4) Adquisiciones 2.5) Obra Pública (Datos Específicos) Perspectiva Capacidad Institucional 3.1) Arquitectura Organizacional 3.2) Capital Humano 3.3) Infraestructura de Tecnologías de la Información y Comunicaciones (TIC) 3.4) Política Informática 3.5) Muebles, inmuebles y recursos materiales Perspectiva Fiscalización y Rendición de Cuentas 4.1) Auditoría 4.2) Transparencia 4.3) Corrupción Perspectiva Ciudadana 5.1) Atención Ciudadana (Datos Específicos) 5.2) Participación e Involucramiento Ciudadano Indicadores de Gestión Específicos y de Resultados 6 6

Interacción con los entes públicos 7 7

SIPROMOEVA www.sipromoeva.df.gob.mx A este sistema se tiene acceso vía Web, los usuarios tienen accesos diferenciados dependiendo del perfil de usuario que se les asigne Tres módulos: Captura de información, Consulta y Mensajería Se podrán generar reportes y gráficos en una segunda fase

Propuesta de indicadores 1. Portafolio de Indicadores de Gestión para toda la APDF 2. Construcción de Indicadores de Resultados para no solo medir gestión, sino logros respecto a objetivos: Análisis Propuesta de indicadores Mesas de trabajo 9 entes públicos con mayor impacto en el bienestar de la población del D.F. y se desarrolló un análisis de alineación estratégica De este análisis se derivaron y propusieron indicadores de resultados para consolidar un solo portafolio por ente Se presentó a los 9 entes públicos y se instalaron mesas de trabajo para mejorar, validar y analizar la factibilidad de los indicadores de resultados Ajustes OSC/Académicos Acuerdos Verificaron la pertinencia y la factibilidad de incluir los cambios propuestos por las OSC y los académicos en una 1a o 2a etapa Se presentaron los Portafolios para revisión y mejora con OSC y con académicos reconocidos en cada tema Se acordaron portafolios consolidados por ente público y se firmaron acuerdos de las mesas

Portafolios de Indicadores de Resultados Concluidos a la Fecha Procuraduría General de Justicia Secretaría de Seguridad Pública Secretaría de Salud Secretaría de Desarrollo Social Secretaría de Educación Fideicomiso de Educación Garantizada Secretaría de Desarrollo Económico Secretaría del Medio Ambiente Instituto de Vivienda Instituto de Ciencia y Tecnología

Portafolios de Indicadores de Resultados en Proceso Acordados, pendiente revisión de académicos y OSC Secretaría del Trabajo y Fomento al Empleo Instituto de la Juventud del D.F. Secretaría de Transporte y Vialidad Secretaría de Cultura Instituto de Educación Media Superior del D.F. En proceso de acordar con el ente público Inmujeres – D.F. Secretaría de Protección Civil Servicios de Salud Pública del D.F. SEDEREC Instituto de Verificación Administrativa Secretaría de Obras y Servicios En proceso de análisis y propuesta DIF-DF Secretaría de Desarrollo Urbano y Vivienda Secretaría de Turismo Total de entes con portafolio de indicadores de resultados: 24

Ejemplo Indicadores de Resultados FIDEGAR 12

Reportes Trimestrales Reportes Mensuales Reportes Trimestrales Reportes Anuales Reporte por Delegación Reporte Mensual Comparativo de Delegaciones Reporte Trimestral por Ente Público Reporte Trimestral Comparativo de Delegaciones Reporte Trimestral Comparativo por Gabinete Reporte Anual por Ente Público Reporte Anual Comparativo por Gabinete Reporte Anual Comparativo de Delegaciones Evaluación Anual de Resultados por Ente Público (21) 13 13

2. ¿Qué es y Cómo se Diseña un Indicador? 14

¿Qué es un Indicador? Un indicador es una expresión cuantitativa del comportamiento y desempeño de una acción o proceso 15

¿Para Qué Sirve un Indicador? Mide el grado de logro de los objetivos de programas, servicios y proyectos Permite evaluar y monitorear el desempeño gubernamental Permite construir aprendizaje institucional para la toma de decisiones Facilita el ejercicio eficiente del gasto, la transparencia, la rendición de cuentas y la participación ciudadana 16

¿Cómo se Construye un Indicador? Seleccionar el ámbito de medición Para definir un indicador se requiere: Definir la dimensión que se quiere medir 17

Dos Clasificaciones de Indicadores Dimensión (De acuerdo a lo que miden) Eficacia Eficiencia Economía Calidad Ámbitos de medición (De acuerdo a la etapa) Insumos (Recursos) Procesos Productos (Bienes y servicios entregados) Resultados (Logros de programas o servicios) 18

Ejemplos de Indicadores por Ámbito De Insumos: Evolución Anual del Concepto 4400 Porcentaje de Servidores Públicos Capacitados De Procesos: Porcentaje de Programas Sociales aprobados por el COPLADE que cuentan con reglas de operación publicadas en Gaceta Oficial De Productos: Tasa de crecimiento de becas entregadas De Resultados: Eficiencia terminal de los niños de educación primaria becados 19

Indicadores por Dimensión> Eficacia Mide: Grado de cumplimiento de los objetivos de un programa Logros entre lo planificado y lo obtenido En que medida la institución esta cumpliendo con sus objetivos Porcentaje de becas entregadas en relación a las programadas en el Programa Justicia Social Becas Escolares Porcentaje de niños que cuentan con su esquema de vacunación completo 20

Indicadores por Dimensión> Eficiencia Mide: La relación entre el logro obtenido con respecto a los insumos o recursos utilizados Productividad, costos medios, costos unitarios, gastos administrativos en relación al gasto total, entre otros Porcentaje de gasto de operación del Programa Adulto Mayor respecto de gasto total 21

Indicadores por Dimensión> Economía Mide: La capacidad del programa o de la Delegación para administrar, generar o movilizar adecuadamente los recursos financieros. Si los recursos se han adquirido al menor costo y en el tiempo oportuno, así como en cantidad y calidad deseada Ingresos propios generados (autofinanciamiento) Presupuesto ejercido Tiempo promedio en que estuvieron averiadas las PC 22

Indicadores por Dimensión> Calidad Mide: Los atributos, capacidades o características que deben tener los bienes y servicios para satisfacer los objetivos Grado de satisfacción de los beneficiarios del Programa Jefas de Familia Tiempo de respuesta a requerimientos de los beneficiarios del Programa de Personas con Discapacidad 23

Tabla de Equivalencias entre Clasificaciones de Indicadores Ámbito Dimensión* MML PROMOEVA Insumo Eficiencia Economía Calidad Actividades Gestión Proceso Producto Componentes Resultado (intermedio) Eficacia (Efectividad) Propósito Resultados Resultado (final) (Impacto) Fin Impacto (*) El Gobierno Federal visualiza la eficacia también en las actividades, procesos y productos (bienes y servicios) . Lo anterior se basa en usar como sinónimo la eficacia con la efectividad. Eficacia: Una medida de cómo los recursos destinados al proyecto se convierten en productos y resultados esperados, con la calidad esperada. Efectividad: Es la medida en que la intervención promueve o genera cambios deseables de actitud, conducta o desempeño en la población objetivo. Si distinguimos las anteriores como diferentes, relacionamos la efectividad únicamente a los resultados y al impacto . 24

Pasos para Construir Indicadores 1. Seleccionar el Programa, Servicio, Trámite, Acción o Proyecto cuyo avance se desea medir 2. Identificar los factores relevantes que se pueden medir (variables) 3. Proponer indicadores para cada factor relevante 4. Validar la factibilidad los Indicadores propuestos (costos, fuentes, estado de la información) 5. Proponer fórmulas para cada Indicador 6. Establecer la periodicidad del indicador 7. Establecer su línea base (si existe) y metas 25

Elementos del Portafolio de Indicadores Perspectiva Procesos Internos Vertiente Reingeniería de Procesos Tipo de información Cuantitativa: Indicadores de Gestión Generales Clave Nombre Fórmula Valor Unidad de Medida Objetivo Tipo de Indicador Periodicidad Fuente Parámetros, Estadísticas o Indicadores Relacionados Línea Base Metas 2010 2011 2012 ICYTDF.R.07 Variación porcentual anual en el número de empresas de alta tecnología constituidas con el apoyo del ICyTDF (Número de empresas constituidas con el apoyo del ICyTDF en el año t / Número de empresas constituidas con el apoyo del ICYTDF en el año t-1)-1)* 100   Tasa Conocer el avance anual en el número de empresas de alta tecnología constituidas con el apoyo del ICyTDF Mejorar el nivel de competitividad del Distrito Federal Anual Dirección de Vinculación Empresarial y Patrimonio Intelectual

Metodología del PROMOEVA para Generar Indicadores de Resultados> Alineación Estratégica

3. Avances en la Evaluación del Desempeño Gubernamental 28

Cobertura del PROMOEVA La Administración Pública del Distrito Federal cuenta con 90 entes públicos De éstos, el PROMOEVA tenía una cobertura del 92% con 83 enlaces designados por los titulares El enlace es la persona responsable ante la Contraloría General de reportar la información solicitada en el sistema y de cumplir con las acciones derivadas del PROMOEVA El enlace debe ser al menos un subdirector en la estructura orgánica y pertenecer a las áreas de planeación, evaluación, administración o de la que principalmente opera los programas y servicios sustantivos del ente público

Información Confiable El enlace tiene un perfil requerido y se le capacita El Contralor Interno de cada ente público participa como revisor de la información antes de que se envíe a la Coordinación General de Modernización Administrativa (CGMA) por el SIPROMOEVA Se capacita a los contralores internos Se capacita a operadores de programas Se tiene mapeado los procesos para generar los indicadores La CGMA hace una revisión numérica y lógica de la información antes de validarla La información reportada en SIPROMOEVA es sujeta de Auditorías del Desempeño y es vinculatoria Las mesas de trabajo para indicadores de resultados permiten construir indicadores factibles, apegados a la realidad del objeto que miden

Reportes Mensuales , Trimestrales y Anuales 2010 Publicados Portal Ciudadano http://www. df.gob.mx/ Portal de la Contraloría General http://www.contraloria.df.gob.mx/wb/cg/evaluacion_del_desempeno_gubernamental Portal de la Coordinación General de Modernización Administrativa http://www.cgma.df.gob.mx/wb/cgma/catalogo_de_productos_de_monitoreo_y_evaluacion Portal del SIPROMOEVA http://www.sipromoeva.df.gob.mx/ Ventanilla Única de Transparencia del DF http://www.transparencia.df.gob.mx 31 31

Reportes Trimestrales por Ente 32 32

Reportes Trimestrales Comparativo Delegaciones 33 33

Reportes Trimestrales Comparativo de Gabinete 34 34

Reportes Anuales > Resumen Gráfico Ejecutivo 35 35

Reporte Anual Ejemplo de Recomendaciones R-10-1: El ente público debe desarrollar un diagnóstico y un programa de mejora continua para la simplificación o sistematización de áreas o actividades sustantivas y administrativas que mejoren la gestión y hagan más eficientes sus tareas. R-10-2: Se debe de tener presente la importancia que representa el Capital humano para responder a las necesidades del Ente, se recomienda que se profesionalicen los mecanismos de selección del personal. De igual forma, es importante mantener una adecuada administración de los recursos humanos, brindando capacitaciones del personal y, cuando se requiera, facilitar capacitaciones especializadas. R-10-3: El equipo de cómputo del Ente está en proceso de obsolescencia, se recomienda generar los mecanismos necesarios para renovar el equipo obsoleto o, en su defecto, mejorar los mecanismos de mantenimiento al equipo, a las redes y a los servidores. Así mismo, es deseable verificar la capacidad que puede alcanzar la conectividad y valorar si la inversión en software es la adecuada.

Reporte Anual Recomendaciones R-10-4: Se recomienda ampliar la comunicación organizacional, incluso con el apoyo de las TIC, de la vertical a la ascendente y horizontal para coordinar las actividades de los distintos servidores públicos y entre áreas, recibir retroalimentación, resolver problemas detectables a tiempo, colaborar, intercambiar experiencias e información dentro de la misma cadena de valor, diseñar soluciones, desarrollar procesos y evaluar los resultados. Lo anterior, para el mejor logro de los objetivos. R-10-5: Es necesario que los canales de participación ciudadana se amplíen y se consideren no solo en la elaboración del programa delegacional de desarrollo urbano, sino en todo los demás temas públicos en los que recoger las necesidades y la retroalimentación del ciudadano contribuyen a la mejora continua, la calidad y la mejor toma de decisiones. R-10-6: Se recomienda, que en materia de clasificación de archivos, se verifique que se lleven a cabo las normas y acciones institucionales que determinó el Comité Técnico Interno de Administración de Documentos (COTECIAD) del Ente Público, para su organización, clasificación y modernización.

Evaluación Anual Ejemplo Recomendaciones 1 Atender la ausencia de líneas estratégicas identificada en la alineación, puesto que esto representa un vacío en la planeación que puede generar obstáculos no identificados en la operación de los programas. 2 Se recomienda el uso de instrumentos adicionales de evaluación y diagnóstico que permitan detectar las causas de la deserción escolar y eliminar rezagos presentes en los estudiantes del Distrito Federal, para poder generar programas, servicios y/o acciones específicas adecuadas a las necesidades que presentan. 3 Medir la proporción de beneficiarios que terminaron los estudios de tipo básico o medio superior no proporciona tanta información como la medición de cuantos de los estudiantes que accedieron a cada nivel educativo y recibieron apoyo de los programas concluyeron sus estudios.

Capacitación y Asesoría Servidores públicos capacitados Se da asesoría a los enlaces vía correo electrónico, mensajería del sistema y telefónica Se han realizado capacitaciones en MML, indicadores y evaluación Fecha Capacitación Servidores públicos capacitados 16-18 Jun 2010 1ra Capacitación en Metodología de Marco Lógico por CEPAL-Chile con apoyo de CONEVAL 40 Enlaces y Responsables de Programas 21,22,25,26,27 y 28 octubre 2010 Presentación del PROMOEVA, Capacitación en Evaluación y Uso del SIPROMOEVA 70 Enlaces y 65 Contralores Internos. 25 Jul 2011 1ª Capacitación para la Mejor Implementación del PROMOEVA 91 Enlaces y Capturistas 22 y 23 Ago 2011 2da Capacitación en Metodología de Marco Lógico por CEPAL-Chile con apoyo de CONEVAL 36 Enlaces y Responsables de Programas 24 feb 2012 2ª Capacitación para la Mejor Implementación del PROMOEVA. 106 Enlaces y capturistas 39 39

Coordinación y Colaboración 40 40

Convocatoria a las OSC y Academia Colaboración en el diseño de indicadores de gestión y resultados La emisión de recomendaciones de política pública Aportaciones a la redacción ciudadana y revisión de la BoletaDF La redacción de la versión para el ciudadano de la Evaluación Anual La generación de estudios relacionados con la temática de los indicadores Difusión de la información de PROMOEVA y uso en investigación o análisis El envío de otras propuestas que promuevan la cultura de evaluación

Coordinación Interinstitucional Para la emisión de la Convocatoria con OSC, se generó una propuesta de Convenio de Colaboración con el InfoDF, a fin de apoyar la transparencia y garantizar la publicación de indicadores de gestión y resultados. Se plantea firmar un instrumento de colaboración entre la Contraloría General y la Contaduría Mayor de Hacienda para compartir información relativa a los indicadores de gestión a fin de darles uso dentro del Programa Anual de Auditorías de la Dirección General de Auditoría Programática-Presupuestal. Los productos de las auditorías realizadas por dicha Dirección serían compartidos con la Contraloría General, para utilizarlas como insumos para futuras evaluaciones y auditorías internas.

Institucionalización Con base en las lecciones aprendidas durante 2011, se desarrollará el Manual de Procedimientos para el Monitoreo y Evaluación del Desempeño Gubernamental Se incluyó la estrategia del PROMOEVA como mecanismo de monitoreo y evaluación en la propuesta de Reglamento de la Ley de Planeación del Distrito Federal Se asesoraron, revisaron y enviaron 13 matrices de Marco Lógico a CONEVAL a las que se les dará seguimiento Se recibieron, revisaron y formalizaron los procedimientos para generar indicadores de gestión mensuales, trimestrales y anuales de la APDF Se tiene coordinación con la Secretaría de Finanzas para evitar duplicidades y generar sinergias entre Evaluación y Presupuesto basado en Resultados

Portal BoletaDF

Portal BoletaDF

Portal BoletaDF

Estrategia Integral de Difusión

4. Replicabilidad de la Estrategia 48

Por qué es replicable el PROMOEVA El tema de evaluación es un elemento del ciclo de políticas públicas La Gestión para Resultados adquiere vital importancia dadas las altas expectativas y demandas de los ciudadanos y el entorno de restricciones presupuestarias El acceso a recursos federales, locales, internacionales y no gubernamentales requiere la fundamentación de que las acciones de gobierno son efectivas y tienen resultados que se traducen en beneficios para la población Un gobierno que se evalúa tiene mayores oportunidades de tomar mejores decisiones, garantizar y acelerar el cumplimiento de sus objetivos, ser transparente, aprender de sí mismo, esto es, ser un mejor gobierno

Por qué es replicable el PROMOEVA La necesidad de conocer cómo se va respecto de lo planeado es común a todos los gobiernos, los intentos aislados para evaluar son comunes, es posible que cuando se debe diseñar una política o programa, tomar una decisión o rendir cuentas, se buscan los indicadores y la información de los avances El PROMOEVA es una política pública para aportar elementos de evaluación en un modelo de Gestión para Resultados: Simplifica los diferentes marcos teóricos Homologa y hace compatibles diferentes metodologías Propone un modelo de gobernabilidad con los actores estratégicos implicados para contar con información confiable y generar sinergias Considera no sólo los aspectos técnicos de la evaluación, sino también los culturales, humanos y organizacionales Define productos de evaluación y los relaciona a la transparencia Acota el alcance de los objetos y tipos de evaluación Considera diferentes públicos con diferentes necesidades de información Organiza y sistematiza información homologada para medir en el tiempo un mismo objeto y comparar entre dimensiones

Pasos para la Implementación de un Sistema de Evaluación Interna Diagnosticar los elementos requeridos para una cultura de evaluación: Si se tiene definida la Planeación Estratégica con objetivos y metas Si se tienen identificados los asuntos sustantivos de los administrativos y si se alinean a la planeación Si se tiene conocimiento y capacidades humanas para realizar indicadores y evaluar Si se ubica y conoce el estado y calidad de la información (dueño-productor, papel o electrónica explotable, con un proceso fiable) Estadísticas e indicadores existentes en informes, sistemas, bases de datos Si se tienen capacidades tecnológicas para recopilar e integrar bases de datos Si las acciones detectadas de evaluación son coyunturales o institucionalizadas y periódicas-permanente

Pasos para la Implementación de un Sistema de Evaluación Interna Con base en el diagnóstico, diseñar el plan o programa de evaluación, definiendo claramente: Qué se entiende por evaluación y el objetivo de hacerla, ¿Para qué? Modelo Conceptual: estrategias, elementos necesarios y actores Alcance: qué se quiere medir, cuándo, en qué aspectos Tipos de evaluaciones, tipos de indicadores, metodologías en gral Temas con tipos de indicadores y preguntas para información cualitativa Procedimiento básico para realizar la evaluación: quién, con qué, a través de qué participa Diseñar indicadores por tipo y a quién aplica (grales y específicos) en colaboración con las áreas dueñas del tema

Pasos para la Implementación de un Sistema de Evaluación Interna Si se toman indicadores existentes, revisar variables y comparabilidad con otros sujetos de evaluación Valorar la utilidad de la información de los indicadores generada al interior de las áreas y con sus titulares Identificar a los dueños de la información y el estado de ésta para integrarla o sumarla (Ej: Jefatura de entrega de becas + Subdirector de administración de tarjetas -excel-desde 2003) Si es necesario, definir las acciones para obtener la información que por ese momento no existe (digitalizar, integrar, generar mediante un proceso, etc)

Pasos para la Implementación de un Sistema de Evaluación Interna Confirmar la periodicidad establecida para el reporte de indicadores. Para cada indicador, si es el caso, programar meta Revisar y validar al interior de cada área los indicadores generados, asegurando el mismo entendimiento (vale hacer notas por indicador) Recopilar los datos del total de indicadores en la periodicidad establecida (si es nuevo, el primer dato reportado será la línea base) Generar la primera carga de información de indicadores a través de un formato sencillo de utilizar para las áreas

Pasos para la Implementación de un Sistema de Evaluación Interna Integrar la información, analizarla y generar un reporte en un formato amigable Entregar los reportes a los interesados y tomadores de decisiones Retroalimentar y realizar modificaciones correspondientes a los indicadores Iniciar el reporte periódico de los indicadores acordados Establecer un mecanismo de comunicación de la información al interior y exterior

Ayudas en Internet http://www.infodf.org.mx/capacitacion/publicacionesDCCT/manual6indicadores/manualindicadores.pdf http://www.eclac.cl/ilpes/noticias/noticias/3/40213/Presentacion_MIR_res_SecturB_07_2010.pdf http://www.shcp.gob.mx/EGRESOS/PEF/sed/anexo_oficio_criterios.pdf http://www.eclac.org/cgi-bin/getProd.asp?xml=/publicaciones/xml/8/44008/P44008.xml&xsl=/ilpes/tpl/p9f.xsl&base=/ilpes/tpl/top-bottom.xslt http://www.eclac.org/cgi-bin/getProd.asp?xml=/publicaciones/xml/0/43220/P43220.xml&xsl=/ilpes/tpl/p9f.xsl&base=/ilpes/tpl/top-bottom.xslt

¡Gracias! sramirez@df.gob.mx

Experiencia del D.F. en la Evaluación del Desempeño Gubernamental Sandra Luz Ramírez Marroquín Junio 2012