Experiencia del D.F. en la Evaluación del Desempeño Gubernamental

Presentación del tema: "Experiencia del D.F. en la Evaluación del Desempeño Gubernamental"— Transcripción de la presentación:

1 Experiencia del D.F. en la Evaluación del Desempeño Gubernamental
Sandra Luz Ramírez Marroquín Junio 2012

2 Contenido Modelo de Evaluación Qué es y Cómo se diseña un Indicador
Avances en la Evaluación del Desempeño Gubernamental Replicabilidad de la Estrategia

3 1. Modelo de Evaluación 3

4 Modelo Conceptual 1. Estructura Dinámica de Evaluación
2. Marco Metodológico 3. Coordinación Interinstitucional 4. Administración del Conocimiento 4 4

5 En términos del programa, los tipos de indicadores son:
Indicadores de Gestión: Expresiones cuantitativas que permiten determinar el grado de ejecución de las actividades, la asignación y el uso de recursos en las diferentes etapas de los procesos, proyectos y programas Ejemplo: Porcentaje de Alumnos con Becas Entregadas en el periodo Indicadores de Resultados: Expresiones cuantitativas que permiten medir el grado de logro de los objetivos del ente público, sus servicios, programas y proyectos Ejemplo: Eficiencia Terminal de los Alumnos que Recibieron la Beca en el Periodo Indicadores de Impacto: Expresiones cuantitativas que permiten medir los efectos a mediano y largo plazo de un conjunto de acciones en el nivel de desarrollo social, económico o político de una sociedad Ejemplos: Porcentaje de ex alumnos becados que tienen un mejor salario que el grupo de control, Índice de Desarrollo Humano.

6 Indicadores de Gestión Específicos y de Resultados
Perspectiva Finanzas Públicas 1.1) Egresos 1.2) Ingresos (Datos específicos) 1.3) Planeación Presupuestal y Financiera Perspectiva Procesos Internos 2.1) Reingeniería de Procesos 2.2) Programas y Proyectos del Ente Público (Datos específicos) 2.3) Planeación Estratégica 2.4) Adquisiciones 2.5) Obra Pública (Datos Específicos) Perspectiva Capacidad Institucional 3.1) Arquitectura Organizacional 3.2) Capital Humano 3.3) Infraestructura de Tecnologías de la Información y Comunicaciones (TIC) 3.4) Política Informática 3.5) Muebles, inmuebles y recursos materiales Perspectiva Fiscalización y Rendición de Cuentas 4.1) Auditoría 4.2) Transparencia 4.3) Corrupción Perspectiva Ciudadana 5.1) Atención Ciudadana (Datos Específicos) 5.2) Participación e Involucramiento Ciudadano Indicadores de Gestión Específicos y de Resultados 6 6

7 Interacción con los entes públicos
7 7

8 SIPROMOEVA www.sipromoeva.df.gob.mx
A este sistema se tiene acceso vía Web, los usuarios tienen accesos diferenciados dependiendo del perfil de usuario que se les asigne Tres módulos: Captura de información, Consulta y Mensajería Se podrán generar reportes y gráficos en una segunda fase

9 Propuesta de indicadores
1. Portafolio de Indicadores de Gestión para toda la APDF 2. Construcción de Indicadores de Resultados para no solo medir gestión, sino logros respecto a objetivos: Análisis Propuesta de indicadores Mesas de trabajo 9 entes públicos con mayor impacto en el bienestar de la población del D.F. y se desarrolló un análisis de alineación estratégica De este análisis se derivaron y propusieron indicadores de resultados para consolidar un solo portafolio por ente Se presentó a los 9 entes públicos y se instalaron mesas de trabajo para mejorar, validar y analizar la factibilidad de los indicadores de resultados Ajustes OSC/Académicos Acuerdos Verificaron la pertinencia y la factibilidad de incluir los cambios propuestos por las OSC y los académicos en una 1a o 2a etapa Se presentaron los Portafolios para revisión y mejora con OSC y con académicos reconocidos en cada tema Se acordaron portafolios consolidados por ente público y se firmaron acuerdos de las mesas

10 Portafolios de Indicadores de Resultados Concluidos a la Fecha
Procuraduría General de Justicia Secretaría de Seguridad Pública Secretaría de Salud Secretaría de Desarrollo Social Secretaría de Educación Fideicomiso de Educación Garantizada Secretaría de Desarrollo Económico Secretaría del Medio Ambiente Instituto de Vivienda Instituto de Ciencia y Tecnología

11 Portafolios de Indicadores de Resultados en Proceso
Acordados, pendiente revisión de académicos y OSC Secretaría del Trabajo y Fomento al Empleo Instituto de la Juventud del D.F. Secretaría de Transporte y Vialidad Secretaría de Cultura Instituto de Educación Media Superior del D.F. En proceso de acordar con el ente público Inmujeres – D.F. Secretaría de Protección Civil Servicios de Salud Pública del D.F. SEDEREC Instituto de Verificación Administrativa Secretaría de Obras y Servicios En proceso de análisis y propuesta DIF-DF Secretaría de Desarrollo Urbano y Vivienda Secretaría de Turismo Total de entes con portafolio de indicadores de resultados: 24

12 Ejemplo Indicadores de Resultados FIDEGAR
12

13 Reportes Trimestrales
Reportes Mensuales Reportes Trimestrales Reportes Anuales Reporte por Delegación Reporte Mensual Comparativo de Delegaciones Reporte Trimestral por Ente Público Reporte Trimestral Comparativo de Delegaciones Reporte Trimestral Comparativo por Gabinete Reporte Anual por Ente Público Reporte Anual Comparativo por Gabinete Reporte Anual Comparativo de Delegaciones Evaluación Anual de Resultados por Ente Público (21) 13 13

14 2. ¿Qué es y Cómo se Diseña un Indicador?
14

15 ¿Qué es un Indicador? Un indicador es una expresión cuantitativa del comportamiento y desempeño de una acción o proceso 15

16 ¿Para Qué Sirve un Indicador?
Mide el grado de logro de los objetivos de programas, servicios y proyectos Permite evaluar y monitorear el desempeño gubernamental Permite construir aprendizaje institucional para la toma de decisiones Facilita el ejercicio eficiente del gasto, la transparencia, la rendición de cuentas y la participación ciudadana 16

17 ¿Cómo se Construye un Indicador?
Seleccionar el ámbito de medición Para definir un indicador se requiere: Definir la dimensión que se quiere medir 17

18 Dos Clasificaciones de Indicadores
Dimensión (De acuerdo a lo que miden) Eficacia Eficiencia Economía Calidad Ámbitos de medición (De acuerdo a la etapa) Insumos (Recursos) Procesos Productos (Bienes y servicios entregados) Resultados (Logros de programas o servicios) 18

19 Ejemplos de Indicadores por Ámbito
De Insumos: Evolución Anual del Concepto 4400 Porcentaje de Servidores Públicos Capacitados De Procesos: Porcentaje de Programas Sociales aprobados por el COPLADE que cuentan con reglas de operación publicadas en Gaceta Oficial De Productos: Tasa de crecimiento de becas entregadas De Resultados: Eficiencia terminal de los niños de educación primaria becados 19

20 Indicadores por Dimensión> Eficacia
Mide: Grado de cumplimiento de los objetivos de un programa Logros entre lo planificado y lo obtenido En que medida la institución esta cumpliendo con sus objetivos Porcentaje de becas entregadas en relación a las programadas en el Programa Justicia Social Becas Escolares Porcentaje de niños que cuentan con su esquema de vacunación completo 20

21 Indicadores por Dimensión> Eficiencia
Mide: La relación entre el logro obtenido con respecto a los insumos o recursos utilizados Productividad, costos medios, costos unitarios, gastos administrativos en relación al gasto total, entre otros Porcentaje de gasto de operación del Programa Adulto Mayor respecto de gasto total 21

22 Indicadores por Dimensión> Economía
Mide: La capacidad del programa o de la Delegación para administrar, generar o movilizar adecuadamente los recursos financieros. Si los recursos se han adquirido al menor costo y en el tiempo oportuno, así como en cantidad y calidad deseada Ingresos propios generados (autofinanciamiento) Presupuesto ejercido Tiempo promedio en que estuvieron averiadas las PC 22

23 Indicadores por Dimensión> Calidad
Mide: Los atributos, capacidades o características que deben tener los bienes y servicios para satisfacer los objetivos Grado de satisfacción de los beneficiarios del Programa Jefas de Familia Tiempo de respuesta a requerimientos de los beneficiarios del Programa de Personas con Discapacidad 23

24 Tabla de Equivalencias entre Clasificaciones de Indicadores
Ámbito Dimensión* MML PROMOEVA Insumo Eficiencia Economía Calidad Actividades Gestión Proceso Producto Componentes Resultado (intermedio) Eficacia (Efectividad) Propósito Resultados Resultado (final) (Impacto) Fin Impacto (*) El Gobierno Federal visualiza la eficacia también en las actividades, procesos y productos (bienes y servicios) . Lo anterior se basa en usar como sinónimo la eficacia con la efectividad. Eficacia: Una medida de cómo los recursos destinados al proyecto se convierten en productos y resultados esperados, con la calidad esperada. Efectividad: Es la medida en que la intervención promueve o genera cambios deseables de actitud, conducta o desempeño en la población objetivo. Si distinguimos las anteriores como diferentes, relacionamos la efectividad únicamente a los resultados y al impacto . 24

25 Pasos para Construir Indicadores
1. Seleccionar el Programa, Servicio, Trámite, Acción o Proyecto cuyo avance se desea medir 2. Identificar los factores relevantes que se pueden medir (variables) 3. Proponer indicadores para cada factor relevante 4. Validar la factibilidad los Indicadores propuestos (costos, fuentes, estado de la información) 5. Proponer fórmulas para cada Indicador 6. Establecer la periodicidad del indicador 7. Establecer su línea base (si existe) y metas 25

26 Elementos del Portafolio de Indicadores
Perspectiva Procesos Internos Vertiente Reingeniería de Procesos Tipo de información Cuantitativa: Indicadores de Gestión Generales Clave Nombre Fórmula Valor Unidad de Medida Objetivo Tipo de Indicador Periodicidad Fuente Parámetros, Estadísticas o Indicadores Relacionados Línea Base Metas 2010 2011 2012 ICYTDF.R.07 Variación porcentual anual en el número de empresas de alta tecnología constituidas con el apoyo del ICyTDF (Número de empresas constituidas con el apoyo del ICyTDF en el año t / Número de empresas constituidas con el apoyo del ICYTDF en el año t-1)-1)* 100 Tasa Conocer el avance anual en el número de empresas de alta tecnología constituidas con el apoyo del ICyTDF Mejorar el nivel de competitividad del Distrito Federal Anual Dirección de Vinculación Empresarial y Patrimonio Intelectual

27 Metodología del PROMOEVA para Generar Indicadores de Resultados> Alineación Estratégica

28 3. Avances en la Evaluación del Desempeño Gubernamental
28

29 Cobertura del PROMOEVA
La Administración Pública del Distrito Federal cuenta con 90 entes públicos De éstos, el PROMOEVA tenía una cobertura del 92% con 83 enlaces designados por los titulares El enlace es la persona responsable ante la Contraloría General de reportar la información solicitada en el sistema y de cumplir con las acciones derivadas del PROMOEVA El enlace debe ser al menos un subdirector en la estructura orgánica y pertenecer a las áreas de planeación, evaluación, administración o de la que principalmente opera los programas y servicios sustantivos del ente público

30 Información Confiable
El enlace tiene un perfil requerido y se le capacita El Contralor Interno de cada ente público participa como revisor de la información antes de que se envíe a la Coordinación General de Modernización Administrativa (CGMA) por el SIPROMOEVA Se capacita a los contralores internos Se capacita a operadores de programas Se tiene mapeado los procesos para generar los indicadores La CGMA hace una revisión numérica y lógica de la información antes de validarla La información reportada en SIPROMOEVA es sujeta de Auditorías del Desempeño y es vinculatoria Las mesas de trabajo para indicadores de resultados permiten construir indicadores factibles, apegados a la realidad del objeto que miden

31 Reportes Mensuales , Trimestrales y Anuales 2010 Publicados
Portal Ciudadano df.gob.mx/ Portal de la Contraloría General Portal de la Coordinación General de Modernización Administrativa Portal del SIPROMOEVA Ventanilla Única de Transparencia del DF 31 31

32 Reportes Trimestrales por Ente
32 32

33 Reportes Trimestrales Comparativo Delegaciones
33 33

34 Reportes Trimestrales Comparativo de Gabinete
34 34

35 Reportes Anuales > Resumen Gráfico Ejecutivo
35 35

36 Reporte Anual Ejemplo de Recomendaciones
R-10-1: El ente público debe desarrollar un diagnóstico y un programa de mejora continua para la simplificación o sistematización de áreas o actividades sustantivas y administrativas que mejoren la gestión y hagan más eficientes sus tareas. R-10-2: Se debe de tener presente la importancia que representa el Capital humano para responder a las necesidades del Ente, se recomienda que se profesionalicen los mecanismos de selección del personal. De igual forma, es importante mantener una adecuada administración de los recursos humanos, brindando capacitaciones del personal y, cuando se requiera, facilitar capacitaciones especializadas. R-10-3: El equipo de cómputo del Ente está en proceso de obsolescencia, se recomienda generar los mecanismos necesarios para renovar el equipo obsoleto o, en su defecto, mejorar los mecanismos de mantenimiento al equipo, a las redes y a los servidores. Así mismo, es deseable verificar la capacidad que puede alcanzar la conectividad y valorar si la inversión en software es la adecuada.

37 Reporte Anual Recomendaciones
R-10-4: Se recomienda ampliar la comunicación organizacional, incluso con el apoyo de las TIC, de la vertical a la ascendente y horizontal para coordinar las actividades de los distintos servidores públicos y entre áreas, recibir retroalimentación, resolver problemas detectables a tiempo, colaborar, intercambiar experiencias e información dentro de la misma cadena de valor, diseñar soluciones, desarrollar procesos y evaluar los resultados. Lo anterior, para el mejor logro de los objetivos. R-10-5: Es necesario que los canales de participación ciudadana se amplíen y se consideren no solo en la elaboración del programa delegacional de desarrollo urbano, sino en todo los demás temas públicos en los que recoger las necesidades y la retroalimentación del ciudadano contribuyen a la mejora continua, la calidad y la mejor toma de decisiones. R-10-6: Se recomienda, que en materia de clasificación de archivos, se verifique que se lleven a cabo las normas y acciones institucionales que determinó el Comité Técnico Interno de Administración de Documentos (COTECIAD) del Ente Público, para su organización, clasificación y modernización.

38 Evaluación Anual Ejemplo Recomendaciones
1 Atender la ausencia de líneas estratégicas identificada en la alineación, puesto que esto representa un vacío en la planeación que puede generar obstáculos no identificados en la operación de los programas. 2 Se recomienda el uso de instrumentos adicionales de evaluación y diagnóstico que permitan detectar las causas de la deserción escolar y eliminar rezagos presentes en los estudiantes del Distrito Federal, para poder generar programas, servicios y/o acciones específicas adecuadas a las necesidades que presentan. 3 Medir la proporción de beneficiarios que terminaron los estudios de tipo básico o medio superior no proporciona tanta información como la medición de cuantos de los estudiantes que accedieron a cada nivel educativo y recibieron apoyo de los programas concluyeron sus estudios.

39 Capacitación y Asesoría Servidores públicos capacitados
Se da asesoría a los enlaces vía correo electrónico, mensajería del sistema y telefónica Se han realizado capacitaciones en MML, indicadores y evaluación Fecha Capacitación Servidores públicos capacitados 16-18 Jun 2010 1ra Capacitación en Metodología de Marco Lógico por CEPAL-Chile con apoyo de CONEVAL 40 Enlaces y Responsables de Programas 21,22,25,26,27 y 28 octubre 2010 Presentación del PROMOEVA, Capacitación en Evaluación y Uso del SIPROMOEVA 70 Enlaces y 65 Contralores Internos. 25 Jul 2011 1ª Capacitación para la Mejor Implementación del PROMOEVA 91 Enlaces y Capturistas 22 y 23 Ago 2011 2da Capacitación en Metodología de Marco Lógico por CEPAL-Chile con apoyo de CONEVAL 36 Enlaces y Responsables de Programas 24 feb 2012 2ª Capacitación para la Mejor Implementación del PROMOEVA. 106 Enlaces y capturistas 39 39

40 Coordinación y Colaboración
40 40

41 Convocatoria a las OSC y Academia
Colaboración en el diseño de indicadores de gestión y resultados La emisión de recomendaciones de política pública Aportaciones a la redacción ciudadana y revisión de la BoletaDF La redacción de la versión para el ciudadano de la Evaluación Anual La generación de estudios relacionados con la temática de los indicadores Difusión de la información de PROMOEVA y uso en investigación o análisis El envío de otras propuestas que promuevan la cultura de evaluación

42 Coordinación Interinstitucional
Para la emisión de la Convocatoria con OSC, se generó una propuesta de Convenio de Colaboración con el InfoDF, a fin de apoyar la transparencia y garantizar la publicación de indicadores de gestión y resultados. Se plantea firmar un instrumento de colaboración entre la Contraloría General y la Contaduría Mayor de Hacienda para compartir información relativa a los indicadores de gestión a fin de darles uso dentro del Programa Anual de Auditorías de la Dirección General de Auditoría Programática-Presupuestal. Los productos de las auditorías realizadas por dicha Dirección serían compartidos con la Contraloría General, para utilizarlas como insumos para futuras evaluaciones y auditorías internas.

43 Institucionalización
Con base en las lecciones aprendidas durante 2011, se desarrollará el Manual de Procedimientos para el Monitoreo y Evaluación del Desempeño Gubernamental Se incluyó la estrategia del PROMOEVA como mecanismo de monitoreo y evaluación en la propuesta de Reglamento de la Ley de Planeación del Distrito Federal Se asesoraron, revisaron y enviaron 13 matrices de Marco Lógico a CONEVAL a las que se les dará seguimiento Se recibieron, revisaron y formalizaron los procedimientos para generar indicadores de gestión mensuales, trimestrales y anuales de la APDF Se tiene coordinación con la Secretaría de Finanzas para evitar duplicidades y generar sinergias entre Evaluación y Presupuesto basado en Resultados

44 Portal BoletaDF

45 Portal BoletaDF

46 Portal BoletaDF

47 Estrategia Integral de Difusión

48 4. Replicabilidad de la Estrategia
48

49 Por qué es replicable el PROMOEVA
El tema de evaluación es un elemento del ciclo de políticas públicas La Gestión para Resultados adquiere vital importancia dadas las altas expectativas y demandas de los ciudadanos y el entorno de restricciones presupuestarias El acceso a recursos federales, locales, internacionales y no gubernamentales requiere la fundamentación de que las acciones de gobierno son efectivas y tienen resultados que se traducen en beneficios para la población Un gobierno que se evalúa tiene mayores oportunidades de tomar mejores decisiones, garantizar y acelerar el cumplimiento de sus objetivos, ser transparente, aprender de sí mismo, esto es, ser un mejor gobierno

50 Por qué es replicable el PROMOEVA
La necesidad de conocer cómo se va respecto de lo planeado es común a todos los gobiernos, los intentos aislados para evaluar son comunes, es posible que cuando se debe diseñar una política o programa, tomar una decisión o rendir cuentas, se buscan los indicadores y la información de los avances El PROMOEVA es una política pública para aportar elementos de evaluación en un modelo de Gestión para Resultados: Simplifica los diferentes marcos teóricos Homologa y hace compatibles diferentes metodologías Propone un modelo de gobernabilidad con los actores estratégicos implicados para contar con información confiable y generar sinergias Considera no sólo los aspectos técnicos de la evaluación, sino también los culturales, humanos y organizacionales Define productos de evaluación y los relaciona a la transparencia Acota el alcance de los objetos y tipos de evaluación Considera diferentes públicos con diferentes necesidades de información Organiza y sistematiza información homologada para medir en el tiempo un mismo objeto y comparar entre dimensiones

51 Pasos para la Implementación de un Sistema de Evaluación Interna
Diagnosticar los elementos requeridos para una cultura de evaluación: Si se tiene definida la Planeación Estratégica con objetivos y metas Si se tienen identificados los asuntos sustantivos de los administrativos y si se alinean a la planeación Si se tiene conocimiento y capacidades humanas para realizar indicadores y evaluar Si se ubica y conoce el estado y calidad de la información (dueño-productor, papel o electrónica explotable, con un proceso fiable) Estadísticas e indicadores existentes en informes, sistemas, bases de datos Si se tienen capacidades tecnológicas para recopilar e integrar bases de datos Si las acciones detectadas de evaluación son coyunturales o institucionalizadas y periódicas-permanente

52 Pasos para la Implementación de un Sistema de Evaluación Interna
Con base en el diagnóstico, diseñar el plan o programa de evaluación, definiendo claramente: Qué se entiende por evaluación y el objetivo de hacerla, ¿Para qué? Modelo Conceptual: estrategias, elementos necesarios y actores Alcance: qué se quiere medir, cuándo, en qué aspectos Tipos de evaluaciones, tipos de indicadores, metodologías en gral Temas con tipos de indicadores y preguntas para información cualitativa Procedimiento básico para realizar la evaluación: quién, con qué, a través de qué participa Diseñar indicadores por tipo y a quién aplica (grales y específicos) en colaboración con las áreas dueñas del tema

53 Pasos para la Implementación de un Sistema de Evaluación Interna
Si se toman indicadores existentes, revisar variables y comparabilidad con otros sujetos de evaluación Valorar la utilidad de la información de los indicadores generada al interior de las áreas y con sus titulares Identificar a los dueños de la información y el estado de ésta para integrarla o sumarla (Ej: Jefatura de entrega de becas + Subdirector de administración de tarjetas -excel-desde 2003) Si es necesario, definir las acciones para obtener la información que por ese momento no existe (digitalizar, integrar, generar mediante un proceso, etc)

54 Pasos para la Implementación de un Sistema de Evaluación Interna
Confirmar la periodicidad establecida para el reporte de indicadores. Para cada indicador, si es el caso, programar meta Revisar y validar al interior de cada área los indicadores generados, asegurando el mismo entendimiento (vale hacer notas por indicador) Recopilar los datos del total de indicadores en la periodicidad establecida (si es nuevo, el primer dato reportado será la línea base) Generar la primera carga de información de indicadores a través de un formato sencillo de utilizar para las áreas

55 Pasos para la Implementación de un Sistema de Evaluación Interna
Integrar la información, analizarla y generar un reporte en un formato amigable Entregar los reportes a los interesados y tomadores de decisiones Retroalimentar y realizar modificaciones correspondientes a los indicadores Iniciar el reporte periódico de los indicadores acordados Establecer un mecanismo de comunicación de la información al interior y exterior

56 Ayudas en Internet

57 ¡Gracias!

58 Experiencia del D.F. en la Evaluación del Desempeño Gubernamental
Sandra Luz Ramírez Marroquín Junio 2012