Dra. Jaqueline Esperanza Meza Urías SEMINARIO INTERNACIONAL “EXPERIENCIAS Y DESAFÍOS DEL MONITOREO Y LA EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE” Factores que limitan el uso de la información de la evaluación externa de programas presupuestarios en México Dra. Jaqueline Esperanza Meza Urías

Contenido La evaluación como concepto teórico Objetivos y fin último de la evaluación Situación actual del uso instrumental de la evaluación externa en México y en las entidades federativas Preguntas por responder y posibles respuestas Principales resultados y Apoyo o rechazo a las respuestas planteadas Recomendaciones y oportunidades en las entidades federativas

La Gestión para Resultados en el Desarrollo (GpRD) Planeación para resultados Presupuesto por resultados Gestión financiera Gestión de programas y proyectos Seguimiento y Evaluación Liderazgo político (Liderazgo de autoridades superiores) Crear sistemas de información (¿Qué se quiere medir? Involucramiento de actores relevantes Actualmente, organismos internacionales como el BID o la OCDE están impulsando la GpRD como un medio para alcanzar niveles mayores de desarrollo. La Gestión para Resultados comprende cinco pilares: Planificación por resultados, Presupuesto por resultados, Gestión Financiera, Gestión de programas y proyectos, y Seguimiento y Evaluación.

La Evaluación desde las políticas públicas https://totaleval.wordpress.com/

Diferentes objetivos de la evaluación externa Técnicos Evaluación Políticos La evaluación está pensada para lograr tanto objetivos técnicos como políticos: Objetivos técnicos: mejorar la toma de decisiones públicas basadas en el uso de evidencias; mejor uso de los recursos públicos al asignar presupuesto según desempeño Objetivos políticos: la transparencia y rendición de cuentas; mejora la democracia

El fin último de la evaluación Pero según organismos internacionales, el fin último de la evaluación es contribuir a mejorar los niveles de vida de la población. En el caso de México, a nivel federal hemos avanzado mucho en la primera fase, y se tienen avances en la segunda, pero como ven el camino aún es largo. Fuente: EvalPartners (2015, p.3)

Sin embargo… No existe evidencia suficiente que demuestre que siguiendo esta relación causal entre las etapas del modelo se pueda lograr mejorar los niveles de bienestar de las personas a nivel país. Se han encontrado estudios de caso donde la información de la evaluación externa ha ayudado a modificar algún aspecto del diseño u operación de programas o de sus resultados, caso del programa Prospera de la SEDESOL

Situación actual del uso instrumental de la evaluación externa en México Según datos del Coneval entre 2007 y 2013 los funcionarios públicos federales reportaron un nivel de conclusión de los ASM de programas de desarrollo social de alrededor del 60%. Adicionalmente, según el Coneval (2014) el porcentaje de recomendaciones, derivadas de evaluaciones externas realizadas a programas sociales en el periodo 2012-2013, que fueron seleccionadas como ASM fue del 46%

Situación actual del uso instrumental de la evaluación externa a nivel federal Los datos anteriores permiten afirmar que el nivel de uso o utilización de la información de las evaluaciones externas de programas presupuestarios federales en México es limitado.

Situación actual del uso de la información de las evaluaciones externas en las entidades federativas Sólo el 41% de las entidades federativas toma en cuenta los resultados de las evaluaciones para la mejora de los programas Sólo el 47% de las entidades federativas cuenta con un mecanismo formal de seguimiento a las recomendaciones derivadas de las evaluaciones externas Fuente: SHCP (2016). Principales resultados del Diagnóstico PbR-SED 2016 en Presentación del Diagnóstico PbR-SED 2017. p. 8

Avances del PbR-SED 2018 en el estado de Chihuahua

Evolución del Índice general de avance en PbR-SED en el Estado de Chihuahua Año PbR-SED (%) 2010 35 2012 57 2014 70.6 2015 86.9 2016 84.6 2017 82.9 2018 89.1

Porcentaje de avance por categoría del PbR-SED 2018 Porcentaje de avance por sección 2018 Transparencia % Capacitación % Adquisiciones % Recursos Humanos % PBR-SED 87.5 100 60 90 Porcentaje de avance por categoría del PbR-SED 2018 Marco Jurídico Planeación Programación Presupuestación Ejercicio y control Seguimiento Evaluación 100 77.5 70.3 94.7 88.9 93.7

Preguntas a responder: ¿Cuál es la razón o causas del uso limitado de la información de la evaluación externa? ¿Qué opinan los funcionarios públicos ferales al respecto? ¿Cuál de estas razones o causas están más asociadas o relacionadas con el uso limitado de la información de la evaluación externa?

12 razones teóricas del uso limitado de la evaluación Límites pre-existentes de la evaluación, Factores organizacionales, Contenido y presentación de la información, Características del proyecto, Características externas, Factores de la evaluación, Oportunidad de los reportes, Información en competencia, Factores humanos, Factores de la calidad de la evaluación, Factores normativos y, Factores políticos y/o culturales.

5 razones principales del uso limitado de la evaluación en México Normativos De la calidad de la evaluación Organizacionales Humanos o personales Políticos o culturales

¿Cómo se recolectó la información para responder las preguntas? Se elaboró un censo de los funcionarios públicos federales que participan en los procesos de las evaluaciones externas Se envió un cuestionario cerrado vía internet a 660 funcionarios públicos federales, de 28 dependencias y entidades federales con programas presupuestarios evaluados en el periodo 2007-2013. Se obtuvieron 200 respuestas, de 22 dependencias y entidades federales, una tasa del 30% Para analizar los datos se usó la herramienta estadística SPSS

Principales resultados La mayoría de los funcionarios públicos consideran que el personal de las unidades responsables (UR) de los programas evaluados consideran que tienen más cultura de la evaluación externa y no la perciben como una forma de control legal o presupuestal, Sin embargo, no cuentan con la capacidad de decisión, ni con los recursos humanos suficientes, ni con los instrumentos de gestión necesarios, ni con los recursos financieros requeridos para realizar los cambios sugeridos por la evaluación externa.

Principales resultados Gran parte de los funcionarios opinan que la evaluación externa es muy necesaria para mejorar el desempeño de los programas presupuestarios, asimismo, tienen una apertura a nuevas ideas, Sin embargo, también consideran que la evaluación externa ha incrementado sus cargas de trabajo, lo cual representa un riesgo para sus actividades diarias.

Principales resultados La mayoría de los funcionarios públicos consideran que los evaluadores externos no están comprometidos con el uso de la evaluación. Los evaluadores externos no toman en cuenta la opinión ni establecen relaciones de confianza con el personal del programa evaluado.

Principales resultados Los funcionarios públicos consideran que es necesario el apoyo tanto del titular de la dependencia o entidad responsable del Pp evaluado como del titular de la UR La mayoría de los funcionarios opinaron que a las reuniones de informes finales de la evaluación externa asisten funcionarios de nivel jerárquico “medio”. Gran parte de los funcionarios públicos opinaron que el marco normativo que rige el uso de la evaluación externa no es adecuado para mejorar el desempeño de los programas presupuestarios.

Principales resultados Los tres principales obstáculos mencionados para cumplir con los ASM de los programas presupuestarios fueron: El uso de los mismos términos de referencia para evaluar los mismos programas, La preocupación por cumplir con los tiempos y formas establecidos por las dependencias coordinadoras de la evaluación, y, La mala comunicación entre el evaluador externo, los operadores de los programas evaluados y las dependencias coordinadoras de la evaluación externa.

Principales resultados La mayoría de los funcionarios públicos consideran que las recomendaciones emitidas por los evaluadores externos son claras, Sin embargo dichos funcionarios también opinaron que las recomendaciones no son relevantes, precisas ni factibles de implementarse en un plazo razonable.

Recomendaciones Que las evaluaciones externas impliquen un proceso de investigación que analice la problemática de fondo que se quiere resolver con los programas, Ajustar los términos de referencia (TdR) de las evaluaciones externas a los programas no sociales, Es necesario mejorar la comunicación y coordinación entre los distintos actores que participan en los procesos de las evaluaciones externas, Explicitar dentro del “Mecanismo de seguimiento a los ASM” quién dará seguimiento e informará sobre los ASM de tipo “interinstitucionales e intergubernamentales”

Recomendaciones La cultura de la evaluación debe permear todos los programas de todas las dependencias y entidades de la Administración Pública Federal, Estatal y Municipal, Es necesario que los avances en materia de sistemas de monitoreo y evaluación no estén concentrados en programas presupuestarios sociales, Se sugiere crear organismos independientes de evaluación por sector, de manera que se amplíen los esfuerzos de evaluación a todos los programas de la Administración Pública, en los tres niveles de gobierno, el federal, el estatal y el municipal.

Recomendaciones Analizar la viabilidad, desde el punto de vista legal y presupuestal de incluir en los TdR de las evaluaciones externas el enfoque de Patton (2008) “Evaluación enfocada al uso”: Que el evaluador externo promueva, difunda, impulse o motive el uso de los resultados de la evaluación externa dentro de las dependencias y entidades de los tres niveles de gobierno,

Recomendaciones Que desde el inicio y en el desarrollo de los trabajos de evaluación, se tomen en cuenta las necesidades específicas en materia de evaluación de los operadores de programas Que al emitir las recomendaciones derivadas del trabajo de evaluación se consideren aspectos como la relevancia, precisión y factibilidad de las mismas, con el fin de que se incremente el uso de los resultados de la evaluación externa.

Oportunidades en entidades federativas Formalización de los mecanismos para la utilización de la información sobre el desempeño y cómo se utiliza para la planeación, programación y presupuestación. Sistematización en el uso de los resultados y seguimiento de las recomendaciones derivadas de las evaluaciones realizadas a los programas. Fuente: Diagnóstico PbR-SED. Elaborado sobre el avance en el artículo 80 de la Ley de Contabilidad Gubernamental, 2016