Uso estratégico de la información y la evidencia para una incidencia efectiva Octubre 8, 2009

Objetivos de la sesión Fortalecer las capacidades de las OSCs para mejorar la eficacia de sus actividades de incidencia en políticas públicas, o bien, sus programas de atención a beneficiarios, a través de: 1.Identificar nuevas fuentes de información y evidencia sobre la calidad y desempeño de políticas públicas 2.Desarrollar habilidades básicas para aprovechar la evidencia derivada de las evaluaciones a programas públicos, utilizando instrumentos desarrollados por GESOC.

¿Qué nos dice esta gráfica? Fuente: Presupuesto de egresos 2008 y 2009, PPEF 2010 (SHCP)

¿Y esta otra qué nos dice? Fuente: Estimaciones del CONEVAL con base en la ENIGH de 1992 a 2008

Las gráficas nos dicen que… El presupuesto de los programas de subsidio federales aumenta anualmente. Aunque la cobertura de servicios básicos y la esperanza de vida han aumentado, la pobreza también ha aumentado. De 2006 a 2008 pasó de 42.6% a 47.4% Además, entre 2008 y 2010, debido al contexto económico nacional se dispone de menores recursos para administrarlos, aunque representan casi el 13% del gasto programable federal.

La eficacia de las políticas públicas La eficacia de las políticas y programas públicos no sólo depende de los presupuestos, sino también de: La calidad de su diseño Su adecuada implementación (desempeño) Su adecuada evaluación

OSCs e incidencia en las políticas públicas Hasta ahora, las OSCs hemos centrado nuestra atención en los insumos necesarios para implementar las políticas (presupuesto), pero no tanto en sus resultados (calidad, desempeño, eficacia, eficiencia) En parte, esto se debe a que el gobierno produce información y evidencia confiable sobre presupuestos y, hasta hace poco, no lo hacía sobre la calidad y desempeño de sus políticas ¡¡¡¡¡¡ PERO YA LO HACE !!!!!!

Fuentes de información disponibles para incidir Presupuesto Diario Oficial de la Federación Planes Programas Reglas de Operación Auditorías Evaluaciones Reportes elaborados para el Congreso Por ley, todas deben ser públicas.

La Política de Evaluación del Desempeño del Gobierno Federal (PED) En 2007, como parte de la reforma fiscal, el gobierno federal tomó la decisión de adoptar una forma de presupuestar según resultados. Esto implica generar evidencia sistemática y confiable sobre la calidad, desempeño e impacto de sus programas sociales para mejorar la calidad del gasto público. Está a cargo de la SHCP, CONEVAL y la SFP. Entre esta evidencia, están las evaluaciones externas que marca el Programa Anual de Evaluación de cada año.

Se han realizado 514 evaluaciones ( ) Tipo de Evaluación Número de Evaluaciones Programadas por Año Consistencia y Resultados 104 Diseño Indicadores Procesos5 Específica Obra Pública5 Calidad en los servicios12 Percepción de los Beneficiarios1 Específica de Desempeño Inclusión de perspectiva de género1719 Perspectiva de juventud y discapacidad2 Programas Desarrollo Forestal1 Fondos del Ramo 232 Impacto264 Estratégica Política de Nutrición y Abasto1 Política de Desarrollo Rural1 Política de Microcrédito Fondos de Aportaciones del Ramo 331 Inclusión de perspectiva de género en 4 sectores11 Programa PROCAMPO4 Complementarias1 TOTAL DE EVALUACIONES

Las OSCs y las evaluaciones ¿Son confiables? GESOC ya realizó un análisis de su confiabilidad y encontró que sí lo son ( Son evidencia clave para la incidencia de las OSCs, los medios de comunicación y legisladores. GESOC se dio a la tarea de agregarlas, sistematizarlas y generar instrumentos que faciliten su comprensión, utilización e impacto público

¿Porqué es conveniente utilizar la evidencia derivada de las evaluaciones? Es razonablemente confiable. Está disponible públicamente. No implica costos considerables a las OSCs. Facilita la identificación de causas de los problemas de calidad, desempeño, etc. de las políticas. Son causas y problemas que el propio gobierno reconoce que tienen sus propias políticas (no es un invento de las ONGs). Permite identificar posibles agendas comunes con los propios funcionarios.

EL ICADI y el INDEP GESOC presentó en marzo el Índice de Calidad de Diseño de los Programas Sociales del Gobierno Federal (ICADI) con base en las 104 evaluaciones de consistencia y resultados ( Presentó el 28 de octubre el Índice de Desempeño de los Programas Sociales del Gobierno Federal (INDEP) con base en las 129 evaluaciones específicas de desempeño (

Programas de subsidio - ejemplos Programa Presupuesto Aprobado 2009 PPEF 2010% SEDESOL_Programa de Empleo Temporal (PET)343,040,0002,930,035, % DICONSA_Programa de Apoyo Alimentario1,818,410,0006,652,413, % SEDESOL_Programa de Desarrollo Humano Oportunidades 46,340,900,00067,086,647, % SS_Financiamiento equitativo de la atención médica. Seguro Popular 41,368,161,54052,378,927, % SEDESOL_Programa de guarderías y estancias infantiles para apoyar a madres trabajadoras 2,522,000,0002,767,374, % SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales 13,176,270,00013,205,270, % INDESOL_Programa de Coinversión Social353,100,000353,103, % SEDESOL_Programa Hábitat2,745,720,0002,745,716, % SAGARPA_PROCAMPO16,803,100,00016,150,000, % SAGARPA_Alianza para el Campo13,310,900,0007,500,000, %

¿Qué es el ICADI? El ICADI mide la calidad de diseño de los programas públicos: su potencial de desempeño a partir de la coherencia interna y organizacional sugerida por su diseño. Se basa en los resultados de las evaluaciones de consistencia y resultados ( ) que se realizaron a todos los programas sujetos a reglas de operación y otros de subsidio. Permite comparar de manera ágil y sencilla la calidad del diseño de 104 programas públicos. El ICADI busca constituirse como una herramienta de difusión de los resultados de las evaluaciones accesible y útil tanto para tomadores de decisiones como para la ciudadanía en general.

¿Qué es y cómo se construyó el ICADI? El ICADI ubica la calidad de diseño de cada programa en una escala general de cero a 10. Para su construcción, los resultados de las evaluaciones fueron codificados y agregados en tres Subíndices: – Diseño y Alineación Estratégica, agrupa la información relacionada con la definición de objetivos, metas y alcances estratégicos del programa federal evaluado. – Operación, integra la información relacionada con las previsiones institucionales y organizacionales que permitirían una correcta operación de los programas por parte de las dependencias ejecutoras. – Orientación a Resultados y a la Ciudadanía, agrupa lo referente a las previsiones de los programas para medir resultados e impactos, así como la percepción y opinión de la población objetivo.

¿Qué es y cómo se construyó el ICADI? Para ubicar con mayor claridad la situación de cada programa se propuso un sistema de semáforos para cada subíndice que integra el ICADI. ValoraciónRango / Color DestacadoDe 10 a 8 SuficienteDe 7.9 a 6 RezagadoInferior a 6

Resultados generales del ICADI Existe una baja calidad en el diseño de los programas públicos, 4 de cada 10 programas obtuvieron una calificación reprobatoria. En promedio, los 104 programas apenas alcanzan una calificación mínima aceptable en términos de calidad de diseño (promedio de 6.3 en escala de 0 a 10).

Resultados por subíndice De los tres subíndices analizados en los programas, el más débil fue Orientación a Resultados y a la Ciudadanía (4.9) y el más alto Operación (7.1) Esto significa que los esfuerzos se orienten al cumplimiento de la normatividad y de los procedimientos más que a los resultados y a la satisfacción ciudadana

ICADI - Ejemplos RankingNombre del ProgramaICADIDyAeOp.OaRyC 26 SEDESOL_Programa de Desarrollo Humano Oportunidades DICONSA_Programa de Apoyo Alimentario ASERCA_Programa de Apoyos Directos al Campo INDESOL_Programa de Coinversión Social SS_Programa Salud para Todos: Seguro Popular de Salud SEMARNAT_Programa de Empleo Temporal SAGARPA_ Alianza para el Campo SEDESOL_Programa de Atención a los Adultos Mayores SEDESOL_Programa Hábitat SEDESOL_ Programa de Guarderías y Estancias Infantiles para Apoyar a Madres Trabajadoras 3.2 NA

¿Qué es y cómo se construyó el INDEP? El INDEP ubica la capacidad que mostró cada programa para entregar resultados de valor para los ciudadanos (desempeño) durante 2008, en una escala de cero a 100. Está construido a partir de dos componentes básicos: 1.Componente de avance en los indicadores reportados (CAI) 2.Componente de fortaleza del sistema de indicadores (CFI) CAICFIINDEP

Evaluación Específica de Desempeño

El sustento conceptual del INDEP El INDEP parte del análisis de los avances reportados en las EEDs a la luz del modelo simplificado de desempeño de GESOC: Organización InsumosProcesos ResultadosImpactos Eficacia Eficiencia Valor por Dinero Economía Productos Objetivo

Semáforos del INDEP SemáforoRojoAmarilloVerde Avance reportado Se informa el porcentaje de avance promedio por programa (sin ponderación). Semáforo de selección adecuada de metas Más de 2 indicadores con porcentaje de avance mayor a 125%. 1 ó 2 indicadores con porcentaje de avance mayor a 125%. Ningún indicador con porcentaje de avance mayor a 125%. Semáforo de fortaleza de indicadores Concentración clara de indicadores en algún tipo Distribución relativamente homogénea, con concentración baja en algún tipo de indicador. Distribución homogénea de indicadores por tipo Semáforo de información de indicadores Menos de 60% de indicadores con información De 60 % a 79% de indicadores con información Más de 80 % de indicadores con información

Programa con calificación de 100 en el INDEP Un programa que bajo la medición del INDEP cuenta con una calificación de 100 debería: – Definir metas retadoras pero alcanzables. – Cumplir 100% de las metas establecidas. – Utilizar indicadores que reflejen sus seis dimensiones de desempeño: insumo, actividad, producto, resultado, impacto y eficiencia (costo/beneficio). – Reportar información en todos sus indicadores.

Resultados generales del INDEP Existe un bajo desempeño de los programas sociales, casi 5 de cada 10 programas obtuvieron una calificación reprobatoria. En promedio, los 129 programas obtienen una calificación reprobatoria (promedio de en escala de 0 a 100).

INDEP - Ejemplos RankProgramaINDEP Avance report. S. TargS. IndS Inf 18DICONSA_Programa de Apoyo Alimentario % 31 SEDESOL_Programa de guarderías y estancias infantiles para apoyar a madres trabajadoras % 35SEDESOL_Programa de Empleo Temporal (PET) % 46 SEDESOL_Programa de Desarrollo Humano Oportunidades % 47INDESOL_Programa de Coinversión Social % 74SAGARPA_PROCAMPO % 78 SS_Financiamiento equitativo de la atención médica. Seguro Popular % 98 SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales % 109SAGARPA_Alianza para el Campo % 110SEDESOL_Programa Hábitat %

ICADI / INDEP 82 programas (entre ellos los ejemplos) cuentan con ECR y EED y, por lo tanto, tienen ICADI e INDEP. En términos presupuestales estos programas representan: 2008 aprob. (mdp) 2009 aprob. (mdp) Proy (mdp) PRESUPUESTO PROGRAMAS PRESUPUESTARIOS FEDERALES (PPPF) $1,347,606.90$1,857,398.80$1,908, TOTAL PRESUPUESTO PROGRAMAS CON ICADI/IDEP $163,706.13$204,516.95$227, PROPORCION DEL PPPF PRESUPUESTO PROGRAMAS CON ICADI/IDEP 12.15%11.01%11.90%

EJERCICIO: POLÍTICAS DE COMBATE A LA POBREZA

Ejercicio: Políticas de combate a la pobreza ProgramaObjetivo SEDESOL_Programa de Desarrollo Humano Oportunidades Contribuir a la ruptura del ciclo intergeneracional de pobreza extrema de la población beneficiaria, favoreciendo el desarrollo de sus capacidades básicas en educación, salud y nutrición. SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más Contribuir a mejorar las condiciones de vida de los adultos mayores de 70 años y más aumentando su posibilidad de tener una alimentación adecuada, acceso a servicios básico y mayor integración social. SEDESOL_Programa Hábitat Contribuir de manera integral a la superación de la pobreza urbana. SEDESOL_Programa 3 x 1 para Migrantes Mejorar la calidad de vida de la población en condiciones de pobreza, marginación o rezago social que habita en localidades con alta migración, con la participación de la diáspora mexicana. SEDESOL_Programa de Empleo Temporal (PET) Contribuir a disminuir la vulnerabilidad de hombres y mujeres de 16 años o más en zonas de atención prioritaria, mediante la entrega de un apoyo temporal en su ingreso. DICONSA_Programa de Apoyo Alimentario Contribuir al desarrollo de las capacidades nutricias de la población que habita en localidades rurales. Objetivos (Fin) de seis programas emblemáticos de combate a la pobreza

Ejercicio: políticas de combate a la pobreza Programa PPEF 2010 DICONSA_Programa de Apoyo Alimentario SEDESOL_Programa de Empleo Temporal SEDESOL_Programa 3 x 1 para Migrantes SEDESOL_Programa Hábitat SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas rurales SEDESOL_Programa de Desarrollo Humano Oportunidades Presupuestos aprobados de los programas mencionados (millones de pesos)

Ejercicio: Políticas de combate a la pobreza Evolución presupuestal de los programas mencionados

Ejercicio: Políticas de combate a la pobreza ICADI de los programas de combate a la pobreza con mayor presupuesto en el PPEF 2010

Ejercicio: Políticas de combate a la pobreza ProgramaICADIDyAEOp.OaRyC SEDESOL_Programa de Desarrollo Humano Oportunidades 8 DICONSA_Programa de Apoyo Alimentario 7.4 SEDESOL_Programa de Empleo Temporal (PET) 4.7 SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas 4 SEDESOL_Programa Hábitat 4 SEDESOL_Programa 3 x 1 para Migrantes 3.6 Calidad de diseño de los programas de combate a la pobreza emblemáticos

Ejercicio: Políticas de combate a la pobreza INDEP de los programas de combate a la pobreza emblemáticos

Ejercicio: Políticas de combate a la pobreza INDEP de los programas de combate a la pobreza emblemáticos ProgramaINDEPS. adeS. Ind.S. Inf. DICONSA_Programa de Apoyo Alimentario SEDESOL_Programa de Empleo Temporal (PET) SEDESOL_Programa de Desarrollo Humano Oportunidades 64 SEDESOL_Programa de Atención a los Adultos Mayores de 70 años y más en zonas SEDESOL_Programa Hábitat SEDESOL_Programa 3 x 1 para Migrantes 26.19

Ejercicio: Políticas de combate a la pobreza Desarrollo Humano Oportunidades y Apoyo Alimentario tienen diseño y desempeño satisfactorios. Ambos están por encima del promedio de calificaciones del ICADI y el INDEP. Además, están cerca de alcanzar la población que desean atender. Su principal falla parece estar en el diseño y la alineación estratégica. El Programa de Empleo Temporal es un caso especial, pues a pesar de presentar resultados satisfactorios en su operación, los Semáforos de Diseño y Alineación Estratégica y Orientación a Resultados y a la Ciudadanía advierten sobre graves insuficiencias en su diseño. Los programas de Atención a Adultos Mayores, Hábitat y 3x1 para Migrantes tienen ICADI e INDEP inferiores al promedio general. Los semáforos del ICADI demuestran serias deficiencias en todo el diseño de estos programas. Los Semáforos del INDEP revelan que los avances reportados por los programas no cubre satisfactoriamente las metas de desempeño esperadas, no cuentan con indicadores de desempeño útiles para medir sus resultados e impactos, además de que faltan datos para algunos de ellos.

¡Muchas gracias!