EVALUACION DE POLÍTICAS PÚBLICAS Econ. Paul Amoretti Ismodes

Objetivo 1. Erradicar la pobreza extrema y el hambreErradicar la pobreza extrema y el hambre Meta 1: Reducir a la mitad entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dólar 1. Porcentaje de la población con ingresos inferiores a 1 dólar por día (Banco Mundial) 2. Coeficiente de la brecha de la pobreza a 1 dólar por día (Banco Mundial) 3. Proporción del ingreso o consumo que corresponde a la quinta parte más pobre de la población (Banco Mundial) Meta 2: Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre4. Prevalencia de niños menores de 5 años de peso inferior a lo normal (UNICEF) 5. Porcentaje de la población por debajo del nivel mínimo de consumo de energía alimentaria (subnutrición) (FAO)

Objetivo 2. Lograr la enseñanza primaria universalLograr la enseñanza primaria universal Meta 3: Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria6. Tasa neta de matrícula en la escuela primaria (UNESCO) 7. Porcentaje de los estudiantes que comienzan el primer grado y llegan al quinto grado de la escuela primaria (UNESCO) 8. Tasa de alfabetización de las personas de edades comprendidas entre los 15 y los 24 años (UNESCO)

Objetivo 3: Promover la igualdad entre géneros y la autonomía de la mujer Promover la igualdad entre géneros y la autonomía de la mujer Meta 4: Eliminar las desigualdades entre los géneros en la enseñanza primaria y secundaria, preferiblemente para el año 2005, y en todos los niveles de la enseñanza antes del fin del año Relación entre niñas y niños en la educación primaria, secundaria y superior (UNESCO): 10. Relación entre las tasas de alfabetización de las mujeres y los hombres de edades comprendidas entre los 15 y los 24 años (UNESCO) 11. Proporción de mujeres entre los empleados remunerados en el sector no agrícola (OIT) 12. Proporción de puestos ocupados por mujeres en el parlamento nacional (IPU)

Objetivo 4: Reducir la mortalidad infantil Reducir la mortalidad infantil Meta 5: Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años13. Tasa de mortalidad de los niños menores de 5 años (UNICEF) 14. Tasa de mortalidad infantil (UNICEF) 15. Porcentaje de niños de 1 año vacunados contra el sarampión (UNICEF)

Objetivo 5. Mejorar la salud maternaMejorar la salud materna Meta 6: Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes16. Tasa de mortalidad materna (OMS) 17. Porcentaje de partos con asistencia de personal sanitario especializado (UNICEF)

Objetivo 6. Combatir el HIV/SIDA, el paludismo y otras enfermedadesCombatir el HIV/SIDA, el paludismo y otras enfermedades Meta 7: Haber detenido y comenzado a reducir, para el año 2015, la propagación del VIH/SIDA18. Tasa de morbilidad del VIH entre las mujeres embarazadas entre los 15 y los 24 años de edad (ONUSIDA) 19. Uso de preservativos dentro de la tasa de uso de anticonceptivos y Población de 15 a 24 años que tiene conocimientos amplios y correctos sobre el VIH/SIDA 20. Relación entre la matrícula de niños huérfanos y la matrícula de niños no huérfanos de 10 a 14 años (ONUSIDA) Meta 8: Haber comenzado a reducir, para el año 2015, la incidencia del paludismo y otras enfermedades graves21. Tasa de prevalencia y mortalidad palúdicas (OMS) 22. Proporción de la población de zonas de riesgo de paludismo que aplica medidas eficaces de prevención y tratamiento del paludismo (UNICEF): 23. Tasa de prevalencia y mortalidad de la tuberculosis (OMS) 24. Proporción de casos de tuberculosis detectados y curados con el tratamiento breve bajo observación directa (OMS)

Objetivo 7. Garantizar la sostenibilidad del medio ambienteGarantizar la sostenibilidad del medio ambiente Meta 9: Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pérdida de recursos del medio Meta 10: Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua Meta 11: Haber mejorado considerablemente, para el año 2020, la vida de por lo menos 100 millones de habitantes de tugurios

Objetivo 8. Fomentar una asociación mundial para el desarrolloFomentar una asociación mundial para el desarrollo Meta 12. Desarrollar aún más un sistema comercial y financiero abierto, basado en normas, previsible y no discriminatorio. Meta 13. Atender las necesidades especiales de los países menos adelantados. Meta 14. Atender las necesidades especiales de los países sin litoral y de los pequeños Estados insulares en desarrollo. Meta 15. Encarar de manera general los problemas de la deuda de los países en desarrollo con medidas nacionales e internacionales a fin de hacer la deuda sostenible a largo plazo. Meta 16. En cooperación con los países en desarrollo, elaborar y aplicar estrategias que proporcionen a los jóvenes un trabajo digno y productivo. Meta 17. En cooperación con las empresas farmacéuticas, proporcionar acceso a los medicamentos esenciales en los países en desarrollo. Meta 18. En colaboración con el sector privado, velar por que se puedan aprovechar los beneficios de las nuevas tecnologías, en particular de las tecnologías de la información y de las comunicaciones.

Políticas Públicas

Evaluación

Concepto de evaluación Comparación de … Lo PlanificadoLo realizado Objetivos Costos Tiempo El logro de lo planificado es la medida de la performance del proyecto

Evaluación: requisitos esenciales Que exista una planificación elaborada, que permita la comparación de lo ejecutado con lo planificado Que se genere la información necesaria y oportuna El sistema de M + E es en esencia, información

Evaluación del diagnóstico Análisis del diagnóstico ProblemasCausas y efectosPoblación objetivo Contexto socioeconómico Explícitos Claros Rigurosos Completos Medibles Contrastables Estudio de necesidades Cuantificada Características Cobertura prevista Estudios previos Variables (línea de base) Estudios de proyección Fuentes de información

Preguntas fundamentales ¿Cómo está funcionando la Política Pública? ¿Se logró o no el cambio deseado? ¿Si se logro el cambio, en que medida puede ser atribuido a la Política Pública?

¿Por qué evaluar? EVALUACIÓN Mostrar resultados Transparencia Accountability Mejorara calidad de la vida… Lecciones de la experiencia PasadoPresenteFuturo

¿Para qué sirve la evaluación? Informar sobre el avance de la Política Pública Mantener la ejecución de la Política Pública en línea con lo planificado Examinar la estrategia de la Política Pública Realizar los ajustes que sean necesarios Aprender de las experiencias para mejorar la gestión

Monitoreo vs. Evaluación Seguimiento periódico de actividades Utiliza indicadores de proceso, principalmente Busca hacer correcciones y ajustes a tiempo Es paralela a la ejecución del plan/proyecto Es función de la Gerencia Es administración Es más episódica Utiliza indicadores de resultados, efecto e impacto Busca extraer lecciones para futuras intervenciones suele ser retrospectiva Es función del Directorio Es Planeamiento Estratégico Ambos son instrumentos de gestión

Indicadores: rol clave Información sobre la ejecución de la Política Pública PLANIFICADOREALIZADO INDICADORES Los indicadores resumen la información necesaria para realizar la comparación objetiva entre lo planificado y loa realizado

Sistema de información gerencial El sistema de Monitoreo y Evaluación es un sistema de información gerencial Porque es información sobre ejecución Porque es información resumida en indicadores Porque contiene los indicadores necesarios para la toma de decisiones Porque es información sobre ejecución Porque es información resumida en indicadores Porque contiene los indicadores necesarios para la toma de decisiones

Tipos de evaluación TIPOFRECUENCIAINDICADORESPROPOSITO De Impacto Baja, luego de un tiempo de maduración Cambios sustentables en el nivel de la población objetivo Estimar impacto en la población De Resultados Anual o al final del Proyecto Productos o resultados propuestos Evaluar cumplimiento de los objetivos específicos o productos ofrecidos De Procesos Alta (mensual, trimestral) Actividades realizadas, gastos ejecutado (indicadores de proceso) Estimar avance (monitoreo)

Evaluación de proceso La evaluación de procesos permite conocer la dinámica de implementación de actividades Cantidad de actividades realizadas Calidad de las actividades Reacción de la población objetivo (Satisfacción de usuario/cliente)

Evaluación de procesos: preguntas clave ¿Cuánto hemos hecho? ¿Qué tan bien lo hemos hecho? ¿Cuánto ha costado? ¿Cómo podríamos mejorar?

Evaluación de procesos: ventajas y desventajas Se enfoca exclusividad en la implementación de las actividades No investiga la medida en que las actividades han generado resultados Unidad básica: identifica aspectos exitosos y aspectos deficientes, con la finalidad de realizar cambios en la programación (decisiones operativas) De utilidad principal para la institución ejecutora

Evaluación de resultados Permite determinar el grado de logro de los objetivos Los objetivos se refieren, por lo general, a cambios en el bienestar de la población Empleo e ingresos Accesos a servicios Derechos políticos Método general de medición: comparación antes/después Alternativamente: fijación de metas

Evaluación de impacto Permite determinar la relación causa – efecto: relación entre resultados y las intervenciones públicas Metodología general. Construcción de escenarios contrafactual o comparación con/sin Pregunta clave: ¿Qué habría ocurrido si no se hubiera ejecutado la intervención?

Análisis de la eficiencia Gestión Análisis de las causas de ineficiencia Causas Conclusiones, recomendaciones y aprendizajes Evaluación de Impactos Determinación y valoración de la eficacia del programa Determinación del impacto del programa Es EficazNo es Eficaz Análisis de las causas de la ineficacia Contexto socioeconómico Diseño del programa IneficienteEficiente

El Marco Lógico

¿Cómo diseñar una evaluación? Determinar (o aclarar) los objetivos del plan/proyecto, que serán, al mismo tiempo los objetivos de evaluación Determinar el tipo de evaluación a realizar y la metodología correspondiente Identificar los indicadores, según el tipo de evaluación Recopilar información y elaboración del informe de evaluación

Paso 1: determinar objetivos de la evaluación Se realiza sobre la base del Marco Lógico Por lo general, existen 4 tipos de objetivos: fin, propósito, productos y actividades Dependiendo del tipo de evaluación que se quiera realizar, se elegirá uno u otro tipo de objetivos. Idealmente: ¿A quién? Población objetivo ¿Qué? Cambio deseado ¿Cuánto? Magnitud esperada del cambio ¿Cuándo? Horizonte temporal

Paso 2: determinar el tipo de evaluación a realizar y la metodología correspondiente Las evaluaciones pueden ser: de procesos, de resultados y de impacto. En planes y políticas, se utilizan evaluaciones de impacto y resultados En programas y proyectos se utilizan, principalmente evaluaciones de procesos y resultados

Paso 3: identificar los indicadores, según el tipo de evaluación Para identificar y seleccionar los indicadores se toma en consideración: El tipo de evaluación elegido Criterios genéricos de selección de indicadores: La data existente y la que podría obtenerse a costo razonable

Paso 4: recopilar la información, sobre base de los medios de verificación establecidos Para cada indicador es necesario recolectar datos de alguna fuente Fuentes de datos cuantitativos Entrevistas estructuradas Estadísticas de servicios (datos administrativos) Técnicas cualitativas más importantes: Entrevista en profundidad Grupos focales Observación directa

Paso 5: análisis de la información y elaboración del informe de evaluación Técnicas de análisis cuantitativo, basados en métodos estadísticos Técnicas de análisis cualitativo Análisis de casos Análisis de contenido El informe de evaluación debe ser parte de una estrategia de difusión

MONITOREO Y PLAN OPERATIVO Plan Operativo Actividades programadas Costos previstos Mestas estructuradas Tiempo previsto Responsables asignados Monitoreo Procesos realizados Costos efectuados Mestas obtenidas Tiempo real Responsabilidades reales PLANIFICADO REALIZADO

Programación El objetivo de la programación es la optimización de la utilización de los recursos, de tal forma que se cumplan los objetivos de la Política Pública.

Plan Operativo Es el documento que precisa las actividades del plan o proyecto y su cronograma Los objetivos son los que contiene el documento de plan o proyecto aprobado. Esto no puede ser variado bajo ninguna circunstancia Las actividades son aquellas previstas en el documento del plan o proyecto Se incorporan sub-actividades o tareas, las cuales en el documento del plan o proyecto aún no figuraban, debido a la falta de elementos suficientes para especificarse Se especifican las metas, las cuales se expresan numéricamente a través de los indicadores Se incorpora un cronograma de las actividades, trimestral, mensual

Elaboración del Plan Operativo Ordenar las actividades según componentes, desagregar las actividades en tareas y codificarlas Ubicar las metas señaladas en el marco lógico para cada actividad o tarea Estimar la duración de cada actividad y definir el calendario de trabajo Determinar quienes serán los responsables de cada actividad y tarea Definir los costos por componente, actividad y tarea

Contenido principal del plan operativo Introducción Objetivos y actividades Cronograma de actividades Cronograma de gastos El control de los riesgos y las condiciones de éxito

Informe de monitoreo I. RESUMEN NARRATIVO Resultados logrados Efectos no previstos Problemas internos Problemas externos Posibilidad de éxito del plan o proyecto II. CRONOGRAMA DE ACTIVIDADES PROGRAMADAS Y REALIZADAS III. CRONOGRAMA DE DESEMBOLSOS PROGRAMADOS Y EJECUTADOS

Evaluación Integral SOCIEDAD NECESIDADES PROBLEMAS IMPACTOS OBJETIVOSINSTRUMENTOSRESULTADOS RACIONALIDAD COHERENCIA EFICACIA EFICIENCIA ACCIÓN PÚBLICA EVALUACIÓN EVALUACIÓN DE IMPACTOS METAEVALUACIÓNSÍNTESIS DE EVALUACIONESEVALUABILIDAD EVALUACIÓN DE GESTIÓN (PROCESO)