E VALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS Ing. Raúl Eduardo Ovando Jurado.

Presentación del tema: "E VALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS Ing. Raúl Eduardo Ovando Jurado."— Transcripción de la presentación:

1 E VALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS Ing. Raúl Eduardo Ovando Jurado

2 B ANCO DE INDICADORES SOBRE EL LOGRO DE VALOR E INVENTARIO DE USUARIOS Clasificador de resultados: Productos Efectos impactos Clasificador de destinatarios: Directos Indirectos CLASIFICADORES MAESTROS

3 VALOR PUBLICO Satisfacción de necesidades humanas Ausencia de valor público : Enfermedad Hambre Pobreza Ignorancia Exclusión social

4 O PERACIONALIZACIÓN DEL VALOR PUBLICO Requiere su descripción en términos de transacciones para lograr la satisfacción de las necesidades humanas TRANSACIONESEJEMPLO PolíticoLargo plazoImpactoAumento de la equidad en la distribución de los ingresos EstratégicoMediano plazoEfectoAumento del nivel de ingresos de las familias OperativoCorto plazoProductoEmpleos o subsidios entregados a las personas

5 E FICIENCIA Y EFICACIA DIMENSION TEMPORAL PASADOFUTURO GESTION EFICIENCIA Aprovechamiento logrado con el uso de los recursos Aprovechamiento previsto que justificó la asignación de los recursos EFICACIA Logros obtenidos: efectividad Continuidad de los logros: sostenibilidad

6 CATEGORIAS DE LA EFICACIA Efectividad Es la medida del valor, como consecuencia de una asignación de recursos, estableciendo la diferencia (el cambio) entre la situación inicial y la situación posterior a la asignación de recursos Sostenibilidad Es la medida en que los resultados logrados hasta el momento del cese de la asignación de recursos, se mantienen a la largo de un período determinado posterior. Es el efecto “residual” de la asignación de recursos durante el período de tiempo posterior, que justificara dicha asignación. La sostenibilidad puede ser estimada como un pronóstico o verificada como un hecho pasado.

7 M ATRIZ DE EFECTIVIDAD SOSTENIBLE RESULTADOS BUSCADOS O LOGRADOS QUE IMPLICAN GENERACION DE VALOR PUBLICO EFECTIVIDAD NO SOSTENIBLE (Logro de resultados pero no sostenibles) EFECTIVIDAD SOSTENIBLE FRACASO EN LA ASIGNACION DE RECURSOS DESARROLLO DE CAPACIDADES (Logro de productos pero no de efectos ni impactos) CONDICIONES DE SOSTENIBILIDAD DE LOS RESULTADOS, UNA VEZ CONCULIDA LA ASIGNACION DE RECURSOS SOSTENIBILIDAD EFECTVIDAD

8 RELACION EFICIENCIA EFICACIA GRADO DE LOGRO DE FINES LOGRO DE FINES A COSTA DE EXCESO DE RECURSOS (Eficacismo) MAXIMO VALOR (Altas eficiencia y eficacia) FRACASO EN LA ASIGNACION DE RECURSOS ALTO APROVECHAMIENTO DE RECUROS pero poco logro de los fines (Eficientismo) RELACION ENTRE EL LOGRO DE FINES Y USO DE RECURSOS EFICIENCIA EFICACIA

9 P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS 1. Elegir o asignar la política pública que será evaluada. 2. Identificar el objetivo central de la política pública. 3. Identificar los componentes de la política pública. 4. Identificar los objetivos de cada componente 5. Desagregar los objetivos de cada componente en objetivos operativos. 6. Construir el marco lógico de la política pública.

10 P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS 7. Delimitar el ámbito de la evaluación: Temática Temporal Espacial Institucional 8. Construir la cadena de resultados A partir deEstablecer Objetivos operativosProductos Objetivos estratégicos (de componente) Efectos Objetivo centralImpacto (s)

11 Ejemplos de objetivos a resultados P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS DeA Mejorar los edificios escolares para satisfacer estándares nacionales de calidad, comodidad y seguridad. Los edificios escolares satisfacen los estándares nacionales de calidad, comodidad y seguridad. Lograr que los niños rurales logren igual acceso a servicios educativos. Los niños rurales logran igual acceso a servicios educativos. Mejorar los planes de estudio para satisfacer los estándares de la economía de mercado. Planes de estudio mejorados para satisfacer los estándares de la economía de mercado. Brindar a ayuda educativa a los niños más necesitados. Los niños más necesitados están recibiendo ayuda educativa.

12 P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS 9. Seleccionar indicadores clave para evaluar los resultados de la política pública. Los indicadores son la variables cualitativas y cuantitativas que ofrecen un medio sencillo y confiable para medir el logro, para reflejar los cambios conexos con un intervención o para ayudar a estimar el desempeño de una organización, según el efecto propuesto. Jody Zall Kusek y Ray C. Rist. Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados. ¿Cuál es el número ideal de indicadores para cualquier resultado? El número mínimo que responda a la pregunta ¿Se ha logrado el resultado?

13 P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS Preguntas clave: ¿Cómo se va a distinguir el éxito o el logro cuando ocurra? ¿Se están haciendo progresos hacia el logro de los resultados deseados? Se requiere indicadores para todos los niveles de los resultados: Productos Efectos Impactos TENER EN CUENTA QUE LOS INDICADORES DEBEN RESPONDER A LOS INTERESES DE DIFERENTES ACTORES SOCIALES

14 P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS ObjetivoResultadoIndicadoresDatos básicos Mejorar el acceso a programas pre- escolares a los niños del país Los niños del país disponen de mejor acceso a programas preescolares 1.Porcentaje de niños urbanos matriculados en educación pre-escolar. En 1999: 75% de niños con edades entre 3 y 5 años 2.Porcentaje de niños rurales matriculados en educación pre-escolar. En 2000: 40% de niños con edades entre 3 y 5 años Ejemplo de indicadores de resultado para una política pública

15 P ASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS Características de los indicadores AtributosDescripción ClarosPreciso e inequívoco RelevanteApropiado al tema EconómicoDisponible a un costo razonable MesurableAcepta validación independiente AdecuadoOfrece una base suficiente para estimar el desempeño

16 OBJETIVOS DE CONTROL Y EVALUACIÓN HACIA FUERAHACIA ADENTRO ResultadosProcesosOrganización Nivel del análisis Información Registros de calidad y cantidad de resultados Registros de uso de recursos Registros de disponibilidad de infraestructura, recursos humanos y tecnología. Control Comparación con estándares de resultados Comparación con estándares de procesos Comparación con estándares organizativos Evaluación Comparación con expectativas y necesidades de eficacia y efectividad Comparación con expectativas y necesidades de eficiencia Comparación con expectativas y necesidades de decisores válidos

17 S ELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS Se requiere indicadores para cada uno de los niveles de resultados ¿Cuál es el número ideal de Indicadores? El número mínimo que responda a la pregunta ¿Se han logrado los resultados? Características de los indicadores Claro (precisos e inequívocos) Relevante ( apropiado al tema en cuestión) Económico (disponible a un costo razonable) Mensurable (Es posible medirlo en forma independiente) Adecuado ( Ofrece una base suficiente para estimar el desempeño)

18 S ELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS Todos los indicadores tienen costos e implicaciones de trabajo, en consecuencia, se debe tener cuidado y criterio para elegir los indicadores. Resultado que se va a medir: Indicador seleccionado: ¿Es el indicador… 1.Una reflexión tan directa como sea posible del resultado mismo? 2.Suficientemente preciso para garantizar una medición objetiva? 3.Exige la recolección más práctica de los datos y con mayor eficiencia de costos? 4.Sensible al cambio en el resultado, pero relativamente insensible a otros cambios?

19 S ELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS Utilización de indicadores sustitutos Solo se deben utilizar cuando No se disponga de datos para indicadores directos La recolección de datos para el indicador directo resulta demasiado costosa. No es posible obtener datos a intervalos regulares El indicador sustituto tiene que dar evidencia, por lo menos aproximada, del desempeño. Es mejor estar aproximadamente en lo cierto, que precisamente equivocado. Anónimo

20 S ELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS Construcción de indicadores Se va a necesitar más de un intento para desarrollar indicadores adecuados. Va a tomar tiempo llegar a un conjunto final de indicadores La función medular de cualquier proceso de monitoreo y evaluación es proporcionar datos válidos y periódicos sobre los resultados que se están evaluando.

21 M ATRIZ PARA EVALUACIÓN DE POLÍTICAS PÚBLICAS ObjetivoResultadoIndicadoresDatos básicos ( línea de base) sobre los indicadores Mejorar los resultados de la educación primaria Han mejorado los resultados de la educación primaria. Porcentaje de estudiantes de 6º grado con puntajes de 70% o más, en pruebas estandarizadas de matemáticas y ciencias. En 2002: 75% de estudiantes obtuvo un puntaje de 70% o más en matemáticas y 61% obtuvo un puntaje de 70% o más en ciencias.

22 E STABLECER Y RECOLECTAR DATOS BÁSICOS SOBRE INDICADORES Establecer datos básicos sobre indicadores Construcción de datos básicos: 8 preguntas clave: ¿Cuáles son las fuentes de los datos? ¿Cuáles son los métodos de recolección de datos? ¿Quién conseguirá los datos? ¿Con qué frecuencia se recolectarán los datos? ¿Quién analizará los datos? ¿Quién presentará informes sobre los datos? ¿Quién utilizará los datos?

23 M ÉTODOS DE RECOLECCIÓN DE DATOS 1. Métodos informales y menos estructurados Conversación con personas interesadas Entrevistas con la comunidad Visitas de campo Examen de registros oficiales Entrevistas con informantes clave Entrevistas con grupos de estudio 2. Métodos formales y más estructurados Observación directa Cuestionarios Entrevistas individuales Entrevistas de grupo Censos

24 C OMPARACIÓN DE ALGUNOS MÉTODOS DE RECOLECCIÓN DE DATOS CARACTERISTICASMETODOS DE RECOLECCION DE DATOS Examen de registros oficiales CuestionariosEntrevistas CostoBajoModeradoAlto Grado de capacitación requerida para los recolectores BajoModeradoAlto Tiempo para finalización Depende de la cantidad de información disponible Moderado Tasa de respuestaAlto, si los registros son buenos y confiables Depende de la forma en que se distribuya Moderado