QUE EVALUAR? TALLER NACIONAL SOBRE EVALUACION DE IMPACTO

Presentación del tema: "QUE EVALUAR? TALLER NACIONAL SOBRE EVALUACION DE IMPACTO"— Transcripción de la presentación:

1 QUE EVALUAR? TALLER NACIONAL SOBRE EVALUACION DE IMPACTO
Evaluando el Impacto de los Programas de Desarrollo: De Promesas a Evidencias El Salvador, 2-5 de Marzo del 210

2 ¿Cómo transformar a este profesor…

3 …en éste?

4 QUÉ Y PARA QUÉ EVALUAR? Evaluamos la gestión de un gobierno para medir sus resultados e impactos ante los objetivos estratégicos planteados, y para identificar los factores que facilitan o impiden una implementación exitosa. Se evalúa su gestión, sus procesos, sus resultados, sus impactos. Se evalúa para: Alinear acciones y estrategias para aplicar con efectividad los recursos limitados y cumplir con los objetivos

5 QUÉ Y PARA QUÉ EVALUAR? Avanzar en el proceso democrático y rendir cuentas: ¿El gasto público llega a la población objetivo? ¿Los programas se instrumentan como se tiene dispuesto por ley ? ¿Los programas alcanzan sus objetivos? Contar con información creíble que permita evidenciar los programas que tienen resultados, para que sean sostenibles y los blinde de acciones clientelares y partidistas para cumplir sus objetivos. Realizar cambios a tiempo que permitan el logro de los objetivos propuestos y evitar las distorsiones riesgosas o indeseadas.

6 QUÉ Y PARA QUÉ EVALUAR? Sabemos que la evidencia anecdótica no es suficiente, por tanto necesitamos responder a preguntas específicas de los programas, tales como: El programa está llegando a la población objetivo? La prestación de servicios es coherente con las especificaciones del diseño de la política/programa? Los procesos operativos son eficientes para otorgar la prestación de los bienes y servicios definidos en el diseño del programa? ¿Se puede atribuir al programa la causa de un cambio en el bienestar de la población objetivo? o ¿ existen otras causas? ¿De qué magnitud es el cambio? ¿El aumento en bienestar de la población justifica el costo del programa? Cual es la percepción de los usuarios/beneficiarios del programa?

7 Porqué un Sistema de Evaluación

8 Los objetivos de un SE Es un instrumento para ayudar a la mejor gestión Sus objetivos son: Guiar la toma de decisiones de la política/programa Rendir cuentas del uso de los recursos en términos de resultados e impactos. Generar acuerdos básicos sobre las lógicas causales de una política/programa y evidenciar el cumplimiento de objetivos.

9 Cómo se construye un Sistema de Evaluación?
Modelo de la logica causal de un programa, proyecto u organizacion Definición de medidas claras y significativas: Distinción entre resultados e impactos Medidas sostenidas con evidencia concreta confiable Medición de resultados e impactos: cuantitativa y cualitativamente

10 Hacia un SE El SE entonces:
Permite observar la evidencia de los impactos y resultados. Permite analizar la lógica entre los esfuerzo de gestión y los gastos administrativos, como verdaderos coadyuvantes al resultado del impacto social. Permite encadenar con mayor claridad y transparencia cómo los recursos presupuestarios están siendo utilizados de forma eficiente y eficaz en el alcance de objetivos y no como presas de la inercia. Obliga a una percepción explicita del logro en el tiempo, definiendo riesgos tomados y aprendizajes alcanzados.

11 Peligros de los SE Visión de túnel Sub-optimización Miopía
Sobre medición Error de representación Error de Interpretación Simulación Osificación Falta de congruencia entre objetivos Falla en medir fenómenos complejos Falla de control para procesar indicadores Falla en adaptar o ver nuevas circunstancias

12 EL SE Y LA CADENA DE RESULTADOS
TERMINOLOGIA Def: resultados El resultado o impacto (previsto o no previstos, positivo y/o negativo) de una política o intervención Def: cadena de resultados Secuencia lógica que a través de un programa/intervención, transforma a inputs en outputs específicos, contribuyendo así a medir cambios en outcomes.

13 EL SE Y LA CADENA DE RESULTADOS
La cadena de resultados contesta 3 preguntas: ¿ QUÉ es lo que se logra con el proyecto? ¿ CÓMO se va a realizar el logro planteado? ¿CÓMO saber si ese logro se ha cumplido?

14 Cadena de resultados (en general)
EI Insumos (Recursos) Personal Equipamiento Dinero Actividades (Lo que el proyecto realiza) Capacitación Promoción Provisión Productos (Outputs) (Bienes y Servicios) Provisión de servicios Transferencia de recursos Resultados (Outcomes) Cambios de comportamiento de los beneficios (aprendizaje, consumo, estado de la salud) Cambios en el bienestar de grupo objetivo Resultados a largo plazo Reducción de la pobreza nacional Reducción de desigualdad Mejor productividad de la fuerza laboral Resultados Implementación M&E Tradicional M&E Basado en Resultados

15 Cadena de resultados (Salud)
EI Insumos (Recursos) Enfermeras promotores Equipo (material educativo, básculas, autos, etc) Micronutrientes/suplementos Actividades (Lo que el proyecto realiza) Capacitación de las madres Pesar y monitorear el peso de los niños Productos (Outputs) (Bienes y Servicios) Madres con controles prenatales completos Aumento de la lactancia materna hasta los 6 meses Resultados (Outcomes) Reducción de la desnutrición en niños Reducción de la mortalidad infantil Resultados a largo plazo Mejor bienestar de la población Mayor productividad de la población Implementación Resultados M&E Tradicional M&E Basado en Resultados

16 Consejo Nacional de Evaluación de la Política de Desarrollo Social
SITUACION ACTUAL En muchos países sucede que: … tienen que elaborar muchos informes para diferentes usuarios Tienen que reportar muchos indicadores - Honestamente muchos de esos indicadores no son útiles para tomar mejores decisiones - Los indicadores miden parcialmente el desempeño de los programas Retos de coordinación institucional Consejo Nacional de Evaluación de la Política de Desarrollo Social

17 Consejo Nacional de Evaluación de la Política de Desarrollo Social
SITUACION ACTUAL Los indicadores más relevantes hoy en día son: El presupuesto asignado a cada programa El % del presupuesto ejercido cada año El número de microcréditos/becas/cursos de capacitación/litros de leche/metros cuadrados pavimentados/etc. …además de MUCHOS otros Pero falta medir RESULTADOS: ¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito? ¿Los desempleados que recibieron capacitación encontraron trabajo? ¿El presupuesto debe asignarse por inercia o de acuerdo a los Resultados del programa? Consejo Nacional de Evaluación de la Política de Desarrollo Social

18 Quisiéramos pasar de esto:
Componentes Actividades Propósito??? Implementación Resultados Fin????? Consejo Nacional de Evaluación de la Política de Desarrollo Social 18

19 … a esto: Componentes Actividades Resultados Propósito? Implementación
Fin? Resultados Propósito? Componentes Implementación Actividades Consejo Nacional de Evaluación de la Política de Desarrollo Social 19

20 EL SE, LA CADENA DE RESULTADOS Y EL MARCO LOGICO
Para el SE es una herramienta para fortalecer el diseño, la ejecución y la evaluación de políticas/programas. Se sustenta en dos principios básicos: el encadenamiento (vertical y horizontal) y la toma de decisiones participativas. Es una técnica muy útil para establecer la CADENA DE RESULTADOS. Identificando un problema de desarrollo, se pretende resolver el mismo mediante un proceso racional (lógico), que concatene los distintos niveles de objetivos (largo, mediano y corto plazo), sus respectivas estrategias y tácticas e indicadores para medir el logro de estos objetivos mediante la toma de decisiones participativas.

21 ¿Qué es la Matriz de Indicadores?
Es un instrumento de gestión de programas y proyectos. Permite fortalecer la preparación y la ejecución de programas y proyectos. Resume los principales resultados de la preparación del programa o proyecto. Permite un seguimiento gerencial de la ejecución. Facilita la evaluación de resultados e impactos.

22 Qué NO es la Matriz de Indicadores?
No es un método de evaluación ex-ante de proyectos o programas. No es un método de programación de la ejecución. No es autosuficiente para una buena gestión de programas y proyectos. No es una panacea ni un dogma.

23 Matriz de Indicadores Medios de verificación Objetivos Indicadores
Supuestos Fin Propósito Componentes Actividades

24 Logica vertical del programa
Si el programa está bien diseñado se pueden examinar los vínculos causales de abajo hacia arriba: Propósito Compo- nentes Activi- dades Fin El Fin representa un aporte al logro del objetivo estratégico institucional. Si se logra el Propósito, el programa, contribuirá al logro del Fin. Una vez concluido el Resumen Narrativo del proyecto es conveniente verificar la Lógica vertical. Como ya fue señalado, esta exige que exista una relación de causalidad desde abajo hacia arriba entre los distintos niveles de objetivos. Si el proyecto ha sido bien diseñado, deberá ser cierto que: Las Actividades especificadas para cada Componente son las necesarias y suficientes para producir el Componente; Los Componentes son los necesarios y suficientes para lograr el Propósito del proyecto; Si se logra el Propósito del proyecto, ello debería resultar en un significativa contribución al logro del Fin. Además, debe verificarse que el Fin, el Propósito, los Componentes y las Actividades del proyecto estén claramente especificados. No deben existir ambiguedades en la forma de entender los distintos niveles de objetivos. Cualquier involucrado debe estar de acuerdo entender lo mismo para cada objetivo detallado. De no ser así pueden surgir problemas durante la ejecución y puede ser muy difícil lograr consenso acerca de si han alcanzado los objetivos. Por ello, en caso de existir ambiguedades deberá buscarse una mejor forma de redactar el objetivo. Los Componentes son los necesarios y suficientes para lograr el Propósito. Las Actividades son las necesarias y suficientes para producir cada Componente.

25 Objetivos Esta columna se conoce también como Resumen Narrativo del Programa (Proyecto). Responde a las interrogantes: ¿A que objetivo estratégico contribuye el programa?  ¿Qué se espera lograr con el programa?  ¿Qué bienes o servicios debe producir el programa?  ¿Cómo se producirán los Componentes?  Fin Propósito Compo- nentes Activi- dades La primera columna de la matriz, Objetivos, se conoce también como Resumen Narrativo del Proyecto. Esta permite responder a las interrogantes: ¿Cuál es la finalidad del proyecto?, ¿Para que se hace el proyecto?, ¿Qué se va a hacer? y ¿Cómo se hará?. La casilla superior corresponde al FIN del proyecto, el cual es un objetivo de desarrollo al cual el proyecto contribuirá. Nos dice cual es la finalidad que se persigue con la ejecución del proyecto a mediano o largo plazo. La segunda casilla corresponde al PROPOSITO del proyecto, que es resultado directo que se espera lograr cuando se haya concluido la ejecución del proyecto. Nos dice para que se hace el proyecto. Componentes: Son los bienes o servicios que el proyecto debe entregar durante su ejecución. Todos son necesarios para el logro del propósito. Actividades: Son las principales tareas que será necesario ejecutar para generar los componentes del proyecto. Se presentan agrupadas por componentes y en orden cronológico.

26 Objetivos Nacionales y Sectoriales
EL RESUMEN NARRATIVO: COMUNIDADES SOLIDARIAS URBANAS Apoyar a la población más pobre a elevar sus ingresos y a mejorar su calidad de vida. Objetivos Nacionales y Sectoriales Contribuir a asegurar el ejercicio de los derechos ciudadanos de la población en situación de pobreza y exclusión en las comunidades urbanas.. Fin Resultados Ampliar las capacidades y las oportunidades de la población pobre y vulnerable que vive en asentamientos urbanos precarios para que mejore su consumo, nutrición, salud, educación, seguridad ciudadana y acceso a servicios básicos comunitarios Propósito 1. Hogares acceden a servicios de nutrición, salud y educación para incrementar su capital humano 2. Hogares y comunidades acceden a servicios básicos de saneamiento, vías de comunicación y espacios comunitarios para mejorar su condición habitacional 3. Personas reciben capacitación y apoyos para mejorar su nivel y capacidad de generar ingresos 4. Instituciones, comunidades, escuelas y familias fortalecen su capacidad de prevenir la violencia y generan oportunidades atractivas de desarrollo a jóvenes en situación crítica Componentes Implementación Actividades Consejo Nacional de Evaluación de la Política de Desarrollo Social 26

27 ¿A que objetivo estratégico contribuye el programa?
Objetivo: Fin ¿A que objetivo estratégico contribuye el programa? Indica cómo el programa contribuirá a un objetivo estratégico institucional o nacional. Fin Propósito Compo- nentes Activi- dades Mejorar la calidad de vida de los grupos vulnerables de la población a través de la atención a adultos mayores. Como ya fue señalado, el FIN es un objetivo superior a cuyo logro el proyecto contribuirá de manera significativa. Dicho objetivo corresponderá a la solución a un problema de desarrollo que se ha detectado y que ha sido considerado el problema principal para la localidad, la región, el sector, la institución o la comunidad. Por ejemplo, si recordamos el árbol del problema antes desarrollado, el problema principal se definió como “alta tasa de enfermedades en la localidad” y que en el árbol de objetivos se planteó la solución al problema como “baja tasa de enfermedades en la localidad”, el FIN el proyecto podría definirse como “Baja morbilidad entre los habitantes de Pueblo Esperanza” (de ahora en adelante daremos dicho nombre a la localidad de nuestro ejemplo). Es importante tener presente que el proyecto no tiene porque ser suficiente para conseguir el FIN; basta con que haga una contribución significativa a lograrlo. Por ejemplo, es probable que un mejoramiento de las condiciones de sanidad ambiental también contribuya a disminuir la morbilidad en “Pueblo Esperanza”, pero sin duda el contar con un centro de salud y con capacitación en higiene tendrán un efecto significativo en la reducción de la morbilidad. Además, por lo general el Fin no será alcanzado al concluir la ejecución del proyecto, sino que para ello se requerirá que este haya estado en operación durante un cierto tiempo. Siguiendo con el ejemplo anterior, una disminución de la morbilidad no se notará tan pronto esté terminado el centro de salud y se haya entregado la capacitación en higiene. Puede requerirse de uno o mas años hasta que, como resultado del proyecto, se aprecie una reducción de la tasa de morbilidad. - El objetivo estratégico no se logra solo con el programa. - Varios programas pueden contribuir al mismo objetivo estratégico

28 Objetivo: Propósito Fin Propósito Compo- nentes Activi- dades
¿Qué se espera lograr con el programa? Describe el resultado directo obtenido de la utilización de los Componentes. Debe ser único. Fin Propósito Compo- nentes Activi- dades Adultos mayores en situación vulnerable y de abandono familiar mejoran su calidad de vida a través de una atención integral y permanente. El Propósito es el resultado esperado al finalizar la ejecución del proyecto. Es la consecuencia directa que se espera ocurrirá como resultado de disponer de los bienes o servicios que producira el proyecto. Por ser un resultado hipotético que depende de la utilización de los productos del proyecto por parte de los beneficiarios, su logro está más allá del alcance del equipo del proyecto. Por ejemplo, el equipo del proyecto puede desarrollar muy bien el programa de capacitación en higiene, pero el que la población aplique lo aprendido no depende de ellos. Cada proyecto debe tener un propósito único, ya que si existe más de uno no habrá claridad respecto a que se espera lograr. Ello afectará la ejecución del proyecto ya que existirá competencia por los recursos entre los objetivos planteados. El ejecutor puede priorizar el objetivo más sencillo de lograr o el menos costoso, el cual puede no ser el prioritario para el país, la comunidad o la institución. Además, se complicará la evaluación de resultados, pues el proyecto puede ser muy exitoso respecto a un objetivo y muy malo frente a otro. Por ejemplo, no sería conveniente definir el propósito del proyecto como “La población de Pueblo Esperanza cuenta con atención de salud y una escuela básica”. ¿Que priorizamos, el centro de salud o la escuela básica?. Tal como se hizo al contruir el árbol de objetivos, el propósito debe expresarse como una situación alcanzada, no como un resultado esperado. Por ejemplo, definir el propósito del proyecto como “Mejorar los habitos higienicos de la población de Pueblo Esperanza y brindarle atención de salud” es incorrecto. Mejor sería definirlo como “Población de Pueblo Esperanza posee buenos hábitos en higiene y cuenta con atención de salud”. El propósito tiene siempre una estrecha relación con el nombre que se le asigna al proyecto, aunque puede haber diferencias en la redacción. Por ejemplo, el proyecto propuesto podría denominarse “Mejoramiento de la atención de salud y los hábitos higienicos de la población de Pueblo Esperanza”. Debe ser único. Debe redactarse como si ya se ha logrado.

29 ¿Qué bienes o servicios se requiere producir?
Objetivo: Componentes ¿Qué bienes o servicios se requiere producir? Son los bienes y servicios que debe producir el ejecutor del programa para poder lograr el Propósito. Fin Propósito Compo- nentes Activi- dades C-1 C-2 C-3 Los Componentes son los productos finales que debe generar el equipo del proyecto. Puede tratarse de infraestructura (edificios, viviendas, caminos, tendido eléctrico, red de cañerías, etc.), bienes (mobiliario, equipos agrícolas, instrumental y equipos médicos, etc.) o servicios (capacitación, vacunación, nutrición, etc.). Cada componente debe ser necesario para el logro del propósito del proyecto. Si es posible prescindir de un componente sin que ello afecte el propósito en forma alguna (por ejemplo el plazo o la calidad), dicho componente sobra y debe ser eliminado. Asimismo, los componentes deben ser los necesario para que sea razonable esperar que una vez producidos estos se logrará el propósito del proyecto. Por ejemplo, no se logrará el propósito de que la población de Pueblo Esperanza tenga buenos hábitos higienicos y cuente con atención de salud si se construye el centro de salud pero no se lo dota del equipamiento necesario. Al igual que para el caso del Propósito, los Componentes deben definirse como resultados logrados, es decir, obras concluidas, capacitación entregada, equipos instalados, etc. Por ejemplo, definir un componente como “Construcción de un centro de salud” es incorrecto. Lo correcto es definirlo como “Centro de salud construido”. Pueden ser uno o varios (10 ya es mucho). Deben redactarse como si ya se han logrado.

30 Objetivos: Actividades
¿Cómo se producirán los Componentes? Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo para producir cada Componente. Fin Propósito Compo- nentes Activi- dades Las actividades son las tareas (acciones) que el equipo del proyecto tiene que llevar a cabo para producir cada Componente. Se listan en la MML en orden cronológico, agrupadas por componente. Es conveniente asignarles un número o código estructurado que permita identificar con facilidad a que Componente corresponde cada actividad. Deben listarse todas las actividades requeridas para producir cada componente. Cada actividad incluida debe ser necesaria para un componente, es decir, hay que cuidar de no incluir actividades prescindibles. Sin embargo, dado que la MML es un resumen del proyecto, no es recomendable “hilar muy fino” al listar las actividades. Es prefrible quedarse con unas pocas macro-actividades para cada componente. Luego, al preparar el programa de ejecución del proyecto, estas pueden ser subdivididas en actividades y sub-actividades. Por ejemplo, el componente “Centro de salud construido” podría tener asociadas la macro-actividades “Preparación del terreno”, “Construcción de obra gruesa” y “Terminaciones del centro”. Más tarde, al preparar el programa de ejecución, podriamos subdividir la macro-actividad “Preparación del terreno” en la actividades “Limpieza y desmalezado”, “Retiro de escombros”, “Nivelación del terreno”, “Cercado” y “Construcción de drenes”. Se presentan por componente En orden cronológico Son las grandes actividades, no detallar innecesariamente

31 Indicadores Proporcionan la base para supervisar y evaluar el programa. Establecen una relación entre dos o más variables. Pueden reflejar aspectos cualitativos o cuantitativos. Entregan información cuantitativa. Para cada indicador e establecen metas que nos permiten evaluar en que medida se cumplen los objetivos. Es recomendable acordarlos con los involucrados. Indicadores Fin Propósito Compo- nentes Activi- dades Los indicadores son fundamentales para una buena administración de la ejecución del proyecto y para la evaluación de sus resultados e impactos.Definen metas específicas que nos permiten conocer en que medida se cumplen los objetivos, en cuatro dimensiones: calidad, cantidad cronograma y costos. Además nos permiten analizar la eficacia de los resultados del proyecto y la eficiencia con que éste se ejecutó o se opera. Para ello los indicadores establecen una relación entre dos o más variables. Por ejemplo, entre un incremento porcentual de los ingresos medios de una comunidad (primera variable), en un determinado periodo de tiempo (segunda variable), comparado con el incremento porcentual de los ingresos medios en el país (tercera variable). Las variables pueden ser de tipo cuantitativo (medibles numéricamente) o cualitativo (expresadas en calificativos). Pero, para el cálculo de los indicadores, las variables de tipo cualitativo deben ser convertidas a una escala cuantitativa. Por ejemplo, la opinión de los alumnos acerca de los cursos de un programa de capacitación podría obtenerse al término de cada curso mediante una evaluación en que indiquen si el curso fue excelente, bueno, regular, malo o muy malo. Pero para el cálculo de un indicador basado en esta información será necesrio convertir esta información a una escala cuantitativa. Por ejemplo, podrá asignarse el valor “1” a muy malo, “2” a malo y así sucesivamente, para calcular luego el promedio de todas las opiniones. Así, los indicadores siempre nos entregaran información de tipo cuantitativo, lo cual tiene ventajas respecto a la objetividad del indicador. Es recomendable que los indicadores se discutan y consensuen con los principales involucrados en el proyecto. Ello permite que los resultados de la supervisión y evaluación del proyecto, y las recomendaciones y acciones que surgan de dichos procesos, sean aceptadas con mayor facilidad por los involucrados. Aunque con frecuencia pueden definirse muchos indicadores para cada uno de los niveles de objetivo de un proyecto, es recomendable utilizar el menor número a fin de concentrar los esfuerzos y la atención en unos pocos indicadores relevantes. Un excesivo número de indicadores requiere de mucho esfuerzo para recopilar la información necesaria y calcularlos, distrayendo así la atención del equipo de los objetivos del proyecto. En algunos proyectos, puede ser difícil definir indicadores apropiados. En tales casos es recomendable recurrir a indicadores indirectos (“proxy”). Ante la imposibilidad de medir lo que efectivamente nos interesa, medimos otra variable que tenga una relación lo más directa posible con el fenómeno de interés. Por ejemplo, puede ser muy difícil determinar el nivel real de ingresos de una comunidad por la tendencia usual a subdeclararlos, pero podemos observar sus condiciones de vida (vivienda, electrodomésticos, etc.) de allí inferir si los ingresos han mejorado. 31

32 Tipo de indicadores Eficacia:
Según el tipo de información que entregan se distinguen indicadores de: Eficacia: Miden el nivel de cumplimiento de los objetivos. En general se relacionan con la Población Potencial u Objetivo. Ej. Tasas de terminación de educación básica de los beneficiarios respecto a la nacional. Ej. Porcentaje del total de niños beneficiarios del Programa que están en control nutricional. Eficiencia: Relacionan productos con costos o insumos. Ej. Porcentaje del presupuesto del Programa que se gasta en su administración. Ej. Número promedio de familias atendidas por médico. Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”

33 Tipo de indicadores Calidad:
Evalúan atributos respecto a normas, referencias externas o satisfacción de los beneficiarios (usuarios). Ej. Porcentaje del total de becarios que considera atractivo el incentivo . Ej. Porcentaje del total de unidades médicas en el Programa que están acreditadas. Economía: Reflejan capacidad para generar y movilizar recursos financieros. Ej. Porcentaje de ejecución del presupuesto asignado. Ej. Porcentaje de recuperación de créditos. Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”

34 Características de un buen indicador
Claro: Preciso y sin ambigüedades Relevante: apropiado para el tema Económico: disponible a un costo razonable Monitoreable: factible de validación Un buen indicador debe poseer las siguientes características; Ser objetivo, lo cual quiere decir que debe ser independiente de nuestro modo de pensar y sentir. Nuestro punto de vista y nuestras emociones no deben influir en el indicar en forma alguna. Por ejemplo utilizar como indicador del logro de un objetivo el valor promedio de un puntaje asignado por los miembros del equipo del proyecto no sería para nada objetivo. Si lo sería un indicador tal como “Incremento mensual en el número de capacitados”. Ser medible objetivamente, es decir, tampoco debe influir en la medición del indicador nuestro modo de pensar y nuestros sentimientos. Por ejemplo, basar un indicador en los resultados de una encuesta aplicada a un grupo seleccionado “a dedo” por un integrante del equipo del proyecto sería incorrecto. Para que la medición fuese objetiva la encuesta deberái aplicarse a un grupo seleccionado en forma aleatoria. Ser relevante, lo que exige que el indicador mida un aspecto importante del logro del objetivo. De nada sirve un buen indicador (que cumpla con las demás condiciones aquí discutidas), si lo que mide no es importante respecto al objetivo. Por ejemplo, si se quisiera medir la eficiencia con que se realiza el armado de una “mediagua”, el indicador “Número de clavos clavados versus número de clavos que se doblaron” no sería para nada relevante. Ser específico, característica que requiere que el indicador mida efectivamente lo que se quiere medir. Por ejemplo, un indicador definido como “Incremento porcentual anual en el nivel medio de ingreso de la comunidad beneficiada por el proyecto” no sería específico, ya que el incremento de los ingresos podría deberse también a factores externos al proyecto. Un indicador específico podría ser “Diferencia en el incremento porcentual anual de los ingresos medios de los beneficiados por el proyecto respecto de los no beneficiados”. Ser práctico y económico, lo cual requiere que la obtención y el procesamiento de la información para el cálculo del indicador requieran poco trabajo y sean de bajo costo. Por ejemplo, indicador cuyo cálculo requiera hacer extensivas encuestas y la contratación de un econometrista para analizar los resultados no sería práctico ni económico. Debe estar siempre asociado a un plazo, es decir, debe especificarse el período de tiempo para el cual se calculará el indicador (mensual, anual, bi-anual, a los cuatro años de iniciado el proyecto, etc.). Adecuado: Debe proporcionar suficiente información para medir su funcionamiento.

35 Indicadores Fin Propósito Compo- nentes Activi- dades
Miden contribución al logro del fin (a mediano y largo plazo). Comparación de la diferencia entre la escolaridad promedio de los hijos de 20 años de edad de las familias beneficiarias y la de sus padres con la misma diferencia en la población nacional. Miden los resultados al terminar la ejecución del proyecto o al cabo de algún tiempo de operación del programa. Indicadores de resultados Fin Indicadores de impactos Indicadores de gestión Indicadores de servicios Propósito Compo- nentes Activi- dades Escolaridad de los niños y jóvenes beneficiarios con respecto a la nacional. Recursos entregados respecto a los costos directos de las transferencias monetarias. Tasa de terminación de educación básica de los beneficiarios respecto a la nacional. Miden eficacia, eficiencia,y calidad en el logro de los componen-tes. Porcentaje de becarios de Primaria que transitan a Secundaria. Ejercicio presupuestal del componente Salud. Porcentaje de embarazadas beneficiarias que están en control prenatal. No se utiliza el mismo tipo de indicadores en los distintos niveles de objetivos, ya que lo que se pretende medir es diferente. A nivel de Fin se trata de medir la contribución del proyecto al logro del Fin, situación que sólo será posible observar a mediano o a largo plazo. Por lo general, los indicadores utilizados combinarán en su definición aspectos de cantida, calidad y plazo. Por ejemplo, un indicador a nivel de Fin podría ser: “Disminuir en un 50% la tasa de morbilidad de los 450 habitantes de Pueblo Esperanza al cabo de tres años.” A nivel de Propósito se intenta medir el impacto generado al término de la ejecución del proyecto. También en este caso los indicadores tienden a incorporar las dimensiones de calidad, cantidad y plazo. Por ejemplo un indicador a nivel de Propósito podría ser: “Porcentaje de la población que aprueba test de conocimientos sobre higiene al término del proyecto” A nivel de los Componentes, los indicadores suelen medir eficacia, eficiencia y calidad en la provisión de los bienes o servicios por el proyecto. Por ejemplo, indicadores a este nivel podrían ser: “Porcentaje de la población objetivo capacitada al término del proyecto” (eficacia), “Número de capacitados por capacitador por año” (eficiencia) y “Nivel de satisfacción de los capacitados” (calidad). Por último, a nivel de las actividades los únicos indicadores empleados suelen ser el costo presupuestado de cada actividad. Ello a fin de no extender demasiado la MML. Pero si se considera importante hacerlo y no hay muchas actividades, también pueden agregarse otros indicadores para cada una. Por ejemplo, podría indicarse también el plazo programado para la ejecución de cada actividad. Permiten dar seguimiento a las actividades (C4) (eficiencia, eficacia) Sobres de complemento alimenticio entregados a niños beneficiarios.

36 Recomendaciones sobre Indicadores
Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste (ej.: disminución de enfermedades bronco-pulmonares, disminución de enfermedades gastro-intestinales). Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (ej.: porcentaje de disminución de la inasistencia escolar por mes). Por último es conveniente señalar que: Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste. Por ejemplo, al analizar la disminución de la morbilidad en la población puede ser útil contar con indicadores que nos permitan conocer por separado la disminución de enfermedades bronco-pulmonares y la disminución de enfermedades infecto-contagiosas. En todo caso no debe olvidarse que la MML debe ser un buen resumen de los aspectos más importantes del proyecto, por lo que no debe abusarse en cuanto al número de indicadores para cada objetivo (tres o cuatro suelen ser suficientes). El equipo responsable de ejecutar el proyecto puede requerir de un mayor número de indicadores para su gestión. Estos se tratarán tal como se ha descrito antes, pero no se incorporarán en la MML si no son relevantes para otros involucrados. Por ejemplo, al jefe del equipo podría interesarle conocer el número promedio de horas extras requeridas por los miembros del equipo para completar las tareas encomendadas. Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es recomendable buscar indicadores indirectos (“proxy”). Estos son indicadores que miden alguna característica distinta de la deseada, pero que se sabe está altamente correlacionada con la que queremos medir. Por ejemplo, si no existiesen estadísticas sobre morbilidad de la población y fuese muy costoso generarlas, un indicador indirecto de la disminución de la tasa de morbilidad podría ser: “Porcentaje de disminución de la inasistencia escolar por mes”.

37 Medios de Verificación ¿Cómo obtenemos la evidencia?
Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores). Pueden incluir: Estadísticas Material publicado Inspección visual Encuestas Informes de auditoría Registros contables Medios de verificación Fin Propósito Compo- nentes Activi- dades MEDIOS DE VERIFICACION Los medios de verificación corresponden a las fuentes de información, primarias o secundarias, que se utilizará para obtener la información que permitira calcular los indicadores. La existencia de esta columna en la MML tiene la ventaja de obligar a quién formula el proyecto y define los indicadores a identificar fuentes existentes de información. O bien, si estas no están disponibles, a incluir en el diseño del proyecto actividades orientadas a recoger la información requerida. Los medios de verificación pueden incluir: Estadísticas existentes o preparadas específicamente para el cálculo de los indicadores del proyecto. Fuentes posibles de estadisticas son el INE ( los distintos ministerios (en particular los de Salud, Educación, Vivienda, Trabajo, Interior, Agricultura, Economía y Planificación), distintos servicios (por ejemplo SAG, Registro Civil, Impuestos Internos, Sernapesca) y ciertos organismos internacionales (CEPAL, FAO, OIT, FMI, etc.) y ONG. Por cierto que también en la propia institución que adelanta el proyecto pueden existir estad´siticas útiles para el cálculo de los indicadores. Material publicado que contenga información útil para verificar el logro de los objetivos del proyecto. Puede tratarse por ejemplo de estudios cuyo tema se relacione con el proyecto, publicaciones en periódicos o revistas, tésis universitarias y normas nacionales o internacionales (especialmente para definir las metas). Una buena forma de acceder a material de este tipo con rapidez y a bajo costo es buscarlo en internet. Inspección visual por parte de algún especialista. En particular para verificar el logro de los componentes, tanto en calidad como en cantidad, puede recurrirse muchas veces a la visita de un experto en el tipo de bienes o servicios que el proyecto genera. El resultado de encuestas es un medio de verificación de uso frecuente. Estas pueden haberse realizado con otro fin, o ser ejecutadas específicamente como una actividad del proyecto. Son especialmente útiles en el caso de indicadores cuyo objetivo sea medir calidad. Los informes de auditoría y registros contables del proyecto son medios de verificación que ayudan al calculo de indicadores de costos y de eficiencia.

38

39

40 ¿Cómo incorporamos los riesgos?
Supuestos ¿Cómo incorporamos los riesgos? Cada supuesto corresponde a un riesgo que enfrenta el proyecto y que está más allá del control directo de la gerencia del proyecto. El supuesto se expresa como una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos. Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia. Supuestos Fin Propósito Compo- nentes Activi- dades Al preparar un proyecto, así como al evaluarlo y al planificar su ejecución es necesario recurrir a una serie de supuestos. Ello es consecuencia de que se está trabajando sobre un futuro hipotético e incierto.Lamentablemente, asociado a cada supuesto hay un riesgo: que el supuesto no se cumpla. Dependiendo del impacto que el no cumplimiento del supuesto tenga sobre el proyecto, este puede verse demorado, puede ver incrementado su costo, puede lograr sólo parte de sus objetivos, o puede fracasar del todo. Una de las grandes contribuciones que la MML hace a la gestión de proyectos es obligar al equipo que prepara el proyecto a identificar los riesgos en cada nivel de objetivos: Actividad, Componente, Propósito y Fin. En particular, se identifican los riesgos que comprometan el logro de un objetivo de nivel superior, aun cuando se haya logrado el de nivel inferior. Por ello estos riesgos se expresan como supuestos que tienen que cumplirse para avanzar al nivel siguiente en la jerarquía de objetivos. La lógica de los supuestos es la siguiente Si se completan las Actividades programadas y se cumplen los supuestos asociados a estas, se logrará producir los componentes. Si se producen los Componentes detallados en la MML y se cumplen los supuestos asociados a estos, se logrará el Propósito del proyecto. Si se logra el Propósito del proyecto y se cumplen los supuestos asociados a éste, se contribuirá al logro del Fin. Si se contribuyó al logro del Fin y se mantienen vigentes los supuestos asociados a este, se garantizará la sustentabilidad de los beneficios del proyecto. Es importante tener presente que el cumplimiento de los supuestos que se incorporan a la MML está fuera del ámbito de gestión del equipo que ejecutará el proyecto. Es decir, el equipo no puede hacer nada por evitar la ocurrencia del riesgo. Ello ya que si el riesgo puede ser evitado a un costo razonable, entonces deberán incorporarse a la estructura del proyecto los componentes y las actividades necesarias para evitarlo.

41 La población asiste a los cursos de capacitación en higiene
Supuestos Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa. Acontecimientos, condiciones o decisiones que tienen que suceder para completar los Componentes del proyecto. Supuestos Fin Propósito Compo- nentes Activi- dades La población asiste a los cursos de capacitación en higiene A nivel de las Actividades, los supuestos corresponderán a Acontecimientos, condiciones o decisiones que tienen que suceder para completar los Componentes del proyecto. Por ejemplo, podemos programar un curso de capacitación en higiene, preparar material de apoyo y realizar el curso, pero si sólo asiste un reducido número de alumnos no habremos logrado el componente “Población capacitada en higiene”. Si hay una probabilidad razonable de que ello ocurra, corresponderá incorporar el supuesto: “La población asiste a los cursos de capacitación en higiene”.

42 Supuestos Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa. Supuestos Fin Propósito Compo- nentes Activi- dades La población aplica lo aprendido sobre higiene en sus actividades diarias A nivel de los Componentes, los supuestos corresponden a acontecimientos, condiciones o decisiones que tienen que ocurrir para que los componentes del proyecto alcancen el Propósito. Por ejemplo, si la población de la localidad no aplica en su vida diaria lo que se les enseño en el curso de capacitación en higiene, no de logrará plenamente el Propósito del proyecto. Si hay una probabilidad razonable de que ello ocurra, corresponderá incorporar el supuesto: “La población aplica lo aprendido sobre higiene en sus actividades diarias”. Acontecimientos, condiciones o decisiones que tienen que ocurrir para que los componentes del proyecto alcancen el Propósito.

43 No ocurrren plagas o epidemias importantes.
Supuestos Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa. Supuestos Fin Propósito Compo- nentes Activi- dades Acontecimientos, condiciones o decisiones que tienen que ocurrir para que el proyecto contribuya significativamente al logro del Fin. A nivel de Propósito los supuestos corresponderán a acontecimientos, condiciones o decisiones que tienen que ocurrir para que el proyecto contribuya significativamente al logro del Fin. Por ejemplo, no se logrará reducir la tasa de morbilidad como resultado de la existencia de un centro de salud en la localidad si la población no utiliza los servicios que este les brinda. Si hay una probabilidad razonable de que ello ocurra, corresponderá incorporar el supuesto: “La población concurre regularmente a atenderse y a controles en el centro de salud”. No ocurrren plagas o epidemias importantes.

44 Supuestos Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa. Supuestos Fin Propósito Compo- nentes Activi- dades Acontecimientos, condiciones o decisiones importantes para la "sustentabilidad” de los beneficios generados por el proyecto. A nivel de Fin los supuestos corresponderána a acontecimientos, condiciones o decisiones importantes para la "sustentabilidad” de los beneficios generados por el proyecto. Es decir, son condiciones que tienen que estar presentes a futuro para que el proyecto puede seguir produciendo los beneficios que justificaron su ejecución. Por ejemplo, si la población capacitada no transmite sus conocimientos sobre higiene a su familia, no se mantendrán a futuro los buenos hábitos que resultan en una baja de la tasa de morbilidad. Si hay una probabilidad razonable de que ello ocurra, corresponderá incorporar el supuesto: “La población enseña los hábitos de higiene aprendidos a sus hijos e hijas”. La población enseña los hábitos de higiene aprendidos a sus hijos e hijas.

45 Diagrama para el análisis de supuestos
¿El riesgo es externo al proyecto? Si ¿El riesgo es importante? Si No ¿Probabilidad de ocurrencia? Poco probable No incluir Probable Muy probable La figura siguiente presenta un diagrama de flujo de las preguntas que debe hacerse el equipo del proyecto antes de incorporar un riesgo como supuesto a la MML. SUPUESTO ¿Se puede rediseñar el proyecto? Rediseñar Si No Supuesto fatal

46 EL MONITOREO Y LA EVALUACION
Monitoreo genera información necesaria para medir el nivel de alcance del fin, el propósito y los bienes y servicios generados y/o entregados. Sucede casi de manera automática en los negocios (ventas, ingresos…) pero tiene que ser al propósito en el sector público Permite generar información continua y sistemática para ver si las actividades realizadas son suficientes, eficientes y eficaces para generar y/entregar los bienes y servicios que permiten cumplir con el propósito y llegar al fin del programa. Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”

47 EL MONITOREO Y LA EVALUACION
Tendencia de resultados a través del tiempo ej. matricula escolar, resultados de los exámenes, mortalidad ¿Se mueve en la dirección correcta? Evaluación del “Proceso” Implementación: ¿Se está implementando el programa como se diseño? Eficiencia: ¿Se pueden hacer más eficientes las operaciones? Focalización: ¿Están llegando los beneficios a los individuos correctos? Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”

48 Tipos de Evaluación Evaluación de Impacto Resultados Fin
Evaluación de Consistencia Evaluación de Diseño Propósito Evaluación operativa Monitoreo de procesos Evaluación de cobertura Componentes Implementación Evaluación financiera Monitoreo presupuestal Actividades 48 48

49 Objetivos Estratégicos
Sistema de Evaluación y Monitoreo basado en Resultados: el caso de México Programa Anual de Evaluación Objetivos Estratégicos Evaluación de Consistencia y Resultados Evaluación de Impacto Resultados Evaluación de procesos Matriz de Indicadores Evaluación de indicadores Evaluación Estratégica Gestión por Resultados Evaluación Específica Sistema de Evaluación del Desempeño Programas Nuevos Evaluaciones Complementarias Convenio de Compromisos para el Mejoramiento de la Gestión

50 EL MONITOREO Y LA EVALUACION GRACIAS POR SU ATENCION!!!!!
Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado” Autoría: laminas elaboradas por CONEVAL, CEPAL y Concha Steta.