Del modelo a las prácticas Mariano Nino (UBA-CONICET)

1. Presentación 2. Propósitos de la evaluación 3. Condiciones poco favorables para la evaluación 4. Utilización de las evaluaciones 5. Enfoque del Marco Lógico 6. Sistema de seguimiento y evaluación 7. Ventajas del enfoque 8. Posibles críticas al enfoque 9. Roles del evaluador

 ¿Qué entendemos por evaluación?  Programas y proyectos  ¿Qué tiene de similar y diferente a la investigación académica?  Importancia de la evaluación  Breve historia de la evaluación

 Importancia de la identificación temprana de motivos reales y expectativas de los diferentes actores  ¿Quiénes están interesados en la evaluación?  Propósitos “legítimos” y anunciados ◦ Herramienta para la toma de decisiones ◦ Aprendizaje institucional ◦ Rendición de cuentas ◦ Ampliar conocimiento general sobre consecuencias de intervenciones sociales  Propósitos encubiertos ◦ Cumplir con ritual ◦ Utilización manipuladora

 Escasa claridad de contenidos, actividades y objetivos de los programas  Falta de acuerdo sobre estos  Inexistencia de algunas rutinas establecidas y de una cierta estabilidad sobre estas  Limitaciones por financiadores o administradores sobre lo que la evaluación puede estudiar  Insuficiente dinero o equipos capacitados

 Evaluación como panacea  Mayor modestia y concientización sobre dificultades y limitaciones  Existencia de otros elementos para la toma de decisiones  Necesidad de incidir en proceso complejo de toma de decisiones  Otros usos más allá de los inmediatos y directos

 Objetivo  Primera parte: entender y caracterizar el programa ◦ Descubrir la realidad del programa / familiarización ◦ Identificación de objetivos del programa:  Objetivos explícitos  Obtener información de los diferentes actores  Taller para construcción de árbol de problema (problema principal, causas, efectos y relaciones causales internas o premisas teóricas latentes)

 Segunda parte: matriz del proyecto (resumen del proceso de desarrollo)  Ejecución de un programa como consecuencia de conjunto de eventos con relación causal interna ◦ Objetivo global: objetivo a largo plazo al que contribuirá el proyecto (justificación del proyecto) ◦ Objetivo específico: efectos esperados del proyecto para los beneficiarios directos (propósito del proyecto, más allá del control directo de la dirección del proyecto) ◦ Resultados: objetivos que la dirección del proyecto debe lograr y mantener durante la vida del proyecto. Su impacto combinado deberá bastar para lograr objetivo inmediato ◦ Actividades: expresadas como procesos ◦ Insumos: se expresan los principales en términos de presupuesto, personal y bienes  Cada nivel debe contener condiciones necesarias y suficientes para el siguiente nivel superior

 No existe certeza absoluta de que lo previsto se cumpla. Proceso como secuencia de hipótesis de desarrollo que se pueden analizar y describir ◦ si los insumos están disponibles, entonces las actividades se realizarán ◦ si las actividades se realizan, entonces se producirán los resultados ◦ si se producen los resultados, entonces se logra el objetivo específico ◦ a largo plazo, esto contribuirá al cumplimiento del objetivo global  Las incertidumbres del proceso se explican con factores externos a cada nivel

 Obtener información en base a indicadores intermedios que muestren si las distintas etapas se desarrollan como se suponía: hasta qué grado se han logrado los objetivos en diferentes momentos  Mediciones de distinto tipo  Posibilidad de complementar con indicadores indirectos adicionales

 Permite clarificar y sistematizar los factores más importantes para examinar en la evaluación  Promueve aprendizaje y reflexión sobre el programa (evaluador y resto)  Sirve a los diseñadores y administradores para identificar problemas tempranamente, saber específicamente qué es lo que debe ser corregido  Sirve para unificar ideas entre funcionarios sobre lo que están haciendo y por qué  Claridad en las explicaciones hacia el público y los decisores políticos sobre resultados, fortalezas y debilidades de los programas

 Demanda muchos datos  Demanda información cuanti y cuali  Dudas sobre capacidad de diferentes actores para identificar procesos a través de los cuales acontece el cambio  Programas son demasiados complejos para poder descomponer en serie finita de variables  Imposibilidad de generalizar, importancia de contextos locales  Rigidez del modelo puede dejar afuera aspectos importantes

 Negociación con otros actores  Puede asumir diferentes roles e interactuar de manera distinta: tensión entre rol de ajenidad y rol comprometido ◦ Rol de ajenidad (tradicional): neutralidad, búsqueda de información objetiva, fe puesta en metodología, sigue siendo importante ◦ Nuevas visiones: mayor compromiso, respeto por el conocimiento y experiencia de actores involucrados  Evaluación empoderadora (Empowerment Evaluation)  Evaluación colaborativa  Evaluación participativa per se (de stakeholders)  Motivos para evaluación participativa (filosóficos, prácticos, éticos)  Desventajas posibles