DISEÑO Y MONITOREO DE PROYECTOS DE DESARROLLO Con orientación a efectos e impactos OEI 2011

Contenido del Taller Sesión TEMÁTICA I En qué consiste la orientación a efectos e impactos en el diseño de proyectos de desarrollo, considerando la cadena de resultados. II Elaboración de Indicadores con orientación a efectos e impactos III Construcción de un sistema de monitoreo dentro del plan operativo de un proyecto 11/10/2019Sistema de Monitoreo2

SISTEMA DE MONITOREO III

Contenido 1.Objetivo y sentido del sistema de monitoreo 2.La necesidad de una LÍNEA DE BASE 3.Los pasos del monitoreo 4.La metodología del monitoreo a.Organización y documentos de síntesis b.Recursos técnico - metodológicos 11/10/2019Sistema de Monitoreo4

11/10/2019Sistema de Monitoreo5 El monitoreo orientado a los efectos e impactos: El monitoreo orientado a los efectos e impactos: cadena de resultados – … está basado en el modelo de la cadena de resultados y es parte de la autoevaluación de un equipo – … intenta identificar qué cambios han sido generados directa e indirectamente por el programa lo que se ha hechoqué situaciones han sido mejoradas – … no está enfocado en “lo que se ha hecho” sino en “qué situaciones han sido mejoradas” – …se basa en la colección, el análisis y el uso de información de una manera sistemática – …es el instrumento principal de gestión y conducción de un programa – …es la base para cualquier evaluación Los objetivos del monitoreo 1

11/10/2019Sistema de Monitoreo6 Rendir cuentas frente a las agencias co-partes, la opinión pública y los beneficiarios Facilitar la gestión y conducción del proyecto (recomendaciones para medidas de ajuste) Promover el aprendizaje de los equipos para mejorar constantemente las propias estrategias e intervenciones Monitoreo no es el procesamiento y la presentación de datos, sino que vive del uso de esta información! ¡Monitoreo no es el procesamiento y la presentación de datos, sino que vive del uso de esta información! El monitoreo tiene tres objetivos

11/10/2019Sistema de Monitoreo7 La finalidad del Monitoreo ¿La finalidad del Monitoreo? Un acto de balance entre la rendición de cuentas y el aprendizaje!

11/10/2019Sistema de Monitoreo8 …hasta qué grado los efectos e impactos planificados realmente ocurren …hasta qué grado se cumplen los indicadores... hasta qué grado el proyecto avanza en las cadenas de resultados hacia los impactos Además, el monitoreo tiene que observar si... Los efectos positivos o negativos no planificados ocurren... Los cambios en el entorno ocurren y cómo afectan al logro de los objetivos. La tarea principal del monitoreo orientado a efectos e impactos es identificar

11/10/2019Sistema de Monitoreo9 De: Herweg/Steiner, 2003: Monitoreo y valorización del impacto, Volumen 1. Atribución de los impactos …

La línea de base El monitoreo requiere de una base de datos (información sobre la situación de partida), ya que se trata de revisar cómo durante y después del proyecto mejoró una situación problemática inicial - tanto a nivel del grupo meta, como a nivel de otros destinatarios o una situación ambiental, por ejemplo. Muchas veces, en el monitoreo de proyectos no tenemos los recursos disponibles para levantar una línea de base que responde a los criterios de calidad de una investigación. Sin embargo, no podemos dejar de hacer monitoreo o dejar de levantar información sobre la situación inicial. 2 11/10/2019Sistema de Monitoreo10

11/10/2019Sistema de Monitoreo11. Es mejor tener los datos de un pequeño estudio de referencia con buenos criterios de representatividad que no hacer nada o hacer una gran investigación que llega tarde. Hay que decidir si el proyecto mismo levantará los datos (tiempo? conocimientos de métodos, capacidades de procesamiento?) o si se contrata una consultoría para este fin (claridad sobre los fines del monitoreo? conocimiento del lugar? recursos financieros?). Es recomendable levantar datos sobre impactos conjuntamente con otros actores que trabajan en la zona. La línea de base en el monitoreo orientado a efectos e impactos

11/10/2019Sistema de Monitoreo12 Los problemas más frecuentes con respecto a los datos sobre la situación de partida son: – se hace el estudio tarde o nunca, – se levanta demasiada información que no puede utilizarse para la conducción del proyecto, – se levanta información con actores que no se beneficiarán con el proyecto (antes de determinar bien el grupo meta), – los estudios son tan amplios que no pueden ser repetidos durante el proyecto. Además de la comparación antes-después tenemos otras opciones comparativas (grupos de control, población con o sin proyecto, valoración por la población misma). Cada forma tiene ventajas y desventajas La línea de base en el monitoreo orientado a efectos e impactos

11/10/2019Sistema de Monitoreo13 El método escogido debe ser apto para ser repetido en el transcurso del proyecto. No siempre se tiene que aplicar una encuesta con familias, también es posible usar fotos o videos (también requiere de recursos y capacidades!), o aplicar métodos participativos. A la población le agrada más participar en métodos participativos que ser entrevistado cada año ! El fin del monitoreo es también el aprendizaje de todos los actores! Si el proyecto no tiene datos sobre la situación de partida, tiene dos opciones. – O los datos del primer monitoreo se convierten en los datos sobre la situación de partida, – o (en un momento posterior) se puede trabajar con métodos donde los beneficiarios mismos reconstruyen su situación de un tiempo atrás y comentan los cambios (p.ej., MAPP, PALSA). La línea de base en el monitoreo orientado a efectos e impactos

11/10/2019Sistema de Monitoreo14 En la mayoría de los casos de los proyectos, es imposible realizar un “censo” completo con todas las familias. Existen diferentes formas de seleccionar una muestra En el caso de una región más grande, se recomienda combinar un procedimiento al azar (muestra por coincidencia) para seleccionar lugares o grupos organizados, y posteriormente proceder a seleccionar unidades según ciertos criterios, p.ej. cuotas según características (p.ej. sexo, edad). El tamaño adecuado depende no solamente del número total de la población meta, sino también de los recursos disponibles (financieros, personal). Se requiere transparencia con respecto al procedimiento! (plan de monitoreo, documentación de los resultados, informe) Seleccionar la muestra para levantar datos

Los pasos del monitoreo Lo más importante es completar el plan operativo del proyecto con las actividades del monitoreo orientado a efectos e impactos. – Qué actividades adicionales resultaron de la revisión de los documentos de planificación (cadenas de resultados, MPP, indicadores)? – Qué actividades adicionales resultaron de la elaboración del plan de monitoreo (operativizar el monitoreo)? – Cuáles son las actividades de monitoreo previstas que requieren de tiempo y recursos adicionales? – Qué porcentaje del presupuesto del proyecto se va a utilizar para el sistema de monitoreo (levantar y sistematizar datos, entrenar a personal, contratar consultores, etc.) 3 11/10/2019Sistema de Monitoreo15

11/10/2019Sistema de Monitoreo16 Los 9 pasos del monitoreo Verificar la calidad de los indicadores y de las cadenas de resultados Definir los objetivos y el enfoque del monitoreo Operativizar el monitoreo (plan de monitoreo) Completar el plan operativo con actividades de monitoreo Preparar la im- plementación de los métodos (muestra, guías, formatos) Entrenar al equipo en la aplicación de los métodos Procesar y analizar los datos Levantar los datos Usar los resultados del análisis (conducción, aprendizaje, informes)

Metodología del monitoreo documentos de síntesis a.La organización del monitoreo y el uso de documentos de síntesis b.Dominio de las técnicas e instrumentos para la recolección y análisis de datos para el monitoreo 4 11/10/2019Sistema de Monitoreo17

Documentos de síntesis Matriz de actores participantes en el desarrollo del sistema de monitoreo. Planificación del número de indicadores Requerimientos de los indicadores Indicadores de efecto e impacto Manejo de la información 4.a 11/10/2019Sistema de Monitoreo18

Actores del sistema de Monitoreo ACTORROLROL en el sistema de Monitoreo Información que puede aportar Información que requiere 11/10/2019Sistema de Monitoreo19

Planificación del número de indicadores INSTANCIA FUENTE Prioridad por áreas Temas prioritarios Nº de INDICADORES NIVEL Marco lógico Población Temas transversales del proyecto Operatividad del proyecto … 11/10/2019Sistema de Monitoreo20

Indicadores de efecto e impacto Prioridad por áreasNivelFormulación del Indicador Pregunta cualitativa 11/10/2019Sistema de Monitoreo21

Información para la recopilación de datos para cada INDICADOR COMPONENTESDESCRIPCIÓN Métodos – Técnicas de recopilación de datos Información sobre la muestra (si corresponde) Frecuencia de la recopilación de datos Formatos de documentación / informe Responsable de la recopilación de datos Frecuencia de envío de informes Responsable de la documentación 11/10/2019Sistema de Monitoreo22

Información adicional para cada INDICADOR COMPONENTESDESCRIPCIÓN Definiciones necesarias (si corresponde) Limitaciones en la calidad del indicador (si corresponde) Preguntas exploratorias (Para complementar el indicador) Tiempo requerido: Para el diseño, validación, preparación, aplicación, consolidación,.. Del personal de la ONG De miembros del grupo meta Costo monetario Movilidad, materiales, refrigerios, personal, Otros comentarios 11/10/2019Sistema de Monitoreo23

MANEJO DE LA INFORMACIÓN INDICADORFUENTERESPONSABLEINSTRUMENTOTIEMPO PREGUNTAS DE ANÁLISIS 11/10/2019Sistema de Monitoreo24

Recursos técnico - metodológicos Métodos o técnicas e instrumentos Indicaciones prácticas Responsabilidades 4.b 11/10/2019Sistema de Monitoreo25

11/10/2019Sistema de Monitoreo26 Métodos: – Entrevista – Encuesta / cuestionario – Observación – Métodos participativos con grupos de interés (se basan en la entrevista grupal, y además usan medios de visualización) ¿Cuáles son los métodos que pueden ser aplicados en el monitoreo?

11/10/2019Sistema de Monitoreo27 Para cualquier método hay que definir: Grado de estandarización (procedimientos y temas predefinidos;) Si se trabaja más con preguntas cerradas o preguntas abiertas Cantidad de personas con la que se aplica (individuo, familia, grupos pequeños, grupos más grandes) Selección de personas a participar Selección de personas a aplicar el método ¿Cuáles son los métodos que pueden ser aplicados en el monitoreo?

11/10/2019Sistema de Monitoreo28 No existen métodos buenos o malos. Son medios, no son un fin en si. Tienen que ser ajustados a las finalidades del monitoreo, las capacidades institucionales y los recursos disponibles. Se recomienda la triangulación de métodos (varios métodos distintos para monitorear un tema, p.ej. métodos cuantitativos y cualitativos), especialmente cuando se trata de aspectos cualitativos a monitorear. Métodos pueden ser aplicados con individuos (encuesta, entrevista) o grupos. Indicaciones generales para aplicar métodos de levantamiento de datos

11/10/2019Sistema de Monitoreo29 Hay que definir la frecuencia de aplicación de un método para el monitoreo. La aplicación de métodos requiere de una planificación y preparación intensiva y de una validación de la utilidad del método. Hay que programar el tiempo y los recursos necesarios para esto. Para seleccionar un método hay que definir el grado de exactitud requerido (Ingresos y gastos exactos? Satisfacción con los ingresos adicionales?) Una participación verdadera de la población meta en el monitoreo significa participación en el levantamiento y el análisis de los datos. Indicaciones generales para aplicar métodos de levantamiento de datos

11/10/2019Sistema de Monitoreo30 Responsabilidades para orientar proyectos a efectos e impactos La orientación a efectos e impactos no se da por si sola. Se requiere de personas que promueven este enfoque dentro de la institución. Hay que definir en el caso de cada institución el rol y las funciones específicas en este tema de: - la dirección - la coordinación de un proyecto - la unidades de planificación (y monitoreo, si existe) - los técnicos de los proyectos - los destinatarios y grupos meta de los proyectos - otros actors (p.ej., consultores externos)

Fuentes de consulta Este documento visual fue elaborado en base a la presentación de Heidrun Gilde para Welthungerhilfe (2009). Además se ha tomado información y datos sobre el tema de: – Documentos de Pan Para el Mundo y EED – Documentos de GTZ – Documentos de Welthungerhilfe. – Documentos del CEP 11/10/2019Sistema de Monitoreo31

11/10/2019Sistema de Monitoreo32