NOMBRE Y ORGANIZACIÓN DEL RESPONSABLE DE ESTE PRODUCTO: DR. MANUEL FUENTES - IT POWER AUTORES: DRA. ALBA GAMARRA DE GUARDIA ING. WALTER CANEDO ESPINOZA CINER MONITOREO & EVALUACIÓN DE PROGRAMAS Y PROYECTOS ENERGÉTICOS Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano.

Manual de Monitoreo & Evaluación Presentado en el Taller en San Bernardino 11 y 12 de marzo, Asunción - Paraguay

Manual de Monitoreo & Evaluación

El Monitoreo es una herramienta que usa la recolección sistemática de datos para indicadores específicos, de manera tal que aporten a la gestión y a los principales actores acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el avance y logro de objetivos; así como el progreso en el uso de los recursos colocados. Módulo 1:16

La Evaluación es definida como la valoración objetiva y sistemática del diseño, implementación y resultados de un proyecto, programa o política que está en avance o ha concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos, avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en los procesos de toma de decisiones, tanto de receptores como de donantes. Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o fue adversamente afectado), en qué cuantía, de qué manera y por qué. Módulo 1:16

Dinámica: Preparación del M&E: Se solicita a los participantes realizar una lluvia de ideas e identificar todas las tareas que están involucradas en la preparación para conducir las actividades de M&E. Tiempo: 10 minutos. Trabajo por parejas. No se compartirá la información en plenaria, hasta la revisión nuevamente por parejas al finalizar el Módulo 1: Módulo 1:16

Módulo 1: 21 EVALUAR, APRENDER, DECIDIR MONITOREAR REFLEXIONAR, APRENDER, DECIDIR, AJUSTAR IMPLEMENTAR PLANIFICAR MONITOREAR IMPLEMENTAR REFLEXIONAR, APRENDER, DECIDIR, JUSTIFICAR IMPLEMENTAR Procesos del M&E:

Qué? Quién? Cuándo? Cómo? Con qué recursos? El sistema de M&E debe contener los elementos que responden a las siguientes preguntas: Módulo 1: 22

Eficacia: Número de clientes conectados o volumen de ventas. Efectividad: los actores pueden crear “nuevos usos” para el servicio de electricidad. Impacto: al haberse incrementado los usos de electricidad ha repercutido en la mejora de condiciones sociales y económicas de los beneficiarios. Tipos de M&E Módulo 1: 23 y 24

Indicadores Módulo 1: 26, 27 y 28 Los indicadores son parámetros seleccionados para representar una situación compleja y a menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la combinación de ellos resulta en indicadores mixtos. Ejemplos: Analizar ejemplos en páginas

Tipos de M&E: Módulo 1:30 Analizar ejemplo de página No. 30

Pasos para el Monitoreo: Módulo 1:32 Paso 1: Introducción del concepto de eficacia, efectividad e impacto. Paso 2: Generar una lista de indicadores para cada aspecto y clarificar qué variables estarán enlazadas. Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se guardará. Paso 4: Decidir cuán frecuentemente se analizará la información. Paso 5: Recolectar, analizar y reportar.

Pasos para la Evaluación: Módulo 1:32 Antecedentes Objetivos Preguntas clave de evaluación Objetivos específicos Metodología Temas logísticos Elaborar los TDR s para la evaluación:

Ventajas y desventajas de la evaluación interna y externa de un proyecto: Módulo 1:37 Analizar el cuadro en la pagina No. 37.

Pasos para elaborar un Plan de M&E: Módulo 1: Identifique los actores involucrados en las necesidades de M&E. 2.Elabore un diagrama de su proyecto. 3.Asigne resultados del proyecto a los vínculos con su cadena de efectos. 4.Elija los indicadores y métodos de recolección de información. 5.Trate los temas transversales. 6.Elabore un borrador del esquema de M&E. 7.Valide su esquema con los actores del M&E. 8.Integre los aportes de los actores en el diseño del M&E: 9.Ejecute el M&E como parte del proyecto. 10.Elabore conclusiones, presente los resultados del M&E, los acuerdos para el seguimiento de las recomendaciones.

Módulo 2: Tipos de métodos de M&E Módulo 2: 56

Tipos de métodos de M&E: Módulo 2: 57 MARCO LÓGICO USAID Jerarquía o Sistema de objetivos Fin: Objetivo de mayor nivel jerárquico. Alude a un objetivo de desarrollo o a una apuesta política de largo aliento que justifica la existencia de la organización y que por sus dimensiones complejas no es posible determinar cuándo se alcanzará. Propósito: Es el objetivo que justifica la intervención de la institución a través de un proyecto específico. Nos señala el cambio más importante que esperamos alcanzar con nuestra intervención. El objetivo a nivel de propósito determina el impacto del proyecto. (Nace respuesta al problema central identificado). Resultados: Son los objetivos específicos que se propone alcanzar el proyecto para garantizar el logro del Propósito. Los cambios propuestos a este nivel representan los efectos esperados como producto de nuestra intervención y por los cuales asumimos responsabilidad directa. Acciones: Actividades principales que ejecutándose colectivamente deben producir resultados. Las acciones nos indican cómo se desarrollará el proyecto y el tipo de recursos humanos y materiales necesarios para su cumplimiento.

Tipos de métodos de M&E: Módulo 2: 58 Enfoque en la demanda – ESMAP Este enfoque se concentra en integrar el M&E desde la fase de preparación del proyecto involucrando a la demanda, más que en el enfoque convencional del monitoreo durante la ejecución y la realización de evaluaciones de impacto. Estadío Proy.PreparaciónDiseñoEjecuciónEvaluación de Impacto M&E convencional Nuevo enfoque de M&E Fig. 2.1: Enfoque orientado a la demanda

Tipos de métodos de M&E: Módulo 2: 60 El enfoque basado en Resultados – Banco Mundial Proveedor del servicio Insumos Proveedor del servicio Receptores Insumos Receptores Enfoque tradicional Enfoque basado en resultados Financia miento privado Financia miento público Financiamiento privado gestionado por el proveedor del servicio. Financiamiento público para el servicio Fig 2.2: Enfoque basado en Resultados

Tipos de métodos de M&E: Módulo 2: 62 El enfoque de sistema de gestión basado en resultados de OECD - DAC

Cierre de módulo 2: Módulo 2: 62 Comparación de enfoques del M&E: Por el tipo de trabajo que desarrolla, cuál de estos enfoques de M&E sugeriría utilizar en su proyecto? Comparta con su colega sus puntos de vista. Tiempo total: 10 minutos.

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 68 Un actor es la persona u organización con influencia, interés y poder de decisión en el ciclo del proyecto o programa. Es importante diferenciar al actor con el “interesado” (stakeholder), ya que los interesados son participantes que tienen interés y son afectados positiva o negativamente de alguna manera con el proyecto o programa.

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 69 Primarios: Individuos o grupos afectados directamente con la intervención del proyecto. Secundarios: Actores involucrados como intermediarios en el proyecto tales como miembros de ONGs, empresas eléctricas, instaladores, etc. Externos: Actores que no están involucrados formalmente en el proyecto; pero cuyas acciones y decisiones pueden crear impacto en las decisiones y actividades del proyecto o programa. Donantes o gobernantes (si es que no son ejecutores) pueden entrar en esta categoría.

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 70 Autoridades beneficiarias del sector público. Donantes. Autoridades públicas donantes del país. Usuarios, clientes. Equipo de gestión del proyecto. Microempresarios. Equipo interno del proyecto.

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 72

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 73-74

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 76

Módulo 3: Análisis de los participantes en el M&E Módulo 3: 80 Que inciden Que son afectados

Módulo 4: Indicadores de M&E Módulo 3: 80 InsumosResultadosObjetivosEfectos (+ / -) ¿Qué es lo que aportas? Tiempo Dinero Aspectos técnicos Recursos humanos. Datos, medios e instrumentos. Conocimiento e información. I: eficiencia ¿Cuáles son los resultados de lo que haces? Bienes y Servicios. Ej.: Entrenamiento / creación de capacidades. I: 98 y 99 Confort, ahorro, clientes conectados, volumen de ventas 1er. nivel de consecuencias. Dependen de insumos, acciones y decisiones que no dependen del proyecto. Prácticas y comportamientos. Ej.: Personal mejor capacitado en regulación de energía e implementación de programas. Diferencia entre los resultados del proyecto y aquellos que se hubiesen logrado sin la intervención. Directos o indirectos, a corto y largo plazo; positivos o negativos con beneficios y limitaciones. Ej.: Creación de programas energéticos para el sector rural. Mejora del marco regulatorio en apoyo a la electrificación para sector pobre de la población. Actividades: ¿Qué es lo que hace el proyecto? Impactos: Consecuencias en metas de desarrollo nacionales, MDMs. I: 104

Módulo 4: Indicadores de M&E Módulo 4

Módulo 4: Niveles de impacto Módulo 4: 104

Módulo 4: Proceso de análisis de indicadores de resultados Módulo 4: 109 Determine algunos indicadores clave para el proceso de monitoreo / evaluación. Obtención de información acerca de los indicadores. Desarrolle una estructura para el análisis de los temas emergentes y preocupaciones, donde Ud. suponga que pueden esperarse variaciones de lo esperado y/o planificado. Analice la información, organícela bajo temas y asuntos. Identifique modelos, tendencias y posibles interpretaciones. Escriba sus descubrimientos y conclusiones. Trabaje posibles vías para seguir adelante (recomendaciones).

Módulo 5: 126 Módulo 5: Proceso de implementación de un Plan de M&E

Módulo 5: 126 Módulo 5: Proceso de implementación de un Plan de M&E

Módulo 5: 126 Módulo 5: Proceso de implementación de un Plan de M&E Estudios de caso. Observaciones grabadas. Diarios. Grabación de incidentes o análisis importantes (denominados “análisis de incidentes críticos” Cuestionarios estructurados. Entrevistas personales. Grupos focales. Encuestas por muestreo. Revisión sistemática de información oficial de importancia. Herramientas más comunes para levantamiento de información.

Módulo 5: 126 Sistema Interno de retro- alimentación

Módulo 5: Plan de M&E Módulo 5: 135 APLICABILIDAD Y COMPROMISO El objetivo de la tarea es examinar la aplicabilidad institucional del contenido del curso-taller en los proyectos y/o acciones de Monitoreo y Evaluación de la entidad en la que colaboran los participantes, y de cuyo análisis integral se extraen determinaciones concretas acerca de los cambios y mejoras sobre los sistemas de M&E. Actividades a realizar: Identificar las principales acciones que se podrían emprender para mejorar los sistemas de monitoreo y evaluación de su institución, proyecto o programa. Para la aplicación de esas acciones, identificar los principales obstáculos que pueden presentarse. Establecer las medidas administrativas, técnicas y financieras y otras que deba realizar para superar los obstáculos y lograr el mejoramiento del sistema.

Módulo 5: Módulo 5: 136. Proyectos exitosos. GVEP International. Agradecimientos. Contactos: Evaluación Clausura.