EVALUACIÓN EX-POST Carlos Andrès Montaño Nyyi Esmeralda Rodríguez Paola Panche Yirley Sosa

TIPOS DE EVALUACION 2

Una evaluación en general, es la recolección y análisis sistemático de evidencias con el propósito de mejorar el entendimiento del objetivo evaluado. la evaluación ex post se define como una evaluación objetiva y sistemática sobre un proyecto cuya fase de inversión ha concluido o está en la fase de post inversión. El objetivo es determinar la pertinencia, eficiencia, efectividad, impacto y la sostenibilidad a la luz de los objetivos específicos que se plantearon en la pre inversión 3 ¿Qué significa evaluar?

 Retroalimentación a través de las lecciones y recomendaciones para mejorar la administración y desempeño de la inversión pública, para el mismo proyecto evaluado o proyectos similares.  Transparencia del proceso y los resultados de la inversión pública. 4 La evaluación ex post tiene dos objetivos principales:

 Sacar lecciones de la experiencia, verificando cuales fueron los aspectos críticos que modificaron la evaluación y proponiendo recomendaciones precisas al proceso de evaluación ex - ante, ya sea en la metodología propiamente tal o en los procedimientos de estimaciones de flujos, tanto de beneficios como de costos.  Proponer si corresponde, medidas para mejorar la eficiencia operacional del proyecto y para alcanzar los objetivos previstos. 5 Objetivos generales de la evaluación ex post

Es importante señalar que la evaluación ex post no es sinónima de control o fiscalización; se trata de analizar los resultados de los PROYECTOS y obtener lecciones aprendidas para mejorar la calidad de la inversión pública, así como proveer de información a las autoridades y población. 6 seguimiento de la evaluación ex post

 Los Cinco. 7 ¿Cuáles son los criterios que se aplican en la Evaluación Ex Post? Pertinencia Medida en que los objetivos de un PIP son coherentes con las necesidades de los beneficiarios, los contextos regional y local, y las políticas del país. Eficiencia Medida en que los recursos / insumos (fondos, tiempo, etc.) se han convertido económicamente en productos (output) del proyecto. Se asocia con los componentes de un PIP. Los Cinco Criterios de evaluación.

8 Cambios de largo plazo, positivos y negativos, primarios y secundarios, producidos directa o indirectamente por un PIP. Se asocia con los fines de un PIP. Medida en que se lograron o se espera lograr los objetivos del PIP. Se asocia al propósito del PIP y los fines directos. Eficacia Impacto Sostenibilidad Continuidad en la generación de los beneficios de un PIP a lo largo de su período de vida útil. Se asocia con el mantenimiento de las capacidades para proveer los servicios y el uso de éstos por parte de los beneficiarios.

En el siguiente gráfico se muestra la relación entre el modelo lógico del proyecto. (árbol de medios-fines y objetivos del marco lógico) y los cinco criterios de evaluación. De los cinco criterios, cuatro de ellos están relacionados con el modelo lógico. El criterio de pertinencia no se relaciona directamente con el modelo lógico y por tal razón se considera de manera separada en el gráfico (SON LOS FACTORES EXTERNOS). 9 Relación de los criterios con el modelo lógico de un PIP

En cada criterio se considera una serie de preguntas, denominadas Preguntas de Evaluación, las cuales son de bastante utilidad para el diseño de un estudio de evaluación. a)Pertinencia: La evaluación de la pertinencia responderá a las siguientes preguntas: b)Eficiencia c)Eficacia 10 Preguntas de evaluación por criterios

 d) Impacto: La evaluación de los impactos solo considerará los impactos directos y responderá a las preguntas siguientes  e) Sostenibilidad 11 Preguntas de evaluación por criterios

Es en la fase de post inversión en donde se realizará la evaluación ex post considerando 4 momentos, evaluación de culminación, seguimiento ex post, evaluación de resultados y estudio de impacto, tal como se puede apreciar en el siguiente gráfico. 12 ¿Cuáles son los Momentos de Evaluación Ex Post de un PIP? EL CICLO DEL PROYECTO PREINVERSION INVERSION OPERACION IDENTIFICACION SELECCIÓN FORMULACION EVALUACION ADMINISTRACION DE LA EJECUCION EVALUACION EX POST ADMINISTRACION DE LA OPERACION PLANEACION OPERACIÓN CONTROL REVISION PLANEACION OPERACIÓN CONTROL REVISION

13 El ciclo de un PIP y el proceso de evaluación Evaluación Ex Ante Seguimiento y Evaluación Evaluación Ex Post Pre inversión Inversión Post inversión Evaluación de Culminación Seguimiento Ex Post Evaluación de Resultados Estudio de Impactos IDEA PERCEPCION DE PROBLEMAS BRECHAS LUEGO DE OPTIMIZACION FACTIBILIDAD PERFIL FACTIBILIDAD ESTUDIOS DEFINITIVO S O EXPEDIENT E TECNICO EJECUCION RETROALIMENTACION

 Será realizada al finalizar la fase de inversión en términos físicos, independientemente si se cuenta con la liquidación de obras o el informe de cierre del Proyecto, mientras la documentación esté disponible, la memoria de las experiencias esté fresca y sea fácil ubicar a los involucrados. La evaluación de culminación tiene como propósitos: 14 Evaluación de Culminación

 El reflejo inmediato del proceso de ejecución del PIP para medir la eficiencia de la misma, en términos de tiempos, costos y metas, y obtener lecciones y recomendaciones relacionadas con el planeamiento y ejecución de proyectos.  Analizar las perspectivas de la sostenibilidad del proyecto, en términos de la disponibilidad de los factores necesarios para la operación y mantenimiento adecuado, que posibiliten la entrega oportuna del bien o servicio determinado, concluyendo con las recomendaciones pertinentes incluida la relacionada a la necesidad del seguimiento ex post. 15 Propósitos de la Evaluación de Culminación

 Seguimiento Ex Post: Este seguimiento, se realizará entre uno y dos años después después del inicio de la operación. El Seguimiento Ex Post se enfocará en la operación y mantenimiento, los cuales son cruciales para la sostenibilidad.  Evaluación de Resultados: se aplican los cinco criterios, dentro de los cuales la evaluación del impacto estará limitada a los efectos directos en el corto y mediano plazo, dependiendo de la disponibilidad de datos y recursos para el estudio. En cuanto a la eficiencia, los resultados de la evaluación de culminación serán utilizados si es que en el proyecto se realizó esta evaluación, presupuesto y tiempo. dentro del periodo de 3 a 5 años después de iniciada la operación el proyecto 16 Perspectiva general de la Evaluación ex post

 Estudio de Impacto: Se aplican los criterios de eficacia, impacto y sostenibilidad; se enfocará principalmente en los efectos indirectos (impacto), estableciendo las relacionales causales atribuibles al proyecto. 17 PERSPECTIVA GENERAL DE LA EVALUACION EX POST - GRAFICA

La evaluación ex-post debiera realizarse al menos 5 años después de haberse iniciado la operación del proyecto. La razón de ello es que este período permite evaluar adecuadamente la evolución de los principales parámetros que tienen injerencia en los resultados de la evaluación. 18 Oportunidad de Evaluación Ex-post

 Errores de diseño: originados por la inexistencia o mala estimación de las metas; poca claridad o mala organización de los procesos y/o actividades; poca congruencia entre las actividades programadas y la estructura organizacional.  Fallas de implementación: falta de cumplimiento de lo programado (procesos, actividades, estructura) por parte de quienes están a cargo de la operación.  Factores externos: incumplimiento de los supuestos o surgimiento de elementos contextuales nuevos e impredecibles que modifican el escenario en que se implementa el proyecto. 19 ¿Qué detecta la de Evaluación Ex- post?

 Efecto es el cambio intencional o no intencional generado directa o indirectamente por el proyecto.  Impacto se refiere a los efectos a largo plazo que son generados por el proyecto; los efectos pueden ser positivos y negativos, intencionales y no intencionales, previstos y no previstos. También se puede incluir efectos a mediano plazo.  Fin es parte del impacto, pero limitado a lo intencional y positivo.  Objetivo Central en el árbol de medios-fines es igual al Propósito en el marco lógico, que es también el Beneficio Directo o el Efecto Directo intencional del proyecto. Es el resultado del proyecto logrado por la utilización de los servicios y bienes producidos por el proyecto. 20 GLOSARIO

 El Medio Fundamental en el árbol de medios-fines es igual al Componente en el marco lógico. El resultado de los componentes son los productos a través de los cuales se creará, ampliará, mejorará o recuperará la capacidad para la producción de bienes o prestación de servicios en la fase de post inversión.  Resultados incluyen los logros a nivel de productos (componentes), Efectos e Impactos del proyecto. 21 GLOSARIO

22