Evaluación socio-económica Control de la Ejecución Monitoreo y Evaluación Eduardo Aldunate Experto Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Curso Internacional Políticas presupuestarias y gestión por resultados: Mazatlan, Sinaloa, México 23 al 27 de octubre de 2006

Monitoreo y Evaluación Se funden en el caso de programas PreinversiónInversiónOperación Formulación y evaluación Monitoreo y evaluación de proceso Evaluación de resultados e impactos Evaluación Ex-Post Evaluación socio- económica

Objetivo de la Evaluación Ex-ante Identificar y valorar los costos y los beneficios de un proyecto o programa para compararlos y decidir la conveniencia de su ejecución.

¿Para quién evaluamos? Persona o empresa: Evaluación Privada Evaluación financiera Evaluación económica Todos los habitantes del país por igual: Evaluación social Evaluación económica

Determinación de Beneficios y Costos Identificación: ¿cuáles? Pasos a seguir: Cuantificación: ¿cuánto? Valoración: ¿cuánto vale?

Tipo de evaluación: EvaluaciónAcciónCostosBeneficios Identificar  Beneficio - Costo Cuantificar  Valorar  Identificar  Costo eficiencia Cuantificar  Valorar  X

Categorías de costos Inversión Operación Mantenimiento

Tipos de Beneficios Ingresos monetarios Ahorro de costos Otros: –R–Revalorización de bienes –R–Reducción de riesgos –M–Mejor imagen

Flujo de ingresos y costos Ordena la información Facilita detectar errores u omisiones Simplifica los cálculos

Indicadores Beneficio - Costo VAN TIR Otros criterios –Razón Beneficio/Costo –Período de recuperación del capital –VAN del año 1 – Tasa de rentabilidad imediata

Indicadores Costo - Eficiencia Valor actual de los costos VAC Costo anual equivalente CAE VAC / VAB

¿Porqué requerimos la evaluación social? Los precios mienten! –N–No reflejan el verdadero costo para la sociedad. –N–No reflejan el beneficio para la sociedad. Hay bienes que no tienen precio Existen externalidades

Precios mentirosos Impuestos Subsidios Cuotas Monopolios Monopsonios No reflejan los verdaderos costos o beneficios para la sociedad debido a distorsiones en los mercados:

Precios sociales Tasa social de descuento Precio social de la mano de obra –No calificada –Semicalificada –Calificada Precio social de la divisa Valor social del tiempo (Precios Sombra - Precios de Cuenta)

Inadecuada valoración de los beneficios No hay mercado del bien Excedente del consumidor y liberación de recursos

ODA AL AIRE Pablo Neruda (fragmentos) Andando en un camino encontré al aire, lo salude y le dije con respeto: "Me alegro de que por una vez dejes tu transparencia, así hablaremos"..… Yo le besé su capa de rey del cielo, me envolví en su bandera de seda celestial y le dije: monarca o camarada, hilo, corola o ave, no sé quién eres, pero una cosa te pido, no te vendas. El agua se vendió y de las cañerías en el desierto he visto terminarse las gotas y el mundo pobre, el pueblo caminar con su sed tambaleando en la arena No, aire, no te vendas, que no te canalicen, que no te entuben, que no te encajen ni te compriman, que no te hagan tabletas, que no te metan en una botella, cuidado! Oda al Aire, Pablo Neruda

No hay mercado del bien Estimamos un precio utilizando: –Precios hedónicos –Valoración contingente (no conocemos el precio) Evaluamos con criterio de –Mínimo costo –Costo - eficiencia

Existen importantes efectos indirectos Sobre el medio ambiente Sobre otros usuarios En mercados relacionados

Referencias “Reflections on Social Project Evaluation”, Harberger, A.Reflections on Social Project Evaluation "Economic Project Evaluation, Part 1: Some Lessons for the 1990s“, Harberger, A."Economic Project Evaluation, Part 1: Some Lessons for the 1990s“ Metodología de evaluación socioeconómica de inversiones nacionales y extranjeras; Ferra, Coloma y Botteon, Claudia.Metodología de evaluación socioeconómica de inversiones nacionales y extranjeras Errores más frecuentes en la evaluación de políticas y proyectos, Joan Pasqual Rocabert y Guadalupe Souto Nieves.Errores más frecuentes en la evaluación de políticas y proyectos

Proyecto: De la Ejecución a la Operación Objetivos de la EjecuciónObjetivos de la Operación Fin Propósito Componente Actividad Fin Propósito Componente Actividad Monitoreo y evaluación de proceso Evaluación de resultados e impactos

Programa: Ejecución-Operación Fin Propósito Componente Actividad Mediano o largo plazo Impactos Corto o mediano plazo Resultados Corto plazo C4 Corto plazo C4

Objetivos de la gestión de la ejecución de proyectos Transformar expectativas en realidades Hacerlo en forma efectiva y eficiente

¿Qué es la Gestión de la Ejecución de Proyectos? Métodos Técnicas Herramientas Habilidades Principios Es un conjunto de: No existe una teoría que unifique todos estos elementos. Se aplican por igual a proyectos pequeños y grandes.

Un poco de historia "Organización científica del trabajo". Federico Taylor y Henry Gantt. Década de P.E.R.T. Program Evaluation and Review Tecnique. U.S. Navy, Booz-Allen and Hamilton, Lockheed C.P.M. Critical Path Method. Univac Aplications Research Center, James Kelly y Morgan Walker Project Management Institute, Más de Miembros PMBOK. Project Management Body of Knowledge Introducción de los PC. Década del 80.

El PMBOK: Project Management Body of Knowledge (Conjunto de conocimientos sobre administración de proyectos) Proveer una estructura consistente para programas de desarrollo profesional: –Certificación de PM (Project Managers). –Acreditación de entidades que otorguen título de PM. –Acreditación de diplomados en el tema. Servir de guía sobre estandares aceptados por la industria.

Programación de la ejecución Desagregación en actividades Estudio de las actividades y sus relaciones Cálculo de la malla Curvas de uso de recursos Factibilidad y optimización Análisis e incorporación de riesgos Métodos PERT y CPM Documentación y presentación

Malla en MS Project

Carta Gantt en MS Project

Monitoreo y evaluación Recopilar datos para el cálculo de los indicadores de la MML. Validar los datos. Calcular los indicadores. Interpretar la información. Preparar recomendaciones.

Recopilación de datos Fuentes de información Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación Juanita Pérez Frecuencia de recopilación Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estandar. Modo de distribución Correo electrónico Usuarios Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos. Detalle para medios de verificación

Validación de los datos Identificar “outliers” –Comparar con datos históricos –Comparar con otros datos del período Verificar validez de datos “disparados” Corregir errores Eliminar aquellos datos en que no existe justificación para la desviacón.

Cálculo de los indicadores Utilizar una misma moneda para indicadores relacionados con costos. Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo). Considerar el costo total, no sólo el directo. Comparar con situación sin programa. Poner cuidado en:

Con versus sin programa Impacto? Impacto real Linea base Actual

Interpretando la información Comparar valor del indicador con la meta. Analizar evolución histórica del indicador. Identificar causas de las desviaciones

Preparando recomendaciones Las recomendaciones deben estar fundamentadas en el análisis. Proponer acciones para materializar las recomendaciones. Analizar beneficios y costos de implementar las recomendaciones. Proponer una estrategia de implantación y seguimiento. Ser claro, preciso y conciso en la redacción.

Cómo Mejorar la Calidad de la Información para Monitoreo y Evaluación Usar varios indicadores para cada objetivo. Combinar métodos cuantitativos y cualitativos. Promover la participación de los involucrados. Capacitación a los recopiladores de información.