Metodologías y estudios de caso en la evaluación de proyectos de inversión pública en educación y salud Facultad de Economía Universidad de los Andes Bogotá Abril 27 de 2005 Raúl Castro R.

Contenido Introducción Marco Gasto de Mediano Plazo (MGMP) Análisis Costo-Beneficio (ACB) Análisis Costo-Eficiencia (ACE) Análisis Función de Producción Análisis Costo-Utilidad (ACU) Evaluación de impacto ex-post Programa Familias en Acción Consideraciones distributivas de los proyectos

INTRODUCCION

Ciclo del proyecto de inversión Un proyecto de inversión es una función de producción que tiene asociados beneficios y costos. Ciclo del proyecto de inversión Generación y análisis de la idea Preinversión (formulación y evaluación ex–ante) Inversión, operación, monitoreo y seguimiento (evaluación ex–post).

MARCO GASTO DE MEDIANO PLAZO (MGMP)

Presupuesto por resultados y marco de gasto de mediano plazo (MGMP) Principales problemas en la asignación del gasto público: 1. Incertidumbre sobre la restricción presupuestal (ingresos) 2. Deficiente información 3. Falta de orientación eficiente del gasto público  

Presupuesto y MGMP Construcción de un presupuesto orientado a resultados Construcción de un marco de gasto de mediano plazo (MGMP) Modernización de las instituciones Información apropiada y útil

ANALISIS COSTO BENEFICIO (ACB)

Análisis Costo Beneficio (ACB) Procedimiento para comparar asignaciones de recursos alternativos y proporcionar una respuesta acerca de cual de ellas es posible. Específicamente se pretende encontrar el mejor uso alternativo de los recursos, es decir encontrar la alternativa que Maximice (VP B - VP C) Sujeto a: Q (.) = Q* Implica conocer beneficios y costos en términos monetarios

Procedimiento Metodológico del ACB Una sociedad, conjunto de individuos M = { 1,2,…..m} Conjunto de alternativas sociales X Relación de preferencias de cada agente individual ( función de bienestar individual)>i Regla de elección colectiva (ordenamiento social) Resultado: Dar respuesta sobre la contribución al bienestar social o total (BN) de cada una de las alternativas sociales (Δq) como función del de los cambios en el bienestar de cada individuo (i) a través del tiempo (J) [VCi,J (Δq)] BN = VP[VCi,j (Δq)]

Valoración de Costos Sociales El costo relevante en el análisis económico es el costo de oportunidad: beneficio (ingreso) sacrificado en el mejor uso alternativo de los recursos. Es importante destacar la importancia de consecución de la información de costos sin y con proyecto, dada que esta es la base de comparación para derivar los costos incrementales de oportunidad respectivos.

Métodos de Valoración de Beneficios (I) Métodos basados en valores de mercado Técnicas en las cuales se utilizan valores de mercado de bienes y servicios: • Métodos que utilizan directamente precios de mercado • Cambio en productividad • Precios Cuenta de eficiencia (costo de oportunidad) Técnicas en las cuales los gastos actuales o potenciales son utilizados para valorar costos: • Método de costo-efectividad • Gastos defensivos o preventivos • Costos de reubicación • Costos de reposición

Métodos de Valoración de Beneficios (II) Métodos basados en preferencias reveladas • Costo de viaje • Precios hedónicos • Método de bienes sustitutos Métodos basados en preferencias declaradas • Valoración contingente Otros métodos de valoración • Transferencia de valor

Valoración Contingente El método de valoración contingente consiste en crear un mercado hipotético y obtener mediante una encuesta la máxima DAP en valor monetario que el entrevistado otorga al bien que se está valorando en cuestión, o a una modificación en la calidad o cantidad del mismo. En la encuesta, después de proporcionar la información específica sobre la finalidad del estudio y la situación que se va a valorar, se pregunta al encuestado por su DAP respecto del bien objeto de análisis.

Valoración Contingente La Disponibilidad a Pagar (DAP) estimada es un valor que depende de características observables y no observables, es decir, desde el punto de vista estadístico es una variable aleatoria, y por lo tanto para estimarla se pueden usar métodos estadísticos paramétricos, no paramétricos y/o semiparamétricos.

Precios Hedónicos Se basa en la idea de que a los precios se los puede entender como precios compuestos, en los que es factible determinar los precios implícitos de ciertas características del activo (que son justamente las que determinan su valor, son sus atributos). Si el producto A y el producto B solo difieren en una cierta característica, y en donde A presenta una mayor cantidad de cierto atributo con respecto a B. Al conocerse los precios de mercado de A y B se puede obtener la disponibilidad a pagar por una unidad adicional del atributo que los diferencia. PA – PB = DMAP

Objetivos Precios Hedónicos Intenta descubrir todos los atributos de un bien que explican su precio. Determinar los precios implícitos de cada característica o atributo. Estimación de los impactos, por ejemplo, de una Externalidad sobre la valoración implícita de la educación.

Precios Hedónicos: Valoración años de vida adicionales Por ejemplo el valor de incrementar los años de vida (ΔV) estaría dado por los incremento en los salarios (ΔW); ponderado por la su respectiva probabilidad de muerte φ: ΔV = ΔW / φ

ANALISIS COSTO EFECTIVIDAD (ACE)

Análisis Costo Efectividad (ACE) Fundamento económico del análisis costo-efectividad: Minimización de costos dada una restricción de producción Definición del problema dual de maximización de los beneficios netos sujeto a una función de producción (restricción tecnológica) En este sentido, la función de costos definida para vectores de cantidades (x), precios de insumos (w) y un nivel de producción (f(x) = y), es el mínimo valor de la función: Sujeto a:

ACE Se puede establecer un principio fundamental sobre el que descansa el análisis costo-efectividad: Dado un limitado monto de recursos, debería asignárseles de forma tal que permitan obtener el mayor número de resultados o beneficios al menor costo posible con unas consideraciones tecnológicas dadas. El ACE implica comparar costos con los productos del proyecto o con los beneficiarios atendidos

Reforma educativa vs. Televisión educativa Los costos de implementación de la televisión educativa fueron calculados por estudiante o beneficiario. El costo del programa sin televisión (sin TVE) fue de 16 dólares y el costo del programa con televisión (con TVE) de 22 dólares. La efectividad (Δbeneficios) se midió como la diferencia de las medias de los test realizados al comienzo y al final del año escolar en las asignaturas seleccionadas.

Los Costos Unitarios dentro del ACE El análisis costo-eficiencia en su versión de costos unitarios es muy útil para comparar la eficacia de las inversiones en los proyectos sociales y de infraestructura dentro de los países y entre países. C/B = Min (VPC)/Núm de beneficiarios = [∑ Ci/(1+r)t]/Número de beneficiarios C/P = Min (VPC)/Número de productos = [∑ Ci/(1+r)t]/Número de productos También se utiliza en el anterior caso el mínimo costo anual equivalente por beneficiario o por producto (CAE/B): CAE/B= CAE/ Número de beneficiarios (o numero de productos).

Construcción de Indicadores Costo-Eficiencia La idea es: Que los indicadores de la evaluación económica de los proyectos de una muestra representativa -VPN, relación B/C y TIR-, se relacionen con indicadores costo eficiencia -costos por beneficiario, costo por producto y/o costo por componente del proyecto- Con el fin de: Generar indicadores de fácil manejo, Representativos y De proyectos que tienen viabilidad (los mejores).

Metodología de Construcción ICE (I) El fin de esta etapa es: Construir un modelo econométrico que relacione indicadores CB y CE con el propósito de predecir resultados correctos de indicadores costo-eficiencia.

Metodología de Construcción ICE (II) Se construirán intervalos de confianza para Analizar la variabilidad y el margen de error de las predicciones anteriores Mejorar la eficacia del modelo Y en lo posible se pretende Realizar análisis de probabilidad Determinar rangos de indicadores costo eficiencia Rangos en los que los proyectos sean financiera y económicamente viables.

Metodología de Construcción ICE (III) Es decir: Encontrar valores costo-eficiencia por debajo de los cuales, a nivel de probabilidad previamente determinado, se espera que los proyectos presenten o VPN positivos o relaciones (B/C) mayores que uno o TIRs mayores que la TSD

Aplicación de ICE : Educación Rural, Altiplano, Construcción La ecuación estimada es:   VP Exc = 60.93 – 17.47 ln (VPCOMA) Est: “t”: (6.13) (-5.23) R2-Adj. = 0.42 F = 27.36 DW = 1.43 n = 37

Valores calculados para ICE Valor actual de los costos por beneficiario (en dólares)

FUNCION DE PRODUCCION

Análisis Función de Producción El análisis de impacto permite establecer cual es el programa más efectivo para alcanzar un único objetivo. Este método puede ser entendido de manera similar a una función de producción. Q = f (F, L) En donde el producto (Q) es el indicador que se desea afectar y los insumos (F,L) son las diferentes alternativas que se podrían utilizar para conseguir ese objetivo.

Análisis de impacto: Mortalidad Infantil * Se parte de una relación lineal entre la mortalidad infantil del niño j en la región i (Sij ) y un proceso productivo (h) que trasforma los programas de salud (xij), públicos o privados   Sij = h [xij] + eij *Torche (1997)

Resultados Mortalidad Infantil El coeficiente del orden de nacimiento resultó estadísticamente significativo (entre menores hijos tiene el hogar, menor es la mortalidad) y con signo positivo. (17.27) La distribución de leche a mujeres embarazadas contribuye a la disminución de la mortalidad. (-2.88) Este tipo de estimaciones puede llevar a resultados contradictorios debido a problemas de multicolinealidad y simultaneidad

Análisis Costo Utilidad (ACU) Si los indicadores costo efectividad aplicados a los proyectos de salud logran capturar solo una parte de los beneficios generados es necesario recurrir a otra clase de indicadores. El análisis costo utilidad (ACU) relaciona los costos con una medida ponderada de los beneficios, logrando reflejar en su totalidad los cambios en el bienestar que experimentan los individuos.

Indicador años de vida ajustados por calidad (AVAC) Este indicador evalúa la importancia relativa de los problemas de salud a partir de la cuantificación de la vida saludable perdida, como consecuencia de enfermedades, discapacidades o por la muerte. La ventaja del AVAC como medida de resultado radica en que esta puede captar simultáneamente tanto las ganancias derivadas de la reducción de la morbilidad ( calidad de salud) como los beneficios obtenidos por disminuciones en la mortalidad ( años de vida ganados).

Intervención quirúrgica renal

Intervención quirúrgica renal Sin la intervención, la calidad de salud del individuo se deterioraría según la trayectoria de la situación sin programa, y de esta forma se presume que la persona moriría en el momento 1. Con la intervención, esta persona viviría más tiempo y fallecería en el momento 2. Al dividir el área en dos partes, A y B, la parte A corresponde a la cantidad de AVAC ganadas por una mejora en su calidad de vida, y la parte B corresponde a las AVAC ganadas como consecuencia del aumento de su tiempo de vida.

Método de producción neta El valor de seguir viviendo (VV) es la diferencia en valor presente (a una tasa r) del valor de la producción del individuo en cada periodo (VQt) y el valor del consumo (VCt) desde hoy hasta un horizonte de tiempo dado (t), ponderado por una probabilidad de estar vivo en t dado que se esta en 0 (P).

EVALUACION DE IMPACTO EX-POST

Evaluación de impacto ex–post Estas evaluaciones consisten en las comparaciones entre grupos de tratamiento (beneficiarios) y grupos de control (no beneficiarios) para medir los impactos atribuibles a la política, programa o proyecto de inversión. Dos son los problemas fundamentales en estas evaluaciones. El primero elegir el grupo de control con el cual realizar la comparación y el segundo garantizar que los beneficios recibidos por la población objetivo sean los atribuidos al proyecto.

Identificación del grupo de control Diseños experimentales (basados en la selección aleatoria de los beneficiarios) El análisis de los diseños no experimentales, implica la determinación de la situación sin proyecto y la construcción de un grupo de control Estimador antes y después Estimador de sección cruzada Estimador diferencia en diferencia Matching

Análisis de impacto La ecuación utilizada para evaluar el impacto del proyecto () sobre la variable de respuesta en el momento i (Yi), parte de definir un término independiente () que expresa el valor de la variable resultado en ausencia de otros efectos. El parámetro () corresponde a un efecto específico (T) del grupo de tratamiento y recoge las diferencias entre el grupo de tratamiento y el de control, finalmente  es un efecto temporal (t) común a los dos grupos, el de control y el de tratamiento.

Estimador Diferencia en Diferencia El estimador de diferencias en diferencias  se define como la diferencia en el resultado promedio del grupo de tratamiento antes y después del tratamiento, menos la diferencia en el resultado promedio del grupo de control antes y después del tratamiento

Matching Busca comparar un beneficiario directo del programa con una persona que no haya sido beneficiaria pero que tenga las mismas características. Se considera que el grupo de control es adecuado sí se observa que tiene características similares, las cuales se miden a través de una distancia métrica.

Identificación de los beneficios del proyecto ¿cuáles son los efectos reales del proyecto sobre los beneficiarios ? Comportamiento de la variable Y en función de un vector X de variables explicativas, u un factor aleatorio que recoge los efectos de variables no observables y P es una variable dicotómica que es igual a 1 cuando se realiza el proyecto y 0 cuando no.

PROGRAMA FAMILIAS EN ACCION

Familias en Acción* Es un programa social implementado en Colombia que consiste en el otorgamiento de subsidios a la educación y la salud condicionados por la asistencia, a clases en el primer caso y a controles de talla y peso en el segundo. El subsidio fue de $46,500/mes por núcleo familiar en el caso de salud, $14,000/mes por niño de primaria entre los 7-11 años (aprox.) y $28,000/mes por niño de bachillerato entre los 12 y los 17 años. *DNP-BM-BID (2004)

Impacto sobre la asistencia escolar del Programa Familias en Acción

Resultados Programa Familia en Acción los mayores efectos del programa se obtuvieron sobre los niños mayores de las áreas rurales. La estimación de diferencias en diferencias muestra que el incremento en la asistencia escolar causado por el programa pasó del 5% al 12% desde el momento en que se realizó la primera encuesta hasta el primer seguimiento. En la estimación por matching este porcentaje también se incrementó desde 11.13% hasta 20.05%.

Impacto del Programa Familias en Acción sobre la ocurrencia de enfermedad

Resultados Programa Familias en Acción La única variable significativa cuando se estimó a través de PSM o pareo, es la probabilidad de sufrir EDA. El parámetro estimado indica que el programa ha reducido esta probabilidad en cerca del 10%. Subestimación de resultados Los municipios de tratamiento llevan poco tiempo en el programa. Los municipios de control estaban enterados que serían los próximos beneficiarios.

CONSIDERACIONES DISTRIBUTIVAS

Consideraciones distributivas BN (Δq) = U1 VC1(Δq)+ … + UnVCn(Δq) VARIANTES MAS DIFUNDIDAS DEL ACB 1. Cambios en los beneficios netos de los beneficiarios: ACB- Eficiencia Análisis de eficiencia ui = uj Criterio de Hicks y Kaldor: si los que ganan pueden compensar potencialmente a los que pierden y a un así mejoran su nivel de bienestar entonces la acción es beneficiosa para la sociedad. 2. Cambios en los beneficios netos de los beneficiarios: ACB- Social Análisis “social” ui ¥ uj

Consideraciones distributivas de los proyectos

2.1. Necesidades Básicas Insatisfechas

Conclusión Aspectos distributivos La alternativa de análisis distributivo consiste en no solamente calcular los beneficios y los costos como valoraciones de variaciones en el consumo o de disponibilidad de recursos, si no también calcular los cambios monetarios (variaciones en beneficios netos) equivalentes a los cambios en el bienestar individual de TODOS los beneficiarios (afectados) involucrados en el programa, política o proyecto, independiente del juicio de valor que posteriormente se adopte.