Camilo Carrillo Agosto, 2012 Evaluación de impacto Camilo Carrillo Agosto, 2012 IV Curso de Didáctica e Investigación para Profesores Universitarios de Economía

INDICE La evaluación de Impacto. Definiciones. El Marco conceptual previo a la Evaluación de Impacto. Como identificar indicadores de impacto. La evaluación de Impacto. Diseños de la Evaluación de Impacto Diseño Experimental Diseños Cuasi-Experimentales Conclusiones. Caso Projoven.

OBJETIVOS Comprender, valorar y aplicar los conceptos fundamentales asociados a la evaluación de impacto. Crear un marco de referencia (lenguaje común) en los participantes, para el uso e interpretación de los enfoques, métodos y técnicas de evaluación de impacto.

1. ¿Qué es una evaluación de Impacto? Una evaluación de impacto contesta esta pregunta: Cómo cambiaron las vidas de los beneficiaros de mi programa, relativo a como hubiera estado sin mi programa? Genera un juicio de valor. (¿ 20%, 15% ?) Es el uso de procedimientos científicos para investigar sistemáticamente la efectividad de programas de intervención (Rossi et al, Bertrand). Es una herramienta que debe verse como parte integrante de la política social y la gerencia pública. (Rossi y Freeman, 1985). Que evaluamos? Programas (eficiencia, efectividad) Personas (aprendizajes, desempeño) Instituciones

1. ¿Qué es una evaluación de Impacto? ¿Por Qué Evaluamos Programas? Para corregir y mejorar su implementación. Para rendir cuentas (“accountability”). Para tomar decisiones acerca de continuar o terminar con el Programa o Proyecto. Por mandato o por razones políticas. Para generar conocimiento. ¿Otras razones?

2. El Marco conceptual previo a la Evaluación de Impacto. Es importante distinguir entre... 1. Evaluación Ex Ante Estudios de preinversión. (Perfil-Factibilidad)-SNIP 2. Evaluación operativa: Monitoreo (seguimiento): relacionado con los Componentes del Marco Lógico de un PIP/Programa. 3. Evaluación Ex Post Evaluación de Impacto: relacionado con el Propósito (Evaluación de resultado) y el Fin (Evaluación de impacto) del Proyecto y detallado en el ML.

2. El Marco conceptual previo a la Evaluación de Impacto. El marco conceptual o “de investigacion” es un diagrama que identifica e ilustra las relaciones entre factores sistémicos, organizacionales, individuales y otros elementos relevantes que pueden influenciar la operación de un Programa o Proyecto y el logro exitoso de sus metas y objetivos Speaker Notes: The participant should note that the definition of program theory only includes program elements: inputs, outputs, outcomes, etc. In contrary, the conceptual framework is more comprehensive in nature, since it includes all the other factors that can, potentially, have an effect on the outcomes, whether they are program related or not.

2. El Marco conceptual previo a la Evaluación de Impacto. EJEMPLO: Marco conceptual (resumido) para un programa de salud Activity: Invite the participants to establish in the example of a conceptual framework the boxes that refer to program theory, distinguishing between impact theory and process theory Impact theory: Service Utilization, Institutional Capability, Healthy practices, Health Status and Program Sustainability Process theory: Program Supply, Technical Inputs, Service Utilization and Institutional Capability

2. El Marco conceptual previo a la Evaluación de Impacto. EJEMPLO: Marco conceptual para un PIP de Salud Activity: Invite the participants to establish in the example of a conceptual framework the boxes that refer to program theory, distinguishing between impact theory and process theory Impact theory: Service Utilization, Institutional Capability, Healthy practices, Health Status and Program Sustainability Process theory: Program Supply, Technical Inputs, Service Utilization and Institutional Capability

2. El Marco conceptual previo a la Evaluación de Impacto. EJEMPLO: PIP de Educación Activity: Invite the participants to establish in the example of a conceptual framework the boxes that refer to program theory, distinguishing between impact theory and process theory Impact theory: Service Utilization, Institutional Capability, Healthy practices, Health Status and Program Sustainability Process theory: Program Supply, Technical Inputs, Service Utilization and Institutional Capability

3.  ¿Cómo identificar indicadores de Impacto?

3. ¿Cómo identificar indicadores de Impacto? Ejemplos de Proyectos Fines Educación Los alumnos mejoran el rendimiento en comprensión lectora y lógico-matemáticas Salud Reducción de la desnutrición infantil. Caminos Rurales Los productores tienen menores costos logísticos (aumento de la productividad) Saneamiento Rural Reducción de las enfermedades diarréicas agudas Agraria Mejora de margen de comercialización de los productores

4. La evaluación de Impacto Considerando el Marco Conceptual, la evaluación de impacto consiste de... Un conjunto de actividades de investigación tendientes a establecer si el comportamiento observado en las variables de interés (variables de impacto) puede ser atribuido al Programa/Proyecto La meta es establecer evidencias de una relación causal entre los resultados observados y las actividades del Programa/Proyecto

} 4. La evaluación de Impacto EJEMPLO Con el programa IMPACTO Tiempo Porcentaje de ingresos de la población Con el programa Sin el programa Intervención IMPACTO

4. La evaluación de Impacto Así, el Impacto Puede ser también definido como… La diferencia entre los resultados obtenidos con el programa y los resultados que se habría obtenido si el programa nunca se hubiera implementado. Concepto esencial : el contrafactual: Resultados que se habrían obtenido si el programa no hubiera sido implementado.

4. La evaluación de Impacto Cuando no se tiene un Contrafactual, es imposible determinar el impacto de una intervención: Se cae en el error de Subestimar o Sobreestimar el impacto de la intervención No se puede determinar si es la intervención, algo endógeno, o algo exógeno. Ejemplo: Un análisis antes-después de cualquier PIP/Programa.

4. La evaluación de Impacto EJEMPLOS

4. La evaluación de Impacto EJEMPLOS En realidad nunca sabremos de seguro cuál hubiera sido el valor del contrafactual, pero podemos tratar de estimarlo de diferentes formas. Los diversos diseños y técnicas analíticas en Evaluación de Impacto se pueden distinguir por la forma en que “estiman” o “simulan” el contrafactual

5. Diseños de la Evaluación de Impacto. Conocer exactamente cuál fue el impacto de un programa social es difícil ¿Qué efecto tuvo (si es que hubo alguno)?: ¿Cuál hubiera sido el resultado si los beneficiarios del programa no hubieran participado en él? ¿Cuál hubiera sido el resultado si quiénes no participaron en el programa hubieran sido beneficiarios de él?. Para aproximarnos al impacto de un programa social se debe construir un escenario “contrafactual”: ¿Cuál sería el resultado en los beneficiarios sin el programa?

5. Diseños de la Evaluación de Impacto. El problema es que no es posible observar al mismo individuo (o familia) como beneficiario y no beneficiario al mismo tiempo Hay que crear un escenario “contrafactual”: Implica un grupo adecuado de comparación a los beneficiarios del programa: Grupo contrafactual: aquel cuyos individuos son similares a quiénes recibieron el programa, excepto que “simplemente” no recibieron el programa.

5. Diseños de la Evaluación de Impacto. Clasificación de metodologías de Evaluación de Impacto

5. Diseños de la Evaluación de Impacto. Validez Interna y Externa Validez Interna: Tiene que ver con cuan bien nuestro diseño de evaluación establece causalidad. Mientras mejor definamos un Contrafactual, mejor podremos decir que la intervención genera el impacto observado. Tiene que ver con el Sesgo de Selección (que el contrafactual sea similar al grupo de beneficiarios) Validez Externa: Tiene que ver con cuan generalizables son los resultados, cuán relevantes para muchos / otros contextos. Normalmente los resultados que uno observa dependen de realidades particulares (cultura, contexto económico, instituciones, agentes, etc.) Va a depender del tamaño de muestra (y de la población) y del método de selección de la muestra (cuán representativa es la muestra)

5. Diseños de la Evaluación de Impacto. A) Evaluación Experimental: La metodología de estudio de control aleatorio es el método más riguroso para medir el impacto de un producto. La muestra de estudio se divide aleatoriamente entre dos grupos principales: uno que recibe los beneficios del programa (grupo de tratamiento) y otro que no los recibe (grupo de control). Como es imposible saber qué hubiera pasado si los beneficiarios no hubieran recibido el programa, se hace una comparación entre el grupo beneficiario y otro grupo que tenga características similares pero que no ha recibido el programa.

5. Diseños de la Evaluación de Impacto. Evaluación Experimental:

5. Diseños de la Evaluación de Impacto. Evaluación Experimental:

5. Diseños de la Evaluación de Impacto. Para evitar sesgos de selección es necesario hacer una muestra aleatoria, es decir, todos los miembros de la población tienen la misma probabilidad de ser elegidos

5. Diseños de la Evaluación de Impacto. Resultado del uso de métodos experimentales: Se elimina el Sesgo de Selección Fácil de convencer a los creadores de política -pruebas científicas de impacto con resultados no sesgados. La evaluación es más barata que invertir recursos en programas que no son ni eficientes ni beneficiosos Fundamental para pensar cuál es el siguiente paso

5. Diseños de la Evaluación de Impacto. Ejemplos de Eval. de Impacto Experimentales: Oportunidades (Mex): experimental con 506 comunidades elegibles. Fueron distribuidas aleatoriamente en 320 y 186 comunidades de tratamiento y control, respectivamente Resultados: Schultz (2004): encontró un aumento promedio en la matrícula del 3,4% para todos los estudiantes, con el mayor incremento entre las niñas que habían completado el 6 º grado, de 14,8%. La razón más probable : que las niñas tienden a abandonar la escuela a tasas mayores una vez que se hacen mayores. los grados primarios. Estos impactos a corto plazo se extrapolaron para predecir el impacto de Progresa a más largo plazo.

5. Diseños de la Evaluación de Impacto. B) Evaluación Cuasi-Experimental: Son metodologías en las que la intervención no es asignada de manera aleatoria (hay un criterio de elección). Buscan generar el contrafactual usando distintos acercamientos Ejemplos: Matching/PSM, Diff-in-Diff, Regression Discontinuity Design (RDD)

5. Diseños de la Evaluación de Impacto. Matching/ Propensity Score Matching Se busca “emparejar” a los beneficiarios con los no beneficiarios usando ciertas variables PSM utiliza el “propensity score” que es la probabilidad de ser asignado a un grupo de tratamiento o control, dado un conjunto de variables. Normalmente se utiliza una Regresión tipo Probit : P(y=1) = F(a1Hijo+a2Curso+a3Lab+a4IngFam+a5Padr+a6Madr)+Error

5. Diseños de la Evaluación de Impacto. Matching/ Propensity Score Matching

5. Diseños de la Evaluación de Impacto. Difference-in-Difference(DID, DD) Se toma un grupo de tratamiento y de control y se compara como evolucionan en el tiempo Se asume que en los 2 grupos está sucediendo casi lo mismo

5. Diseños de la Evaluación de Impacto. Difference-in-Difference(DID, DD)

5. Diseños de la Evaluación de Impacto. Difference-in-Difference(DID, DD) Ejemplo: Privatización de Agua en Argentina y su efecto en mortalidad infantil (Galiani, Gertler, and Schargrodsky (2005). A partir de 1995, la mortalidad disminuyó más rápidamente en los municipios que habían privatizado sus servicios de agua. Se encontró evidencia que la privatización del agua se correlaciona con la reducción de las muertes por enfermedades infecciosas y parasitarias. La mortalidad infantil se redujo un 8 por ciento en las zonas que habían privatizado y que el efecto fue mayor en las zonas más pobres (hasta 26%%).

5. Diseños de la Evaluación de Impacto. Regression Discontinuity Design Se comparan los grupos en el margen, justo en el borde donde hay un filtro arbitrario Ha tomado mucha popularidad últimamente. Si está bien diseñado es muy riguroso. Solo permite responder preguntas sobre las unidades en el margen. Ejemplo: Ejemplo de Microcrédito

5. Diseños de la Evaluación de Impacto. Regression Discontinuity Design

5. Diseños de la Evaluación de Impacto. Regression Discontinuity Design

5. Diseños de la Evaluación de Impacto. Regression Discontinuity Design Ejemplo: Redes de protección social en Jamaica. Levy and Ohls (2007). El programa proporciona salud y subsidios a la educación a los niños elegibles (condicionado a la asistencia a la escuela y postas) Elegibilidad para el programa fue determinada por una fórmula de puntuación (nivel de pobreza). Fueron capaces de comparar los hogares justo por debajo del umbral de elegibilidad. Resultados: El Programa genera mayor asistencia a la escuela para niños de 6 a 17 años en un promedio de 0,5 días al mes. Asimismo, las visitas de atención de salud aumentó aproximadamente 38%.

6. Conclusiones. Conclusiones de los diferentes métodos: La evaluación experimental es el diseño de evaluación de impacto científicamente óptimo (Arcenauxet al. 2004). Pero, por muchas razones, a veces no es posible implementar experimentos aleatorios y la evaluación de impacto se realiza a través de métodos cuasi-experimentales que son intensivos en datos y en técnicas microeconométricas.

7. Caso Projoven.