Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada.

Presentación del tema: "Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada."— Transcripción de la presentación:

1 Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) (http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas.http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

2 Midiendo el impacto: Métodos de Evaluación de Impacto Sebastian Martínez Banco Interamericano de Desarrollo Presentación por Sebastian Martinez, basado en el libro “Impact Evaluation in Practice” por Gertler, Martinez, Premand, Rawlings y Vermeersch (2010). El contenido de esta presentación representa la opinión del autor y no necesariamente del Banco Inter Americano de Desarrollo. Esta versión: Enero 2012.

3 ¿Qué es una Evaluación de Impacto? Comenzamos con una Pregunta de Desarrollo…… Como reducir el desempleo entre los jóvenes? Como incrementar la inscripción escolar? Como mejorar la nutrición de los niños? Otros……… Proponemos una solución….. Capacitación técnico-vocacional para jóvenes Becas escolares Suplementos nutricionales 3

4 Al final del día, ¿el programa tuvo IMPACTO? La capacitación técnico-vocacional redujo el desempleo de los jóvenes? Las becas escolares aumentaron la inscripción escolar? Los suplementos nutricionales mejoraron la nutrición de los niños? 4 La Evaluación de Impacto mide la relación causa- efecto entre una intervención y un resultado

5 Teoría del Cambio La política publica debe estar fundamentado en una “teoría de cambio” que relaciona la intervención a los resultados de interés 5 La evaluación de impacto mide si estos resultados fueron logrados c

6 Cadena de Resultados InsumosActividadesProductosResultadosImpactos 6 Implementación (Oferta)Resultados (Oferta + Demanda) Recursos Humanos, Financieros, otros movilizados para realizar actividades Acciones emprendidas o trabajo realizado para convertir insumos en productos específicos Bienes y servicios producidos y entregados bajo control del implementador Uso de productos por parte de poblacion de interes Objetivos finales del programa o metas de largo plazo Presupuesto Personal Otros Recursos Actividades realizadas para producir bienes y servicios Bienes y Servicios Producidos bajo control del organismo ejecutor No totalmente bajo el control del organismo ejecutor Afectados por múltiples factores externos

7 Insumos claves para una Evaluación de impacto 7 Marco lógico Estrategia de Identificación Datos Plan Operativo Recursos Como funciona el programa en teoría Medición de Impacto Encuestas, Sistemas administrativos Equipo de evaluación, cronograma, TDRs, etc $

8 1 Inferencia Causal Contrafactuales Contrafactuales falsos: Condición pre-programa (pre-post) Auto-seleccionados (peras y manzanas) 8

9 Objetivo de la Evaluación de Impacto 9 Estimar el efecto causal (impacto) de una intervención (P) en un resultado (Y). (P) = Programa o “Tratamiento” (Y) = Resultado, Medida de Exito Ejemplo: Cual es el impacto de un programa de transferencias monetarias (P) sobre el consumo del hogar (Y)? “

10 Pregunta de Evaluación: 10 Cual es el impacto de (P) sobre (Y) ? α= (Y | P=1)-(Y | P=0) Respuesta:

11 Problema de Datos Incompletos 11 Para un Beneficiario de Programa: α= (Y | P=1)-(Y | P=0) Observamos (Y | P=1): consumo del hogar ( Y ) participando en el programa de transferencias monetarias (P=1) Pero NO observamos (Y | P=0): consumo del hogar (Y) sin el programa de transferencias monetarias (P=0)

12 Solución 12 Estimamos lo que hubiese sucedido con Y en la ausencia de P. Llamamos esto el….. Contrafactual. La clave para una buena evaluación de impacto es la estimación de un counterfactual valido!

13 Estimando el impacto de P sobre Y 13 Observamos (Y | P=1) Resultado bajo Tratamiento Estimamos (Y | P=0) El Contrafactual Usa grupos de Comparación o Control α= (Y | P=1)-(Y | P=0) IMPACTO = - contrafactual Resultado con Tratamiento

14 Ejemplo: Cual es el Impacto de… 14 Darle a Fulanito (P)(P) (Y)?(Y)? dinero en su consumo de caramelos

15 El “Clon” Perfecto 15 Fulanito“Clon” IMPACTO=6-4=2 6 caramelos4 caramelos

16 En realidad, usamos propiedades de la estadística…….. 16 TratamientoComparación Y Promedio=6 caramelosY Promedio=4 caramelos IMPACTO=6-4=2

17 Encontrando buenos controles 17 Queremos encontrar “clones” para los “Fulanitos” de nuestros programas. Los grupos de tratamiento y control deben tener Características idénticas Excepto por la intervención En practica, usamos reglas de elegibilidad al programa para encontrar buenos controles Con un buen grupo de comparación, la única razón para resultados diferentes entre tratamiento y control es la intervención (P)

18 18 Programa nacional contra la pobreza en México o Objetivos: o Romper transmisión inter-generacional de pobreza y reducir pobreza hoy o Comienza 1997 o 5 millones de beneficiarios hasta 2004 o Elegibilidad en base a índice de pobreza Intervención: Transferencias Condicionadas o Condicional en participación escolar y servicios de salud Caso: Progresa

19 19 Evaluación de impacto con riqueza de información: o 506 comunidades, 24,000 hogares o Línea Base 1997, seguimiento 2008 Muchos resultados de interés (educación, salud, etc) Aqui: Estándar de vida: Consumo per cápita Cual es el impacto de Progresa (P) sobre Consumo per cápita (Y)? Si el impacto es de $20 pesos o mas por mes, escalamos programa

20 Elegibilidad e Inscripción No elegible (No pobre ) Elegible (Pobre) Inscrito No Inscrito

21 1 Inferencia Causal Contrafactuales Contrafactuales falsos: Condición pre-programa (pre-post) Auto-seleccionados (peras y manzanas) 21 Dos buenos ejemplos de MALOS contrafactuales

22 22 0.17 0.26 0.45 0.38 Hombres Mujeres Impacto de Programa?

23 23 0.17 0.26 0.45 0.38 Hombres Mujeres Impacto de Programa?

24 24 Comparación pre- post no controla por otros factores que varían en el tiempo! Contrafactual: Hombres Impacto de Programa?

25 Caso 1: Pre-programa 25 ¿Cual es el impacto de Progresa (P) sobre Consumo per cápita (Y)? Y Tiempo T=1997 T=1998 α = $35 IMPACTO=A-B= $35 B A 233 268 (1)Observamos consumo antes (Abril 1997) y después (Noviembre 1998) del programa (2)α= (Y | P=1)-(Y | P=0)

26 Caso 1: Pre-programa 26 Nota: **estadísticamente significativo al 1% Consumo (Y) Resultado CON Tratamiento (Post) 268.7 Contrafactual (Pre) 233.4 Impacto (Y | P=1) - (Y | P=0) 35.3** Análisis de Regresión: Regresión Lineal 35.27** Regresión Lineal Multivariable 34.28**

27 Caso 1: ¿Cuál es el problema? 27 Y Tiempo T=0 T=1 α = $35 B A 233 268 Boom Económico: o Impacto “real”=A-C o A-B es una sobre- estimación C ? D ? Impacto? Recesión: o Impacto “real”=A-D o A-B es una sub- estimación Condición pre-programa No controla por otros factores que varían en el tiempo

28 1 Inferencia Causal Contrafactuales Contrafactuales falsos: Condición pre-programa (pre-post) Auto-seleccionados (peras y manzanas) 28

29 Controles Auto-seleccionados 29 Generalmente NO son buenos controles aquellos que: Eligen NO participar Son Inelegibles para participar (con algunas excepciones importantes) Sesgo de Selección: o Características de la población están correlacionados con su condición de participación en el programa y con los resultados (Y) de interés Podemos controlar por observables Pero no por inobservables! El impacto estimado se confunde con estas características

30 Período post-tratamiento (1998) Caso 2: Progresa Inscrito Y=268 No inscrito Y=290 No elegible (No pobre) Elegible (Pobre) En que sentido podrían ser diferentes los “Inscritos” y “No inscritos”, además de su participación en el programa?

31 Caso 2: Controles Auto-seleccionados 31 Consumo (Y) Resultado CON Treatment (Inscrito) 268 Counterfactual (No Inscrito) 290 Impacto (Y | P=1) - (Y | P=0) -22** Análisis de Regresión: Regresión Lineal -22** Regresión Lineal Multivariable -4.15 Nota: **estadísticamente significativo al 1%

32 Recomendación de Política Publica? 32 Recomendaría escalar Progresa a nivel nacional? “Si el impacto es de $20 pesos o mas por mes, escalamos programa” Pre-programa: o No se consideran otros factores que varían en el tiempo Auto-seleccionados: o Sesgo de Selección: otros factores asociados a los grupos de tratamiento y comparación inciden en el resultado Impacto en Consumo (Y) Caso 1: Pre- programa Regresión Lineal 35.27** Regresión Lineal Multivariable 34.28** Caso 2: Auto- seleccionados Regresión Lineal -22** Regresión Lineal Multivariable -4.15

33 Pre-programa Compara: Misma unidad de observación antes y después de recibir P. Problema: Otras cosas pueden ocurrir a lo largo del tiempo que afectan el resultado Auto-seleccionados Compara: Grupo que participa con grupo que elige no participar en P. Problema: Sesgo de Selección. Recuerda 33 Ambos contrafactuales pueden llevar a un estimado sesgado del impacto !

34 2 Métodos de Evaluación Asignación Aleatoria Diseño de Regresión Discontinua Promoción Aleatoria (Variables Instrumentales) Diferencias en Diferencias (dif-en-dif) Pareamiento Nuestra “Cajita de Herramientas” 34

35 Asignación Aleatoria 35 o Asignación de beneficios mediante lotería u otro proceso aleatorio…….. o Genera dos grupos estadísticamente idénticos o Sobre Demanda: o # elegibles > recursos disponibles o Innovación: necesitamos evidencia rigurosa sobre la efectividad de un programa Cuando aleatorizar? o Recibir el programa o Recibir el programa primero, segundo, tercero, etc Dar a cada unidad elegible la misma probabilidad de…. o Regla de selección ético, cuantitativo y transparente o Produce el mejor contrafactual posible y es intuitivo/fácil de comunicar Ventajas…….

36 = Inelegible Asignación Aleatoria = Elegible 1. Poblacion Validez Externa 2. Muestra 3. Tratamiento Validez Interna Comparación

37 Unidad de aleatorización 37 Seleccionar según el tipo de programa: o Individual/Hogar o Escuela/Centro salud o Calle/Manzana o Pueblo/Comunidad o Distrito/Municipio/Región Tener en cuenta: o Es necesario un número “suficientemente grande” de unidades para detectar el impacto mínimo deseado: Potencia estadística. o Spillovers/contaminación o Costos operativos y de encuestas Como regla de dedo, opte por aleatorizar en la mínima unidad de implementación viable.

38 Caso 3: Asignación Aleatoria 38 Progresa: Unidad de aleatorización: comunidad o 320 comunidades de tratamiento (14,446 hogares): o Primera transferencia Abril 1998 o 186 comunidades de control (9,630 hogares): o Primera transferencia Noviembre 1999 506 comunidades en la muestra de evaluación Aleatorización por etapas:

39 Caso 3: Asignación Aleatoria 39 Comunidades Tratamiento 320 Comunidades Control 186 Tiempo T=1T=0 Periodo de Comparación

40 40 Como podemos comprobar que tenemos buenos “clones” ? En la ausencia de P, los grupos de tratamiento y comparación deben ser estadísticamente idénticos Comparemos sus características de línea de base (T=0) Caso 3: Asignación Aleatoria

41 Caso 3: Balance (pre-programa) 41 Caso 3: Asignación Aleatoria ControlTratamientoEst.T Consumo ($ mensual per capita) 233.47233.4-0.39 Edad Jefe de Hogar (anios) 42.341.61.2 Edad Esposa(o) del Jefe (años) 36.8 -0.38 Educación Jefe (años) 2.82.9-2.16* Educación Esposa(o) (años) 2.62.7-0.006 Nota: *estadísticamente significativo al 5%

42 Caso 3: Balance (pre-programa) 42 Caso 3: Asignación Aleatoria ControlTratamientoEst.T Jefe de hogar femenino=1 0.07 0.66 Indigena=1 0.42 0.21 Numero miembros del hogar 5.7 -1.21 Tiene Baño=1 0.560.57-1.04 Hecatrias de tierra 1.711.671.35 Distancia a Hospital (km) 106109-1.02

43 Caso 3: Asignación Aleatoria 43 Grupo Tratamiento (Aleatorizado a tratamiento) Contrafactual (Aleatorizado a comparacion) Impacto (Y | P=1) - (Y | P=0) Linea Base (T=0) Consumo (Y) 233.47233.400.07 Seguimiento (T=1) Consumo (Y) 268.75239.529.25** Análisis de Regresión: Regresión Lineal 29.25** Regresión Lineal Multivariable 29.75** Nota: **estadísticamente significativo al 1%

44 Recomendación de Política Publica? 44 Impacto de Progresa en Consumo (Y) Caso 1: Pre- programa Regresión Lineal Multivariable 34.28** Caso 2: Auto- seleccionados Regresión Lineal -22** Regresión Lineal Multivariable -4.15 Caso 3: Asignación Aleatoria Regresión Lineal Multivariable 29.75** Nota: **estadísticamente significativo al 1%

45 Comparando Diferentes Beneficios 45 Pregunta de evaluación “tradicional”: o Cual es el impacto de un programa sobre un resultado? Otras preguntas de interés: o Como optimizar un programa? o Cual es el nivel optimo de un beneficio? o Porque funciona un programa? o Cual es el impacto de un sub-componente del programa? Asignación aleatoria con dos niveles de beneficio: ComparaciónBeneficio BajoBeneficio Alto X

46 = Inelegible Asignación Aleatoria de 2 niveles de beneficio = Elegible 1. Población Elegible2. Muestra de Evaluación 3. Asignación Aleatoria (2 niveles de beneficio) Comparación

47 Impacto combinado de dos beneficios 47 Como se complementan dos beneficios? Asignación aleatoria de paquete de intervenciones: Intervención 2 ComparaciónTratamiento Intervención 1 Comparación Grupo A X Grupo C Tratamiento Grupo B Grupo D

48 = Inelegible Asignación Aleatoria de múltiples intervenciones = Elegible 1. Población Elegible2. Muestra de Evaluación 3. Asignación Aleatoria 1 4. Asignación Aleatoria 2 X

49 Asignación Aleatoria La asignación aleatoria de un beneficio a una población grande produce dos grupos estadísticamente equivalentes Tenemos un “clon” perfecto! Aleatorizado a Tratamiento Aleatorizado a comparación Factible en evaluaciones prospectivas cuando demanda excede oferta del beneficio Muchos programas piloto cumplen esta condición Recuerda ! 49

50 2 Métodos de Evaluación Asignación Aleatoria Promoción Aleatoria (Variables Instrumentales) 50

51 Y si TODOS pueden participar? Por ejemplo…… o Programas nacionales con elegibilidad universal? o Programas con participación voluntaria? o Programas donde no se puede “excluir” a nadie? Si no se inscriben todos, podemos comparar participantes y no-participantes? Sesgo de Selección!

52 Ofrecer o promocionar programa a un sub-grupo aleatorio 52 Si la inscripción es voluntaria: o Ofrecer programa a una sub-muestra aleatoria o Algunos aceptan o Otros no aceptan … y no se puede excluir la oferta a nadie: o Ofrecer programa a todos o Ofrecer promoción, estimulo o incentivos a una sub-muestra aleatoria: Información Premio Transporte Oferta aleatoria Promoción aleatoria

53 Oferta y Promoción Aleatoria 53 1.Grupo ofertado/promocionado y no-ofertados/no- promocionados son comparables: Condición de promoción del grupo (con/sin) NO esta correlacionado con las características de la población Garantizado por la aleatorización 2.Grupo ofertado/promocionado tiene mayor tasa de participación en el programa Es decir, la promoción funciona! Podemos comprobar empíricamente 3.La oferta/promoción no afecta los resultados directamente Usamos teoría e intuición para asegurar esta condición Condiciones necesarias:

54 Oferta y Promoción Aleatoria 54 3 grupos de unidades o individuos

55 0 Eligible Inscrito NuncaPromoción Siempr e Oferta y Promoción Aleatoria 1.Población Elegible 2.Aleatoriza Oferta/Promoción 3. Inscripción CON Oferta/Promoción SIN Oferta/Promoción

56 Ejercicio: estimar el impacto de 56 50% 20 20/(1/2)=4 0

57 Caso 4: Oferta Aleatoria 57 Oferta aleatoria es una “Variable Instrumental” o Progresa se ofrece a los hogares o Oferta a hogares en un grupo aleatorio de 320 comunidades o 92% de hogares lo toman, 8% lo rechaza Si hay menos de 100% de inscripción en el programa… o Intención al tratamiento: Impacto de ofrecer el programa o Tratamiento sobre lo Tratados: Impacto de tomar el programa o Utilizamos la asignación aleatoria de la oferta como “variable instrumental”

58 Caso 4: Oferta Aleatoria 58 CON Oferta (320 Comunidades) SIN Oferta (186 Comunidades) Impacto Tratamiento sobre Tratados Inscrito=92% Consumo Promedio= 268 Inscrito=0% Consumo Promedio= 239 ∆Inscrito=0.92 ∆Y=29 Impacto= 29/0.92 =31 Nunca Participa X Participa con Oferta Siempre participa X

59 Caso 4: Oferta Aleatoria 59 Impacto del Tratamiento sobre el consumo de los Tratados Regresión Variables Instrumentales 30.4** Nota: **estadísticamente significativo al 1%

60 Oferta/Promoción Aleatoria Oferta/Promoción debe ser efectivo en incrementar participación! Asignamos aleatoriamente la oferta/promoción (evaluación experimental) con el propósito de evaluar el impacto del programa de interés Estrategia depende de la validez de la oferta/promoción Estimamos un impacto local, no necesariamente generalizable para toda la población No excluimos a nadie, pero… Recuerda ! 60

61 2 Métodos de Evaluación Asignación Aleatoria Diseño de Regresión Discontinua Promoción Aleatoria (Variables Instrumentales) 61

62 Diseño de Regresión Discontinua 62 Programas anti-pobreza Pensiones Educación Agricultura Muchos programas focalizan mediante un índice o puntaje continuo que determina elegibilidad: Focaliza hogares debajo cierto nivel de ingreso o índice de pobreza Focaliza población mayor de edad Becas para los mejores estudiantes en base a una prueba estandarizada Fertilizante para pequeños productores (hectáreas de tierra) Otros Ejemplos?

63 Ejemplo: Programa Agrícola 63 Mejorar productividad para pequeños productores Objetivo: o Productores con ≤50 hectáreas son elegibles o Productores con >50 hectáreas son inelegibles Focalización: Subsidio para comprar fertilizantes Intervención:

64 Pre-Intervención (línea Base) No Elegible Elegible

65 Post-Intervención IMPACTO

66 Diseño de Regresión Discontinua 66 Necesitamos un índice de elegibilidad continuo con un punto de corte de elegibilidad definido Intuición: o Unidades alrededor del punto de corte son parecidos – el grupo no-elegible produce un buen contrafactual o Impacto estimado es valido en un vecindario alrededor del punto de corte Para utilizar un Diseño de Regresión Discontinua necesitas: 1)Indice de elegibilidad continuo 2)Punto de corte definido

67 Caso 5: Diseño de Regresión Discontinua 67 Elegibilidad para PROGRESA en base a un índice de pobreza (prueba de medias) Hogar pobre si puntaje ≤ 750 Elegibilidad: o Elegible=1 si puntaje ≤ 750 o Elegible=0 si puntaje > 750

68 Caso 5: Diseño de Regresión Discontinua: Pre- intervención Índice de Pobreza Consumo

69 Caso 5: Diseño de Regresión Discontinua: Post-Intervención Consumo Índice de Pobreza 30.58** Impacto sobre Consumo (Y) Regresión Lineal Multivariable

70 Diseño de Regresión Discontinua Requiere un índice de elegibilidad continuo con punto de corte definido Observaciones justo al otro lado del punto de corte de elegibilidad son buenos controles. No es necesario “excluir” un grupo de unidades elegibles del programa Muchas veces se puede aplicar en evaluaciones retrospectivas que cumplen las condiciones necesarias Recuerda ! 70

71 Diseño de Regresión Discontinua Produce un estimado de impacto local: o Efecto del programa alrededor del punto de corte o Importante para decidir si expandir o reducir cobertura del programa o No es necesariamente generalizable a otras poblaciones Potencia: o Necesitamos muchas observaciones alrededor del punto de corte. Cuidado con el modelo: A veces lo que parece una discontinuidad en la grafica es otra cosa (como una relación no-lineal). Recuerda ! 71

72 2 Métodos de Evaluación Asignación Aleatoria Diseño de Regresión Discontinua Promoción Aleatoria (Variables Instrumentales) Diferencias en Diferencias (dif-en-dif) 72

73 Diferencias en Diferencias (dif-en-dif) 73 Y= Inscripción Escolar P= Programa de Tutoría Dif-en-Dif: Impacto=(Y t1 -Y t0 )-(Y c1 -Y c0 ) Con Programa Sin Programa Post 0.740.81 Pre 0.600.78 Diferencia +0.14+0.03 0.11 -- - =

74 Diferencias en Diferencias (dif-en-dif) 74 Dif-en-Dif: Impacto=(Y t1 -Y c1 )-(Y t0 -Y c0 ) Y= Inscripción Escolar P= Programa de Tutoría Con Programa Sin Programa Post 0.740.81 Pre 0.600.78 Diferencia -0.07 -0.18 0.11 - - - =

75 Impacto =(A-B)-(C-D)=(A-C)-(B-D) Inscripción Escolar B=0.60 C=0.81 D=0.78 T=0T=1 Tiempo Con Programa Sin Programa Impacto=0.11 A=0.74

76 Impacto =(A-B)-(C-D)=(A-C)-(B-D) Inscripción Escolar Impacto<0.11 B=0.60 A=0.74 C=0.81 D=0.78 T=0T=1 Tiempo Con Programa Sin Programa

77 Caso 6: Dif en Dif con Progresa 77 InscritosNo InscritosDiferencia Pre-programa (T=0) Consumo (Y) 233.47281.74-48.27 Post-programa (T=1) Consumo (Y) 268.75290-21.25 Diferencia 35.288.2627.02 Análisis de Regresión: Regresión Lineal 27.06** Regresión Lineal Multivariable 25.53** Nota: **estadísticamente significativo al 1%

78 Diferencias-en-Diferencias Dif-en-Dif: cambio pre-post entre un grupo participante y otro no-participante Contrafactual para la tendencia o cambio en el indicador Asume que en la ausencia de programa, tendencias entre participantes y no-participantes serian iguales Para comprobar igualdad de tendencias, necesitamos al menos: o 2 observaciones antes o 1 observación después Recuerda ! 78

79 2 Métodos de Evaluación Asignación Aleatoria Diseño de Regresión Discontinua Promoción Aleatoria (Variables Instrumentales) Diferencias en Diferencias (dif-en-dif) Pareamiento 79

80 Pareamiento 80 Para cada unidad de tratamiento escogemos el mejor “par” de otra población sin tratamiento. Idea Los pares se seleccionan sobre similitudes en características observadas. ¿Cómo? Si existen otras características no-observadas que afectan la participación: Sesgo de selección! ¿Riesgo?

81 Pareamiento por Propensión a Participar: Propensity-Score Matching (PSM) 81 Grupo de comparación: no-participantes con las mismas características observables que participantes o Pueden existir muchas características importantes Pareamiento en base a “puntaje de propensión”, (propuesto por Rosenbaum y Rubin): o Para cada unidad, computar la probabilidad de participar en base a características observables: puntaje de propensión o Escoger pares que tienen puntajes de propensión cercanos o Ver apéndice 2.

82 Densidad de puntajes de propensión Densidad Puntaje de Propensión 0 1 Participantes No-Participantes Soporte Común

83 Caso 7: Pareamiento en Progresa Caracteristicas pre-programa Coeficiente Estimado Regresión Probit, Prob Inscrito=1 Edad jefe de hogar (anios) -0.022** Edad esposo(a) del jefe (anios) -0.017** Educacion del Jefe (years) -0.059** Educacion de Esposa (years) -0.03** Jefe femenino=1 -0.067 Indigena=1 0.345** Numero de miembros del hogar 0.216** Piso de tierra=1 0.676** Baño=1 -0.197** Hectarias de tierra -0.042** Distancia al hospital (km) 0.001* Constante 0.664** Nota: **estadísticamente significativo al 1%, * estadísticamente significativo al 5%,

84 Caso 7: Soporte Comun en Progresa Pr (Inscrito) No Inscrito Densidad Inscrito

85 Caso 7: Pareamiento 85 Impacto sobre consumo (Y) Regresión Lineal Multivariable 7.06+ Nota: + estadísticamente significativo al 10%

86 Pareamiento Requiere línea de base con gran numero de observaciones en población beneficiaria y no- beneficiaria Usando el metodo: o Optimo si conocemos la regla de asignación de beneficios y la utilizamos para encontrar pares o En combinación con otros métodos como dif-en-dif Pareamiento sin línea de base es muy riesgoso: o Pareamiento en base a variables “endógenas” que han sido afectadas por el programa genera contrafactual sesgado Recuerda ! 86

87 Recomendación de Política Publica? 87 Impacto de Progresa en Consumo (Y) Caso 1: Pre-programa 34.28** Caso 2: Auto-seleccionados -4.15 Caso 3: Asignación Aleatoria 29.75** Caso 4: Tratamiento sobre los Tratados 30.4** Caso5: Diseño de Regresión Discontinua 30.58** Caso 6: Diferencias-en-Diferencias 25.53** Caso 7: Pareamiento 7.06+ Nota: **estadísticamente significativo al 1%

88 Recomendación de Política Publica? 88 Impacto de Progresa en Consumo (Y) Caso 1: Pre-programa 34.28** Caso 2: Auto-seleccionados -4.15 Caso 3: Asignación Aleatoria 29.75** Caso 4: Tratamiento sobre los Tratados 30.4** Caso5: Diseño de Regresión Discontinua 30.58** Caso 6: Diferencias-en-Diferencias 25.53** Caso 7: Pareamiento 7.06+ Nota: **estadísticamente significativo al 1%

89 2 Métodos de Evaluación Asignación Aleatoria Diseño de Regresión Discontinua Promoción Aleatoria (Variables Instrumentales) Diferencias en Diferencias (dif-en-dif) Pareamiento Combinación de metodos 89

90 Escogiendo un Método 90 1. Prospectivo o retrospectivo? 2. Criterios de elegibilidad? 3. Implementación inmediato o en fases? 4. Recursos limitados para atender demanda potencial? o Focalización? o Variación geográfico? o Limitaciones de presupuesto o capacidad de implementación? o Exceso de demanda para el programa Información clave para escoger el método de evaluación:

91 Escogiendo un Método 91 Mejor Diseño Controlamos por todo? El resultado es valido para toda la población de interés? o Contrafactual mas robusto + mínimo riesgo operativo o Validez externa o Impacto local o global o Resultados de impacto aplican a otras poblaciones relevantes o Validez interna o Buen grupo de comparación Escoge el mejor diseño dado el contexto operativo:

92 Usando las reglas de operación para seleccionar el método…… 92 Fuente: Gertler et al. “Impact Evaluation in Practice” (2010) Exceso de demanda para programa (recursos limitados) Sin exceso de demanda para el programa (recursos suficientes) Índice continuo de focalización y umbral Sin Índice continuo de focalización y umbral Índice continuo de focalización y umbral Sin Índice continuo de focalización y umbral Expansión en fases a lo largo del tiempo Implementación Inmediata Recursos Focalización Tiempo o Asignación Aleatoria o DRD o Asignación Aleatoria o DRD o Asignación Aleatoria o VI o DD con Pareamiento o Asignación Aleatoria o VI o DD con Pareamiento o Asignación Aleatoria en fases o DRD o Asignación Aleatoria en fases o VI o DD con Pareamiento Si la participación no es plena: o VI o DD con Pareamiento

93 “ Recuerda 93 El objetivo de la evaluación de impacto es estimar el efecto causal de un programa sobre los resultados de interés. !

94 “ 94 Para medir el impacto, necesitamos estimar el contrafactual. Lo que hubiese sucedido en la ausencia del programa Para esto usamos grupos de comparación ! Recuerda

95 “ 95 Nuestra “caja de herramientas” para evaluar impacto ofrece 5 métodos para generar grupos de comparación. ! Recuerda

96 “ 96 Escoge el mejor método viable en el contexto operativo del programa ! Recuerda

97 www.iadb.org www.worldbank.org/ieinpractice 97 Gracias!

98 Apéndice 1: Mínimos Cuadrados en Dos Etapas (2SLS, por su sigla en inglés) 98 Modelo con Tratamiento endógeno (T): Etapa 1: Realizar la regresión de la variable endógena sobre la Variable Instrumental (Z) y otros regresores exógenos : Calcular el valor previsto para cada observación: T gorro

99 Apéndice 1: Mínimos Cuadrados en Dos Etapas (2SLS) 99 Es necesario corregir Errores Estándar (se basan en T gorro más que en T) Etapa 2: Realizar la regresión de resultado Y sobre la variable prevista (y otras variables exógenas) : En la práctica se utiliza STATA - ivreg Intuición: T ha quedado “limpia” de su correlación con ε.

100 Apéndice 2 Pasos para Pareamiento por Propensión 100 1.Necesitamos encuestas representativos y altamente comparables de participantes y no-participantes. 2.Junta las dos muestras y estima una regresión logit (o probit) sobre una variable dicotómica de participación en programa. 3.Restringe la muestra al soporte común. 4.Para cada participante, busca los no-participantes con puntaje de propensión similar. 5.Toma la diferencia en el resultado entre cada participante y su par o pares. La diferencia es el estimado de impacto del programa para esa observación. 6.Calcula el promedio de los impactos individuales para estimar el impacto promedio del programa.

101