Métodos No Experimentales

Presentación del tema: "Métodos No Experimentales"— Transcripción de la presentación:

1

2 Métodos No Experimentales
Measuring Impact: Métodos No Experimentales Lupe Bedoya Istanbul, May 12, 2015 Based on David Evan’s

3 Conceptos Importantes
Indicadores de Resultados (Outcomes): Lo que observamos, medimos y queremos afectar Impacto: Cambio en los indicadores de resultado que es causado por el programa a ser evaluado

4 El objetivo de la evaluación de impacto es responder la siguiente pregunta…
¿Cuál es el impacto de <<intervención>> en <<resultado>>? ¿Cuál es el impacto de proveer entrenamiento en prácticas empresariales en la productividad en empresas pequeñas?

5 = impacto que se puede atribuir exclusivamente al programa
El uso de la palabra “causado” Cuando decimos “El programa de entrenamiento en prácticas administratives impacta la productividad de la empresa pequeña.” Lo que queremos decir es que: Un empresa pequeña que ha recibido entrenamiento de prácticas administrativas tiene mayor productividad que lo que tendría la misma empresa si tuviera peores prácticas administrativas.

6 El problema parece sencillo
El efecto de dar entrenamiento en prácticas administrativas a empresas pequeñas para mejorar la productividad sería… Productividad de la empresa pequeña con programa Productividad de la empresa pequeña sin programa

7 ¿Cuál es el problema para calcular esta diferencia?
Pero... ¿Cuál es el problema para calcular esta diferencia?

8 ¡Que sólo observamos uno!
Toda imágen de Plaza Sésamo pertenecen a ella. Archibaldo con entrenamiento

9 ¡Que sólo observamos uno!
Y entonces, ¿Qué hacemos? Toda imágen de Plaza Sésamo pertenecen a ella. Archibaldo sin entrenamiento

10 La solución (de verdad)
Estimar lo que le hubiera sucedido a Archibaldo en la ausencia del entrenamiento. escenario contrafactual. Esto se llama Archibaldo con entrenamiento produce 200 camisetas. Archibaldo sin entrenamiento produce 150 camisetas

11 El mejor escenario contrafactual
1. Usamos un «clon» perfecto 2. Le damos el entrenamiento a uno 3. Esperamos un tiempo 4. Observamos la productividad en cada clon ¿Cuál es el impacto? Máquina para clonar 33% más camisetas

12 En realidad, utilizamos estadísticas
El grupo de tratamiento El grupo control En promedio 200 camisetas En promedio 150 camisetas ¿Cuál es el impacto?

13 Desafortunadamente… No tenemos clones.
Buscamos el grupo más parecido al clon posible El grupo de tratamiento y el contrafactual deben tener Las mismas características Con excepción de los beneficios del programa ¡No clones a mis amigos!

14 De nuevo La única diferencia entre el grupo de tratamiento (o de programa) y el contrafactual (o grupo de comparación) debe ser que un grupo recibe el programa y el otro no

15 Damos el incentivo a este grupo
De nuevo Damos el incentivo a este grupo ¿Cuál sería el mejor grupo de control? Grupo A Grupo B

16 El Problema de la Evaluación de Impacto
4/17/2017 El Problema de la Evaluación de Impacto No podemos observar el contrafactual de los resultados para la mismas personas que recibe el tratamiento Y si usamos un contrafactual inadecuado las estimaciones del impacto estárán sesgadas, es decir, incluirán el impacto y otras cosas adicionales que no están explicadas por el tratamiento que queremos evaluar Ejemplo: las personas con mayor capacidad tienden a estudiar más años, entonces si comparamos el ingreso de del grupo que estudia más (tratamiento) y el ingreso de los que estudian menos (contrafactual), habrá un considerable sesgo de selección o error de emparejamiento en esa estimación (no es buen contrafactual) Diferencia en Ingreso de personas con diferente educación Impacto de la Educación en el ingreso Diferencias de ingreso por diferencias en capacidad

17 Estudio de caso Un programa en Pakistán da incentivos a los recaudadores de impuestos Es un programa voluntario Si recogen más de cierto nivel de impuestos, los recaudadores reciben una bonificación La pregunta: ¿Cuál es el impacto de ofrecer incentivos sobre la recolección de impuestos? Inspirado por el estudio: “Tax Farming Redux: Experimental Evidence on Performance Pay for Tax Collectors”, por Adnan Q. Khan, Asim I. Khwaja, and Benjamin A. Olken, 2014, en Pakistan

18 Contrafactual #1: Inscritos y No inscritos
Si tenemos datos posteriores al tratamiento en : Los inscritos: El grupo de tratamiento Los no inscritos: El grupo de control (o “contrafactual”) Los elegibles y los no elegibles al programa. Los que optan por participar y los que optan por NO participar en el programa. Sesgo de selección La no-inscripción está correlacionada con el resultado ¿Quién es más probable que se inscriba en un programa de este tipo? El impacto estimado se confunde con otros factores.

19 Contrafactual #1: Inscritos y No Inscritos
¿Cuántos impuestos recolectaron un año después del programa? Los recaudadores inscritos en el programa $94,000 Los recaudadores NO inscritos $75,000 Diferencia $19,000 ¿Cuál es el impacto del programa? ($19,000) En este caso, estamos usando el valor de los no inscritos como contrafactual.

20 ¿Cómo vemos ese sesgo de selección?
Los recaudadores que se inscriben son… Los más capaces Los más ambiciosos Los que no se inscriben son… Menos capaces Menos ambiciosos Incluso sin incentivos, ¿quién recogería más impuestos?

21 ¿COMPARAR INSCRITOS Y NO INSCRITOS?
¡NO VALE! ¿COMPARAR INSCRITOS Y NO INSCRITOS? PORQUE NO SE TOMAN EN CUENTA LAS OTRAS DIFERENCIAS ENTRE LOS DOS GRUPOS

22 Contrafactual #2: Regresión discontinua
Muchos programas sociales seleccionan a los beneficiarios mediante un índice o un punto de referencia: Programas de lucha contra la pobreza Destinados a hogares debajo de un determinado índice de pobreza Destinadas a una población mayor a cierta edad Pensiones Destinadas a funcionarios con puntajes altos en pruebas Becas para funcionarios

23 Ejemplo: Regresión discontinua – Situación inicial
Resultado No elegible Elegible Puntaje

24 Ejemplo: Regresión Discontinua – Situación después de la intervención
Resultado IMPACTO Puntaje

25 Diseño de regresión discontinua
Tenemos un índice continuo de elegibilidad con un punto definido de corte de elegibilidad. Localidades con índice ≤ punto de corte son elegibles Localidades con índice > punto de corte no son elegibles O vice-versa Intuición para el método: Unidades arriba del punto de corte son muy similares a las que están justo abajo – buena comparación Comparar resultado Y para las unidades justo arriba y justo abajo del punto de corte For presentation (with animation effects) ¡EJEMPLO!

26 Nuestro Caso: Incentivos para impuestos
Todos los recaudadores toman una prueba de habilidad Todos aquellos que sacan menos de 50 están automáticamente inscritos en el programa de incentivos Eligibilidad para incentivos: Elegible = 1 si puntaje ≤ 50 Elegible = 0 si puntaje > 50

27 Impuestos recolectados
Caso: Diseño de regresión discontinua Datos iniciales del impuestos antes del tratamiento $150,000 Impuestos recolectados $0 100 Resultado de la prueba

28 Caso: Diseño de regresión discontinuidad Datos después del tratamiento
$150,000 Impuestos recolectados Valores predichos Consumo $10,000 Impacto estimado sobre los impuestos $0 100 Resultado de la prueba

29 ! Para tener en cuenta (1) Diseño de regresión discontínua
Se requiere un índice continuo de elegibilidad con un punto de corte bien definido No se necesita excluir a ningún grupo de localidades o de individuos elegibles. Se obtiene una estimación sin sesgo del efecto del tratamiento para las observaciones alrededor del punto de corte de elegibilidad (que son comparables). Se puede utilizar para evaluar programas que ya estén en curso.

30 ! Para tener en cuenta(2) Diseño de regresión discontínua
Se obtiene una estimación local : Efecto del programa alrededor del punto de corte No siempre generalizable Poder : Necesita muchas observaciones alrededor del punto de corte de elegibilidad.

31 Contrafactual #3: Antes-Después
¿Cuántos impuestos recogieron? El año después del programa $94,000 El año antes del programa $72,000 Diferencia $22,000 ¿Cuál es el impacto del programa? En este caso, estamos usando el valor de “antes” como contrafactual.

32 Otra forma de verlo $94,000 $22,000 $72,000 2012 2014

33 ¿Cuál es el problema? ¿Qué hubiera sucedido en ausencia del programa?
Crecimiento económico: En la ausencia del programa, habría crecido hasta C Menor impacto Recesión económica: En ausencia del programa, hubiera diminuido hasta D Mayor impacto No controla por factores que cambian con el tiempo. $94,000 $22,000 C $72,000 D 2012 2014 ¡Las cosas siempre cambian con el tiempo!

34 ¡NO VALE! ¿COMPARAR ANTES Y DESPUÉS?
PORQUE NO TOMA EN CUENTA TODO LO DEMÁS QUE CAMBIA A TRAVÉS DEL TIEMPO

35 Una alternativa mejor Diferencia en diferencia
¿Cuántos impuestos se recolectaron? Recaudadores en el programa Recaudadores de control Diferencia El año después del programa $94,000 $75,000 $19,000 El año antes del programa $72,000 $69,000 $3,000 $22,000 $6,000 $16,000 Diferencia en diferencia: Impacto = (DespuesT-AntesT) – (DespuesC-AntesC) La diferencia (antes-después) para el grupo de control nos dice “¿Qué hubiera pasado en ausencia del programa?”

36 Diferencia en diferencia Impacto=(A-B)-(C-D)=(A-C)-(B-D)
Inscritos Impacto=$16,000 ¿Cuánto habría aumentado para los inscritos si no se hubieran inscrito? Cantidad de impuestos No inscritos Nota: Las tendencias son parecidas antes del programa Tiempo T=0 T=1

37 Diferencia en diferencia Impacto=(A-B)-(C-D)≠(A-C)-(B-D)
Inscritos Impacto<$16,000 Imagina si los inscritos hubieran crecido más rápido sin programa Presencia escolar No inscritos í Ahora: Imagina que no es así Tiempo T=0 T=1

38 ! Doble diferencia Para tener en mente
Doble diferencia: combina antes y después con inscritos y no inscritos. Para tener un diseño convincente, se necesitan por lo menos 3 observaciones en el tiempo : 2 observaciones antes 1 observación después Tendencia (pendiente): Produce un contrafactual para el cambio en el resultado. Supuesto Fundamental: Las pendientes son las mismas en los grupos de tratamiento y de control.

39 ¿Qué métodos tenemos hasta ahora?
Impacto del programa Inscritos – No inscritos $19,000 Diseño de regresión discontínua $10,000 Antes-Después $22,000 Doble differencia $16,000 En este caso, inscritos-no inscritos y antes-después están sobre-estimando el impacto por mucho

40 ¿Por qué no nos quedamos con dobles diferencias?
Recuerda el supuesto fundamental: Las tendencias son iguales entre los inscritos y los no inscritos Recuerda: ¿Quién tiene mayor probabilidad de inscribirse en un programa de incentivos? ¿Es creíble que tengan la misma tendencia? Muchas veces, no El método de doble diferencias solo es creíble en ciertos casos especiales

41 ¿Lo resolvemos con emparejamiento (matching)?
Idea: Para cada unidad tratada, escoger la mejor unidad de comparación (par) de una otra fuente de datos. ¿Cómo? Los pares son seleccionados con base en similitudes en sus características observables. ¿Problema? Si hay características no observables que influencian la participación: sesgo de selección!

42 ¿Lo resolvemos con matching?
Idea: Para cada unidad tratada, escoger la mejor unidad de comparación (par) de una otra fuente de datos. ¿Cómo? Los pares son seleccionados en base de similitudes en las características observadas. ¿Problema? Si hay características no observadas y que estas « no-observables » influencian la participación: sesgo de selección! ¡EJEMPLO! MATCHING NO RESOLVERÁ EL PROBLEMA

43 Calidad del Contrafactual
¿Qué características tiene un buen contrafactual? Que en promedio tenga las mismas características que el grupo de tratamiento (observables y no observables) La única diferencia es el tratamiento Hay muchos métodos para construir un contrafactual. La pregunga relevante es si es creíble que el contrafactual escogido no tenga sesgo de selección. Veamos algunos ejemplos gráficos para reforzar los conceptos

44 ¿Hay un Impacto? Antes-después, la misma población
Inicio de la Intervención Promedio de la variable de resultado Período (t)

45 Inicio de la Intervención
¿Hay un Impacto? Antes-después, la misma población, muchas observaciones Inicio de la Intervención Promedio de la variable de resultado Período (t)

46 Inicio de la Intervención
¿Hay un Impacto? Antes-después, la misma población, muchas observaciones Inicio de la Intervención Start of Intervention Promedio de la variable de resultado Time Period (t)

47 ¿Hay un impacto? Después de la intervención, diferentes poblaciones
Inicio de la Intervención Tratamiento Comparación Promedio de la variable de resultado Período (t)

48 Inicio de la Intervención
¿Hay un impacto? Antes y después de la intervención, diferentes poblaciones Inicio de la Intervención Promedio de la variable de resultado Período (t)

49 ¿Hay un impacto? Antes y después de la intervención, diferentes poblaciones, muchas observaciones
Start of Intervention Promedio de la variable de resultado Período (t)

50 En la ausencia de clones
¿Cuál es el mejor escenario contrafactual? (osea, ¿Cuál se aproxima más a crear grupos estadísticament idénticos?) DISEÑO ALEATORIO (EXPERIMENTAL)

51 Diseño experimental Seleccionar individuos o localidades aleatoriamente para pertenecer al grupo de tratamiento o al de control Los grupos de tratamiento y de control tendrán (en promedio) las mismas características (observadas y no observadas) así que Cualquier diferencia en el resultado se debe al programa

52 ¿Por qué funciona los experimentos aleatorios?
Con dos observaciones no funciona Pero las diferencias desaparecen en una muestra grande Por promedio, el mismo número de Kamis y Archibaldos Características observables y no observables Resultado: Se puede medir el verdadero impacto del programa Tratamiento Control Tratamiento Control

53 Caso: Experimento aleatorio
El gobierno de Pakistán decide asignar aletoriamente los recaudadores que deciden inscribirse ¿Cuántos impuestos recogieron? Recaudadores en el programa Recaudadores de control Diferencia El año después del programa $76,000 $69,000 $7,000 El año antes del programa $71,000 $0 $5,000 -$2,000

54 Todos nuestros contrafactuales
Impacto del programa Inscritos – No inscritos $19,000 Diseño de regresión discontínua $10,000 Antes-Después $22,000 Doble Diferencia $16,000 Experimento aleatorio $7,000

55 Más tarde… Más sobre experimentos…

56 ¡Gracias! WEB http://dime.worldbank.org facebook.com/ieKnow
#impacteval blogs.worldbank.org/impactevaluations microdata.worldbank.org/index.php/catalog/impact_evaluation