Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada.

Presentación del tema: "Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada."— Transcripción de la presentación:

1 Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) (http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas.http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

2 Estudios Aleatorizados Francisco A. Gallego PUC-Chile y J-PAL Latam

3 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos Otros Estudios Aleatorios –Con muestra seleccionada –Con cumplimento parcial Validez Externa Material adicional: ¿Cómo aleatorizar? 3

4 Mapa Recapitulando 4

5 Algunos conceptos claves : Evaluaciones de impacto en un contexto de inferencia causal Desafío fundamental de identificación del impacto de un programa: –¿Cómo habría sido la vida del individuo o grupo sin el programa? ¡NO OBSERVABLE! –Aproximarse a lo “no observable”: Grupo de control o grupo contrafactual. Problema central: sesgo de selección. –¿Cómo? Métodos observacionales o experimentales 5

6 Mapa Recapitulando Motivación 6

7 En muchos campos (en el pasado en la medicina), hoy en ciencias sociales y políticas públicas, la mejor evidencia de contrafactuales es generada por ensayos aleatorios. Bajo ciertas condiciones, los ensayos aleatorios aseguran que los resultados en el grupo control realmente capturen el contrafactual para un grupo tratamiento 7

8 8

9 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos 9

10 Aleatorización e inferencia causal Los estadísticos recomiendan un modelo en etapas: –Primera etapa: una muestra aleatoria de unidades seleccionada de una población definida –Segunda etapa: esta muestra de unidades es asignada aleatoriamente a los grupos tratamiento y control La idea de aleatorización en ambas etapas cumple objetivos muy diferentes… 10

11 Caracterización básica de una evaluación aleatoria bietápica 11 Población objetivo No está en la evaluación Muestra aleatoria de la evaluación Asignación aleatoria Grupo de tratamiento Grupo de control Primera Etapa Segunda Etapa Segunda Etapa

12 Aleatorización e inferencia causal Primera etapa: buscar ayudar a asegurar validez externa (pero no es condición necesaria ni suficiente. Más sobre esto más adelante) –Asegurar que la muestra utilizada en la evaluación represente a la población (dado un cierto error muestral) –Puede ser una aleatorización estratificada Segunda etapa: busca ayudar a asegurar validez interna: –Asegurar que el impacto observado se debe al tratamiento y no a otro factor (o sea, ayudar a definir adecuadamente el contrafactual) –Puede ser una aleatorización estratificada 12

13 Aleatorización e inferencia causal En este tipo de ensayos aleatorios (bietápicos): Si la muestra es grande (cálculo de potencia/poder), se asegura que: ¿Por qué? Y, por tanto, estima consistentemente ATE. ¿por qué? 13

14 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos Otros Estudios Aleatorios –Con muestra seleccionada –Con cumplimento parcial 14

15 Aleatorización: Otros Sin embargo, hay otras formas de aleatorización diferentes que se usan en la práctica –Típicamente se desvían del diseño bietápico y, por ello es interesante entender qué permiten estimar y qué limitaciones pueden tener. Veremos dos casos –Ensayos aleatorios sin aleatorización en la primera etapa: Caso particular: ensayos aleatorios con auto-selección previa –Ensayos aleatorios con cumplimiento imperfecto 15

16 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos Otros Estudios Aleatorios –Con muestra seleccionada –Con cumplimento parcial Material adicional: ¿Cómo aleatorizar? 16

17 Evaluación aleatoria con muestra seleccionada 17 Población objetivo No está en la evaluación Muestra seleccionada de la evaluación Asignación aleatoria Grupo de tratamiento Grupo de control

18 Evaluación aleatoria con Voluntarios 18 Población objetivo No está en la evaluación Voluntarios Asignación aleatoria Grupo de tratamiento Grupo de control

19 Evaluación aleatoria con voluntarios Es una sub-población auto-seleccionada (denotemos V=1 si postula) que postula a recibir el tratamiento. –Tratados (D=1|V=1): los que quisieron participar y fueron asignados al programa con una lotería. –Control (D=0|V=1): los que quisieron participar y no fueron asignados al programa. 19

20 Evaluación aleatoria con voluntarios ¿Qué asegura la aleatorización? y, por lo tanto, nuestro estimador estima consistentemente para los que quisieron participar: O sea estamos estimando el efecto del tratamiento en los tratados y no en la población completa. –¿Es una problema esto? ¿Cuándo? Según Duflo et al. (2007) este grupo es el que justamente sería afectado por lo política si se expandiese, entonces también es de interés de evaluación. 20

21 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos Otros Estudios Aleatorios –Con muestra seleccionada –Con cumplimento parcial Material adicional: ¿Cómo aleatorizar? 21

22 Caracterización básica de una evaluación aleatoria con cumplimento imperfecto 22 Población objetivo No está en la evaluación Muestra de la evaluación Asignación aleatoria Grupo de tratamiento Participantes No participan Grupo de control No participantes Controles tratados

23 Cumplimiento parcial con el protocolo Algunos individuos en el grupo de control reciben tratamiento Ej. Programa de desparasitación (Miguel y Kremer, 2004); Baird et al. (2011): –Los padres podrían intentar cambiar a sus hijos desde la escuela de comparación a la escuela en tratamiento –5% de los alumnos del grupo de control recibió el tratamiento. 23

24 Cumplimiento parcial con el protocolo Algunos en grupo de tratamiento deciden no tomar el tratamiento Ej. Programa de desparasitación: -algunos estudiantes asignados a tratamiento en las escuelas en tratamiento no recibieron el tratamiento médico -78% de los pupilos asignados para recibir tratamiento recibieron al menos algo de tratamiento 24

25 Cumplimiento Parcial con el protocolo ¿Cómo se estima el efecto del programa? Utilice la asignación original –Si una niña terminó en una escuela en tratamiento, pero era de control, se debe asignar a control cuando calcula el efecto Esto nos brinda el cálculo de intención de tratar (ITT) 25

26 Intención de tratar (ITT) Como discutimos antes, el ITT mide el efecto promedio de ofrecer el programa. “Qué le ocurrió al niño promedio que está en una escuela tratada en esta población?” ¿Es éste el número adecuado a buscar?, ¿Es éste el efecto de la desparasitación? 26

27 Se puede relacionar con programas concretos. En general, no se puede obligar a que los individuos “tomen” los tratamientos. –Por ejemplo, podría no interesarnos el efecto médico del tratamiento de desparasitación, sino más bien lo que ocurriría en un programa de desparasitación real. –Si los estudiantes con frecuencia faltan a la escuela y por lo tanto no reciben el medicamento para la desparasitación, la estimación de la intención de tratar podría ser realmente lo más importante. ¿Cuándo es útil ITT? 27

28 Cumplimiento parcial con el protocolo 28 Escuela 1 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1sí 0 Pupilo 2sí 0 Pupilo 3sí 1 Pupilo 4síno3 Pupilo 5sí 1 Pupilo 6síno3 Pupilo 7síno3 Pupilo 8sí 1 Pupilo 9sí 0 Pupilo 10síno3 Escuela 2 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1no 3 Pupilo 2no 2 Pupilo 3nosí1 Pupilo 4no 3 Pupilo 5no 3 Pupilo 6nosí0 Pupilo 7no 3 Pupilo 8no 2 Pupilo 9no 2 Pupilo 10no 3

29 Algunas Posibilidades 1.Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento 29 Escuela 1 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1sí 0 Pupilo 2sí 0 Pupilo 3sí 1 Pupilo 4síno3 Pupilo 5sí 1 Pupilo 6síno3 Pupilo 7síno3 Pupilo 8sí 1 Pupilo 9sí 0 Pupilo 10síno3 Escuela 2 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1no 3 Pupilo 2no 2 Pupilo 3nosí1 Pupilo 4no 3 Pupilo 5no 3 Pupilo 6nosí0 Pupilo 7no 3 Pupilo 8no 2 Pupilo 9no 2 Pupilo 10no 3

30 Algunas Posibilidades 1.Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento -Pero quién recibe el tratamiento no es aleatorio. -En el grupo de control, quienes reciben tratamiento pueden ser los hijos de padres más motivados. -En el grupo de tratamiento, quienes no lo reciben pueden ser los hijos de padres menos motivados. 30

31 Algunas Posibilidades 2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control 31 Escuela 1 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1sí 0 Pupilo 2sí 0 Pupilo 3sí 1 Pupilo 4síno3 Pupilo 5sí 1 Pupilo 6síno3 Pupilo 7síno3 Pupilo 8sí 1 Pupilo 9sí 0 Pupilo 10síno3 Escuela 2 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1no 3 Pupilo 2no 2 Pupilo 3nosí1 Pupilo 4no 3 Pupilo 5no 3 Pupilo 6nosí0 Pupilo 7no 3 Pupilo 8no 2 Pupilo 9no 2 Pupilo 10no 3

32 Algunas Posibilidades 2.Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control -Pero quién recibe el tratamiento no es aleatorio -En el grupo de tratamiento quienes reciben son los motivados. -En el grupo de control quienes no lo reciben son los no motivados 32

33 Algunas Posibilidades 3. Comparar a quienes fueron ASIGNADOS al grupo de tratamiento con quienes fueron ASIGNADOS al grupo de control 33 Escuela 1 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1sí 0 Pupilo 2sí 0 Pupilo 3sí 1 Pupilo 4síno3 Pupilo 5sí 1 Pupilo 6síno3 Pupilo 7síno3 Pupilo 8sí 1 Pupilo 9sí 0 Pupilo 10síno3 Escuela 2 Asignado a Tratamiento Recibe Tratamiento Carga Parasitaria Pupilo 1no 3 Pupilo 2no 2 Pupilo 3nosí1 Pupilo 4no 3 Pupilo 5no 3 Pupilo 6nosí0 Pupilo 7no 3 Pupilo 8no 2 Pupilo 9no 2 Pupilo 10no 3

34 Intención de Tratar: ¡Que hacer ! 34 Promedio de escuela 1:(A) Promedio de escuela 2:(B) ¿Intención de Escuela 1tratamiento?¿Tratado? Pupilo 1sí 4 Pupilo 2sí 4 Pupilo 3sí 4 Pupilo 4síno0 Pupilo 5sí 4 Pupilo 6sí no 2 Pupilo 7 sí no0 Pupilo 8sí 6 Pupilo 9sí 6 Pupilo 10síno0 Cambio prom. entre escuela A= Escuela 2 Pupilo 1no 2 Pupilo 2no 1 Pupilo 3nosí3 Pupilo 4no 0 Pupilo 5no 0 Pupilo 6nosí3 Pupilo 7no 0 Pupilo 8no 0 Pupilo 9no 0 Pupilo 10no 0 Cambio prom. entre escuela B= Cambio observado en el peso Efecto Intención de tratar  3 0,9 3,9 2,1

35 Cumplimiento parcial con el protocolo SIEMPRE se debe respetar la asignación inicial cuando se analizan los datos, independiente de quién termina recibiendo tratamiento –Asignación inicial es lo único que es aleatorio y, por tanto, útil para estimar impacto con validez interna –Tomar o no tomar el tratamiento no es aleatorio Notar que externalidades desde el tratamiento al control se pueden pensar como un caso particular de 35

36 Cumplimiento parcial con el protocolo Además de afectar interpretación de resultados, cumplimiento parcial tiene implicaciones importantes para diseño del experimento Afecta cálculos de poder y tamaño muestral –Es importante ANTICIPAR posible cumplimiento parcial 36

37 Cumplimiento parcial con el protocolo ¿Puedo saber el impacto del tratamiento sobre los que efectivamente lo reciben? 37

38 A veces… Necesito supuestos adicionales –Ya no es suficiente la aleatorización 38 Cumplimiento parcial con el protocolo

39 Tratamiento en los tratados (TOT) Supuestos: 1.No hay externalidades en el tratamiento –Niños que no toman desparasitantes en colegios asignados a recibirlos se siguen contagiando como antes 2.No hay efectos indirectos de la asignación del tratamiento –En diseños aleatorios de estímulo, el estímulo no tiene un impacto directo sobre el resultado 39

40 El efecto del tratamiento en quienes recibieron el tratamiento: –Suponga que los niños que recibieron el tratamiento aumentaron de peso A, independiente de si están en un tratamiento o una escuela de control –Suponga que los niños que no reciben tratamiento tuvieran un aumento de peso de B, nuevamente en ambos tipos de escuelas –Deseamos conocer A-B, la diferencia entre los estudiantes tratados y no tratados 40 Tratamiento en los tratados (TOT)

41 Luego... Y(T)=A*Prob[tratado|T]+B(1-Prob[tratado|T]) Y(C)=A*Prob[tratado|C]+B(1-Prob[tratado|C]) A-B= (Y(T)-Y(C)) / (Prob[tratado|T] – Prob[tratado|C]) = El efecto del “tratamiento en los tratados”. 41

42 Calcular tratamiento en los tratados 42 ¿Intención Escuela 1de tratar?¿Tratado? Pupilo 1sí 4 Pupilo 2sí 4 Pupilo 3sí 4 A =Aumenta si se trata Pupilo 4síno0 B =Aumenta si no se trata Pupilo 5sí 4 Pupilo 6síno2 Pupilo 7síno0 Calculador de ToT: A-B Pupilo 8sí 6 Pupilo 9sí 6 Pupilo 10síno0 A-B = Y(T)-Y(C) Cambio promedio Y(T)= Prob(Tratado|T)-Prob(Tratado|C) School 2 Pupilo 1no 2 Y(T) Pupilo 2no 1 Y(C) Pupilo 3nosí3 Prob(Tratado|T) Pupilo 4no 0 Prob(Tratado|C) Pupilo 5no 0 Pupilo 6nosí3 Pupilo 7no 0 Y(T)-Y(C) Pupilo 8no 0 Prob(Tratado|T)-Prob(Tratado|C) Pupilo 9no 0 Pupilo 10no 0 Cambio promedio Y(C) = A-B Cambio observado en el peso 3 0,9 3 60% 20% 2,1 40% 5,25 Compare a Intención de tratar: 2,1

43 En la práctica, el TOT se estima utilizando la asignación del tratamiento como variable instrumental para recibir el tratamiento. –Ver más adelante en el curso… –Por lo tanto, el efecto estimado es un efecto local. 43 Tratamiento en los tratados (TOT)

44 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos Otros Estudios Aleatorios –Con muestra seleccionada –Con cumplimento parcial Validez Externa Material adicional: ¿Cómo aleatorizar? 44

45 Validez externa La validez interna es una condición necesaria para que los resultados de un experimento aleatorio sean generalizables… Pero no es suficiente 45

46 Amenaza para la validez externa: Respuestas conductuales para las evaluaciones Una limitación de las evaluaciones aleatorias es que la evaluación en sí puede provocar que el grupo de tratamiento o de comparación cambie su conducta –La conducta del grupo en tratamiento cambia: Efecto Hawthorne –La conducta del grupo de comparación cambia: Efecto John Henry 46

47 Respuestas conductuales para las evaluaciones Además: un programa puede generar respuestas conductuales que no ocurrirían si el programa fuera generalizado 47

48 Generabilidad de los resultados Depende de tres factores: –Implementación del programa: ¿se puede replicar a gran escala (nacional)? Implementación del programa Efectos de equilibrio general –Muestra del estudio: ¿es representativo? –Sensibilidad de los resultados: ¿tendría el mismo impacto un programa similar, pero levemente diferente? 48

49 Mapa Recapitulando Motivación Estudios Aleatorios Bietápicos Otros Estudios Aleatorios –Con muestra seleccionada –Con cumplimento parcial Validez Externa Material adicional: ¿Cómo aleatorizar? 49

50 Unidad y método de aleatorización Restricciones del mundo real Revisando de nuevo la unidad y el método Variaciones en análisis tratamiento-control simple ¿Cómo aleatorizar? 50

51 Entender cómo aleatorizar (mecánica) y decidir entre alternativas. –Conceptos clave: Unidad y método de aleatorización, estratificación Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real Entender algunas variaciones en análisis tratamiento-control simple Objetivos 51

52 Cómo aleatorizar, Parte I - 52 Asignación aleatoria 2006 Ingresos por persona, por mes, rupias 1000 500 0 Trat. Comp. 14571442

53 Mecánica de la aleatorización Es necesario un marco muestral (lista de dónde aleatorizar) Opciones: –Sacar del sombrero –Utilice un generador de números aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria –Utilice un código del programa Stata ¿Qué ocurre si no hay lista existente? 53 Fuente: Chris Blattman

54 Unidad de aleatorización 1.Aleatorizar al nivel individual 2.Aleatorizar al nivel del grupo “Estudio aleatorio con observaciones agrupadas” ¿A qué nivel se debe aleatorizar? 54

55 Unidad de aleatorización: consideraciones ¿A qué unidad apunta el programa para tratamiento? ¿Cuál es la unidad de análisis? 55

56 Unidad de aleatorización: ¿individual? 56

57 Unidad de aleatorización: ¿individual? 57

58 “Grupos de personas”: Estudio aleatorio en unidades agrupadas Unidad de aleatorización: ¿unidades agrupadas?

59 Unidad de aleatorización: ¿clase? 59

60 Unidad de aleatorización: ¿clase? 60

61 Unidad de aleatorización: ¿escuela? 61

62 Unidad de aleatorización: ¿escuela? 62

63 Unidad de aleatorización: población objetivo ¿De qué manera se administra la intervención? ¿Cuál es el área de captación de cada “unidad de intervención”? ¿Cuál es la amplitud del posible impacto? 63

64 Unidad de aleatorización: análisis Recuerde: ¿cuál es nuestra medición del impacto? ¿Dónde/cómo obtenemos estos datos? 64

65 Lotería: Comience con los estudios clínicos como punto de referencia Tome a 1000 personas y dele el medicamento a la mitad ¿Podemos simplemente aplicar este enfoque a programas sociales? 65

66 Elegido al azar de una selección de postulantes Los participantes conocen a los “ganadores” y “perdedores” La lotería simple es útil cuando no existe un motivo a priori para discriminar Se percibe como justo Transparente Comúnmente viable políticamente Las loterías son simples, comunes y transparentes 66

67 Restricciones: recursos Por qué las restricciones de recursos son el mejor amigo de un evaluador Muchos programas tienen recursos limitados Muchos más receptores elegibles que recursos que permitan servir a estos Bastante comunes en la práctica: –Capacitación para empresarios o granjeros –Vouchers en educación –Transferencias monetarias 67

68 Restricciones: contaminación ¡Recuerde el contrafactual! Si el grupo de control es diferente al del contrafactual, nuestros resultados pueden estar sesgados 68

69 Restricciones: contaminación Externalidad/control tratado Externalidad Control tratado Cumplimiento parcial o incumplimiento del tratamiento 69

70 Restricciones: logísticas Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién 70

71 Restricciones: justicia, política Aleatorizar a nivel del niño dentro de las clases Aleatorizar a nivel de la clase dentro de colegios Aleatorizar al nivel de la comunidad 71

72 Restricciones: Tamaño de la muestra El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades 72

73 ¿Qué ocurre si tiene 500 postulantes para 500 cupos? Considere los diseños de lotería no estándares Podrían aumentar las actividades de divulgación ¿Esto es ético? 73

74 A veces el filtrado importa Suponga que hay 2000 postulantes El filtrado de las solicitudes produce 500 candidatos “elegibles” Hay 500 cupos Una lotería simple no funcionará ¿Cuáles son nuestras opciones? 74

75 Considere las normas de filtro o focalización ¿Se filtra para qué? ¿Qué elementos son esenciales? Los procedimientos de selección sólo pueden existir para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa Si ciertos mecanismos del filtro aparecen como “arbitrarios” (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar 75

76 Aleatorización en la burbuja A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles. Un socio podría estar dispuesto a aleatorizar en “la burbuja”. Las personas “en la burbuja”, son personas que están en el límites en términos de elegibilidad –Justo sobre el umbral  no elegible, pero casi ¿Qué efecto en el tratamiento medimos? ¿Qué significa para la validez externa? 76

77 Aleatorización en “la burbuja” Dentro de la burbuja, compare el tratamiento con el control Participantes No participantes Tratamiento Control 77

78 Cuando el análisis importa: Lotería parcial Los funcionarios del programa pueden mantener la discreción Ejemplo: Programa de capacitación Ejemplo: Expansión de los créditos de consumo en Sudáfrica 78

79 Diseño escalonado: aprovecha la expansión Eventualmente todos reciben el programa El enfoque natural al expandir el programa enfrenta restricciones de recursos ¿Qué determina que las escuelas, ramas, etc. se incluirán cada año? 79

80 Diseño escalonado Ronda 1 Tratamiento: 1/3 Control: 2/3 Ronda 2 Tratamiento: 2/3 Control: 1/3 Ronda 3 Tratamiento: 3/3 Control: 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 Ronda 1 Tratamiento: 1/3 Control: 2/3 Ronda 2 Tratamiento: 2/3 Control: 1/3 Finaliza la evaluación aleatoria 80

81 Diseño escalonado Ventajas Eventualmente todos reciben algo Proporciona incentivos para mantener el contacto Preocupaciones Puede complicar el cálculo de efectos a largo plazo Atención con las ventanas de escalonamiento Expectativas cambian acciones hoy? 81

82 Diseño por rotación Los grupos reciben tratamiento en turnos Ventajas Preocupaciones 82

83 Ronda 1 Tratamiento: 1/2 Control: 1/2 Diseño por rotación Ronda 2 Tratamiento de la Ronda 1  Control —————————————————————————— Control de la Ronda 1  Tratamiento Ronda 1 Tratamiento: 1/2 Control: 1/2 83

84 “¿Desea encuestarme? Entonces, trate conmigo” La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior La cooperación del grupo de control puede ser esencial Considere la aleatorización entre-grupo Por ejemplo, programa de balsakhi (Banerjee et al. 2007) Todos los participantes obtienen algún beneficio Preocupación: mayor probabilidad de contaminación 84

85 Diseño por estímulo a participar: ¿Qué hacer cuando no puede aleatorizar acceso? A veces es práctica o éticamente imposible aleatorizar el acceso al programa Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación Aleatorice por estímulo a recibir tratamiento 85

86 Diseño por estímulo Estímulo No Estímulados participó no participó Cumplimiento No cumplimiento compare estimulados con no estimulados no compare participantes con no participantes Ajuste para el no cumplimiento en la fase de análisis Éstos se deben correlacionar 86

87 ¿Qué es “estímulo”? Algo que hace que algunas personas sean más propensas a utilizar este programa que otras No es un “tratamiento” en sí ¿Para quiénes estamos calculando el efecto del tratamiento? Piense en quiénes responden a la motivación 87

88 Para resumir: Posibles diseños Lotería simple Aleatorización en la “burbuja” Aleatorización por escalonamiento Rotación Diseño por estímulo –Nota: Éstos no son mutuamente excluyentes. 88

89 Métodos de aleatorización - recapitulación 89 Diseño Más útil cuando VentajasDesventajas Lotería simple Programa supersuscritoFamiliarPuede que el grupo de control no coopere Está bien que algunos que no reciben nada Fácil de comprender Desgaste diferencial Fácil de implementar Se puede implementar en público Escalonamiento Se amplía con el tiempoFácil de comprender La anticipación del tratamiento puede impactar la conducta a corto plazo Finalmente, todos deben recibir tratamiento Restricción fácil de explicar Dificultad para medir el impacto a largo plazo El control acepta dado que espera beneficio posterior Rotación Todos deben recibir algo en algún Más datos que en la introducción escalonada Difícil de medir a largo plazo punto, no hay suficientes recursos en el año para todos Estímulo El programa debe estar abierto para todos Puede aleatorizar en el nivel individual incluso cuando el programa se entrega a nivel individual Mide el impacto de quienes responden al incentivo Cuando la tasa de participación es Baja, pero se puede impactar fácilmente con incentivos. Necesita un incentivo lo suficientemente grande para la adquisición El estímulo puede tener un efecto directo