Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) ( y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas. Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

Inferencia Causal Francisco A. Gallego PUC-Chile y J-PAL Latam

Mapa Motivación Evaluación de Impacto y Contrafactual Análisis causal Análisis causal y Efectos Tratamiento 3

Mapa Motivación 4

Las preguntas empíricas más difíciles en ciencias sociales y en políticas públicas involucran relaciones causa-efecto del tipo: –¿La descentralización de las escuelas mejora la calidad de la educación? –¿Un año de capacitación causa mayores ingresos? Y, más importante quizás, ¿qué tipo de capacitación causa mayores aumentos de ingresos? –¿Las transferencias condicionadas mejoran los resultados de salud y educación de los niños? O, ¿lo hacen porque condicionan o porque entregan dinero adicional? 5

Motivación Responder estas preguntas es importante porque: –Ayudan a responder preocupaciones de política ¿Los programas logran reducir la pobreza? ¿Podrían reducirla más rápido con los mismos recursos? –Problemas que enfrentan los tomadores de decisiones –Consideraciones teóricas de estudio en ciencias sociales 6

Mapa Motivación Evaluación de Impacto y Contrafactual 7

8 ¿Cómo responder las preguntas?: Evaluación de Impacto El impacto de un programa es la diferencia entre: 1.Los resultados que los participantes del programa obtienen un tiempo después de participar en el programa y 2.Los resultados que esos mismos participantes hubieran obtenido en ese mismo momento si no hubiesen participado en el programa

9 Tomamos la diferencia entre Qué ocurrió (con el programa) y -Qué habría ocurrido (sin el programa) =IMPACTO del programa Este último escenario se denomina el contrafactual Evaluación de Impacto

10 Impacto: ¿Qué es? Tiempo Resultado primario Impacto Contrafactual Intervención

Tiempo Intervención 11 ¿Cómo Evaluar Impacto? Contrafactual Impacto Resultado primario

Tiempo Intervención 12 ¿Cómo Evaluar Impacto? Impacto Contrafactual Resultado primario

13 El contrafactual representa el estado del mundo que participantes del programa habrían experimentado en la ausencia del programa Problema: No se puede observar el contrafactual Solución: Tenemos que “replicar” o “construir” el contrafactual Contrafactual

Mapa Motivación Evaluación de Impacto y Contrafactual Análisis causal 14

Análisis estadístico estándar Herramientas: probabilidad y otras técnicas de estimación Objetivo: inferir parámetros de una distribución a partir de muestras de esta distribución Uso: Con la ayuda de los parámetros, uno puede: –Inferir asociación entre variables, –Estimar probabilidad de ocurrencia de eventos pasados o futuros –Actualizar pro; Condición: las condiciones experimentales no pueden cambiarse 15

Análisis causal Va un paso más allá que el análisis estadístico estándar Objetivo: inferir aspectos del proceso de generación de datos Uso: Con la ayuda de tales aspectos, se puede: –Deducir la probabilidad de ocurrencia si el contexto no cambia (análisis “estático”) –Predecir como cambian las variables si cambia el contexto (análisis “dinámico”) 16

Análisis causal La idea de dinámica de los eventos cuando cambian las condiciones incluye: –Predecir los efectos de intervenciones –Predecir los efectos de cambios espontáneos –Identificar las causas de los eventos Distinción entre causalidad y correlación –Nuevo lenguaje –Causalidad es la clave para decisiones de políticas ¿Si hacemos XXX, lograremos YYYY? No basta con saber que XXX está asociado con YYY… 17

Modelo Causal de Neyman (1923), Rubin (1974) Modelo de resultados potenciales Definamos a la población por la letra U. –Cada unidad en U se denota u. Para cada u U: –Y(u): variable de respuesta –A: atributo de las unidades en U. Idea: exponer a cada unidad a la acción de una causa Rubin asume que las causas son acciones que, hipotéticamente, podrían ser tratamientos 18

Modelo Causal y tratamientos Supongamos, por simplicidad que hay sólo 2 causas o niveles de tratamiento. Sea D una variable que indica la causa a la que cada unidad en U es expuesta: En un estudio controlado, D es construido por el experimentador/evaluador En un estudio no controlado, D es determinado por factores que van más allá del experimentador/evaluador 19

Mapa Motivación Evaluación de Impacto y Contrafactual Análisis causal Análisis causal y Efectos Tratamiento 20

Modelo Causal y tratamientos Y son afectados potencialmente por t o c. O sea puede haber 2 variables de respuesta para el mismo u: –Y 1 (u): valor de la respuesta si la unidad u fuera expuesta al tratamiento. –Y 0 (u) : valor de la respuesta si la unidad u fuera expuesta al control. Entonces, el resultado de cada individuo puede ser escrito como (si es que no hay externalidades): 21

22 Tomamos la diferencia entre Qué ocurrió (con el programa) y -Qué habría ocurrido (sin el programa) =IMPACTO del programa Este último escenario se denomina el contrafactual ¿Cómo se traduce esto al lenguaje del modelo causal de Rubin? Evaluación de Impacto y modelo causal

Modelo Causal y evaluación de impacto Para cada unidad u, el tratamiento causa: Problema Fundamental de Inferencia Causal: –Para el mismo u, no se puede observar Y 1 (u) y Y 0 (u) O sea no tenemos el contrafactual para cada u –Un individuo no puede estar al mismo tiempo recibiendo y no recibiendo el tratamiento… ¿Qué hacemos? 23

Modelo Causal y evaluación de impacto ¿Y el efecto causal en promedio? El efecto tratamiento promedio (ATE) sobre U (o una sub-población de U es): O sea la solución estadística reemplaza el efecto causal a nivel de cada unidad por el efecto causal promedio en una población de U unidades. 24

Modelo Causal y evaluación de impacto Obviamente las esperanzas de Y 1 (u) y Y 0 (u) no pueden ser calculadas pero sí estimadas… Los métodos econométricos de evaluación de impacto intentan construir (bajo diferentes supuestos) estimaciones con consistentes de: La “bondad” de estos estimadores se define justamente por la razonabilidad/plausibilidad de los supuestos utilizados. 25

Modelo Causal y evaluación de impacto Entonces consideremos estimar: Usando el siguiente estimador: (1) está definida para la población (2) se estima usando una muestra de la población 26

Modelo Causal y evaluación de impacto Sea  la proporción de la población asignada al grupo tratamiento Entonces ATE se puede descomponer como: 27

Modelo Causal y evaluación de impacto Supongamos que: Entonces: Lo que se puede estimar de modo consistente por: 28

Modelo Causal y evaluación de impacto ¿Tienen sentido O sea: –El resultado promedio: Bajo el tratamiento no difiere en entre los grupos de tratamiento y control Bajo el control no difiere en entre los grupos de tratamiento y control Para satisfacer estas condiciones es suficiente que la asignación del tratamiento D no esté correlacionada con los resultados potenciales de Y 1 (u) y Y 0 (u) La forma principal de lograr esta no-correlación es a través de la asignación aleatoria del tratamiento. –En la siguiente clase hablaremos de esto con más detalle. 29

Modelo Causal y evaluación de impacto En muchos casos simplemente no hay información disponible sobre cómo las unidades del grupo control hubieran reaccionado si hubiesen recibido el tratamiento –…y viceversa, como los del grupo tratamiento hubieran reaccionado si hubiesen recibido el control… Ésta es la base para comprender los sesgos del estimador (2). De hecho usando un poco de álgebra, se puede demostrar que: 30

Modelo Causal y evaluación de impacto Dos grandes fuentes de sesgo de selección: 1.Sesgo de selección 2.Heterogeneidad en los efectos del tratamiento La mayoría de los métodos disponibles se enfocan en 1., asumiendo que los efectos tratamiento son homogéneos en la población (o redefiniendo los parámetros de interés en la población) 31

Otros parámetros de interés ATE no siempre es el parámetro de interés de política pública. En ocasiones, por ejemplo, interesa más el efecto tratamiento promedio para la persona bajo intervención, o sea: Notar que la diferencia entre ATE y TOT sólo tiene sentido si hay heterogeneidad en los efectos tratamiento en la población U (si no, todos son iguales…) 32

Otros parámetros de interés ¿Cuándo nuestro estimador (2) estima consistentemente TOT? Como es evidente, este estimador lo hace bien si: 33

Otros parámetros de interés En algunas situaciones de políticas pública interesa conocer el efecto promedio de ofrecer el programa (ITT) –¿“Qué le ocurrió al niño promedio que está en una escuela tratada en esta población?” –“¿Qué le ocurrió a la persona promedio que recibió una oferta del tratamiento?” Suponga que la intención de tratar ¿Es este el número adecuado a buscar?, ¿Es el efecto del tratamiento? La lógica es exactamente la misma que en los estimadores previos pero en este caso D=1 refleja la oferta del tratamiento y no que las personas hayan sido efectivamente tratadas. 34