Impact Evaluation 4 Peace March 2014, Lisbon, Portugal 1 Mejorando políticas públicas a través de la evaluacion de impacto experimental Latin America and the Caribbean’s Citizen Security Team Marcus Holmlund Banco Mundial 24 de marzo de 2014 Basado sobre materiales de David Evans, Senior Economista, Banco Mundial y Laura Ralston, Economista Banco Mundial

Nuestro objetivo: Llegar a un diseño de evaluación que nos permite saber Si nuestro programa ha logrado los resultados esperados? Como mejorar los resultados de nuestro programa?

gráfico número 1 Intervención Impacto?

gráfico número 2 Intervención Impacto?

gráfico número 3 Intervención Impacto?

Ejemplo Nuestra intervencion: clases particulares para alumnos de alto riesgo de cometer un crimen Queremos saber si: CLASES PARTICULARES +  − ?

Como medir este impacto? (cantidad de crímenes CON nuestra intervención) (cantidad de crímenes SIN nuestra intervención) IMPACTO − = *** TODO LO DEMAS IGUAL ***

El café y el cáncer del pulmón ?

Definiciones Correlación. Relación entre variables Inferencia causal. Proceso de aislar el efecto causado por una accion bien determinada Contrafactual. Lo que hubiera ocurrido, si otra acción bien determinada no se hubiera realizado

IDEA PRINCIPAL #1 El CONTRAFACTUAL nos dice lo que hubiera occurrido sin nuestra intervención. Este forma parte fondamental de LA INFERENCIA CAUSAL y de la EVALUACION DE IMPACTO

Caracteristicas de un buen contrafactual Responde a la siguiente pregunta: Como hubiera sido el resultado si no hubieramos aplicado la intervencion, dejando todo lo demas igual? Tiene caracteristicas identicas a la situation factual Incluso caracteristicas observables y no observables La unica diferencia entre el contrafactual y el factual es la intervencion (o el “tratamiento”) Entonces, cualquier diferencia de resultado (outcome) debe ser producto solo del tratamiento

Dolly

Como medir el contrafactual – el experimento ideal Los originales y los clones son: Identicos externamente (todos son títeres) Identicos internamente (todos tienen la misma voluntad de aprender y cometer crimenes) Alumnos “originales” Alumnos “clones”

El experimento ideal - diseño Abelardo “el original” Paco “el clon” CLASES PARTICULARES [currículo estándar]

El experimento ideal - resultado CLASES PARTICULARES Abelardo “el original” Paco “el clon” [currículo estándar]

Volvemos a la realidad Que le pasaria a todos los Abelardos sin las clases particulares? Como construir el contrafactual? 3 opciones: Comparación antes vs. después Comparacion participantes vs. no-participantes Ensayo aleatorio controlado

Comparación antes vs. después Después de la intervención Antes de la intervención CLASES PARTICULARES

Comparación antes vs. después Antes de la intervención Después de la intervención Otros factores que contribuyeron al resultado: Aumentos en el desempleo? Periodo del año? Conclusion: Demasiados factores que pueden influir el resultado Imposible saber cual es el impacto causado por nuestra intervencion

CLASES PARTICULARES [currículo estándar] Comparación participantes vs. no participantes

Diferencias observables entre los dos grupos: Rendimiento escolar Bienes familiares Diferencias no observables entre los dos grupos: Autoestima Presión o influencia de colegas (peer-pressure) Conclusion: Existen diferencias entre los dos grupos que podrian contribuir al resultado final Los que participan son diferentes a los que no lo hacen (sesgo de selección) Impossible saber cual es el impacto causado por nuestra intervencion

IDEA PRINCIPAL #2 Si nuestro objetivo es saber el impacto directamente causado por nuestra intervención, una comparación ANTES-DESPUES o PARTICIPANTES-NO PARTICIPANTES nos dará una ESTIMACION SESGADA

Ensayo aleatorio controlado Identificar los eligibles Asignar cada uno o al grupo de tratamiento o al grupo de control al azar / de manera aleatoria (randomization) Los dos grupos tendrán, en promedio, las mismas características Características observables y no observables

Porque funciona la aleatorización? La aleatorización con dos no funciona TRATAMIENTO CONTROL TRATAMIENTO CONTROL Con una muestra más grande, las diferencias se promedian En promedio, las características observables y no observables son idénticas entre los grupos Cualquier diferencia en el resultado debe venir directamente del tratamiento

Se puede aleatorizar? Absolutamente si! Asignación aleatoria ≠ negar beneficios Normalmente, empezar un programa con cobertura universal es imposible por motivos operacionales Oportunidad para usar la asignación aleatoria La asignación aleatoria resulta la manera más justa de elegir los primeros recipientes o beneficiarios

Implementación por etapas Asignar alumnos a los grupos 1, 2, 3 de manera aleatoria Comparar los resultados entre grupos: Grupo 1 vs. Grupo 2: el impacto de un año del programa Grupo 1 vs. Grupo 3: el impacto de dos años del programa Grupo 1: Enero 2015: 1,000 alumnos Grupo 2: Enero 2016: +1,000 alumnos Grupo 3: Enero 2017: +3,000 alumnos

Variación del tratamiento Variar la intensidad Clases particulares 500 alumnos Clases particulares + incentivos 500 alumnos Variar la forma del tratamiento Clases particulares en el colegio 500 alumnos Programa de prácticas profesionales 500 alumnos

Es realmente posible hacer una asignación aleatoria? Si! Empezar siempre con el diseño de evaluación de impacto ideal Normalmente es posible hacer una asignación aleatoria en algún nivel Y nos permite medir el impacto verdadero de la intervención! Intervención de policía comunitaria? Posible! Programa nacional? Posible!

Los ensayos aleatorios controlados No requieren que los beneficios sean negadas a algunas personas Pueden cuantificar beneficios de un programa antes de su ampliación Mas ético que usar fondos públicos escasos para un programa universal con beneficios inciertos Pueden tomar ventaja de una implementación por etapa Pueden comparar varias intervenciones o varias versiones de la misma intervención Construir programas con mejores resultados

IDEA PRINCIPAL #3 La MEJOR MANERA de EVALUAR EL IMPACTO promedio directamente causado por una intervención es mediante un ENSAYO ALEATORIO CONTROLADO

Diapositivas adicionales Gracias a Laura Ralston, Economista, Banco Mundial y Chris Blattman, Assistant Professor, Columbia University

Diapositivas Adicionales La intervención ofrece a los jóvenes de alto riesgo en “hotspots” conflicto: 4 meses de programa de capacitación residencial en técnicas agrícolas "Habilidades para la vida" y asesoramiento Manejo de conflictos, de trauma, y de trastorno de estrés postraumático; orientación profesional Orientación por ex-combatientes Asistencia de regresar a la comunidad Permiso del líder, acceso a la tierra, el transporte Paquete de insumos agrícolas $ 125 en herramientas y materiales Elección entre vegetales y animales $ 50 en efectivo (Sinoe sitio solamente) Un ejemplo real: “Las espadas se pueden convertir en rejas de arado? Efectos experimentales de un programa agrícola en el empleo, la anarquía, y el reclutamiento armado”

Objetivos Aumentar los ingresos agrícolas Cambiar los incentivos laborales desde la extracción ilícita de recursos Socializar para tiempos de paz / la vida no violenta Reducir el riesgo de reclutamiento mercenario

Impacto del programa MétodoTaza de crimenNumero de horas de trabajo 1. Antes-despues-6%+6* 2. participantes-no participantes -10%*+9 3. Ensayo aleatorio controlado-5%*+5.5* * Estadísticamente significativo al nivel del 5%