El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC

①¿Cómo se produce evidencia? ②Valor de evidencia en Política: Ejemplo Oportunidades ③¿Por qué no se produce suficiente evidencia? ④Soluciones Estructurales y Oportunidades Agenda

①¿Cómo se produce evidencia?

Evidencia Causal Muchas de las preguntas de política pública requieren encontrar relaciones de causa-efecto. ¿Cuál es el impacto de un programa de transferencias condicionadas en educación? ¿Cuál es el efecto de reducir el tamaño de clases en los puntajes de los estudiantes? ¿Cuál es el efecto del encarcelamiento en la reincidencia criminal?

Efecto de política A en resultado B Cuatro elementos importantes:  El problema y la población que presenta problema.  Resultado esperado (que mide resolución del problema).  Política (programa, política, tratamiento, etc)  Punto referencia (Contrafactual). ¿Cómo estaría la población que presenta el problema si no recibiera programa?

Tipo de EscuelaPuntaje académico Aporte Padres Educación Padres Ingresos Salud Pre-Básica NO OBSERVABLES Complejidad medir efecto causal

7 Resultados de población objetivo Resultados que población objetivo hubiera obtenido si no hubieran participado en el programa (hipotético) IMPACTO (evidencia causal) ¿Cómo se produce evidencia?

Estimación del Contrafactual 10 días enfermo 20 días enfermo Ya no podemos identificar el impacto = ≠

¿Situación sin programa de individuo que recibe programa? ¿Estamos aislando el efecto del programa de otros elementos relevantes? ¿Estamos comparando manzanas con manzanas? Estimación del Contrafactual

10 Tiempo Ingresos Programa de Transferencias T=0 Inicio Programa Estimación del Contrafactual

11 Tiempo Ingresos Programa de Transferencias T=0 Inicio Programa Impacto Lo que hubiera pasado Estimación del Contrafactual

12 Tiempo Ingresos Programa de Transferencias T=0 Inicio Programa Lo que hubiera pasado Impacto Estimación del Contrafactual

13 Evaluaciones experimentales –Grupos de control y tratamiento creados aleatoriamente –Muy confiables Métodos no experimentales 1.Participantes antes vs. Participantes después 2.Diferencia simple (participantes vs. no participantes) 3.Emparejamiento 4.Diferencias en diferencias (combina 1 y 2) 5.Variables instrumentales 6.Regresión discontinua Estimación del Contrafactual

14 T C ¿Cómo se produce evidencia?

②¿Valor evidencia. Ejemplo Oportunidades?

Expectativa rol evidencia en política Eficiencia, Innovación y Democracia Ejemplo Oportunidades Valor de evidencia

17 Programas y Políticas Sociales Ideología Propia Externa Apoyo Presupuesto Político Capacidad Conocimiento Evidencia Experiencia Personal Colectiva ¿Cómo se hace política pública?

¿Por qué evaluar impacto? 18 3 problemas Asignación presupuestaria coja Innovación débil o nula Política polarizada – Democracia frágil

¿Por qué evaluar un programa? 19 ¿Qué pasaría si tuviéramos evidencia suficiente para contestar preguntas? Asignación presupuestaria basada en evidencia InnovaciónMejores procesos políticos Expandir las intervenciones más costo-efectivas Descubrimiento de nuevas ideas efectivas Mayor costo de utilizar argumentos extremos y menor polarización política

Cambio estrategia combate a la pobreza. Fortalecer imapcto redistributivo de gasto público. Incentivar acumulación de Capital Humano en segmentos más pobres de población. Reforma profunda en México. Oportunidades: El ejemplo

¿Qué fue lo que permitió el éxito del programa? Empoderamiento político. Apoyo externo del BID. Avalado por evidencia científica. Oportunidades: El ejemplo

¿Rol de la evidencia en éxito? Dio sustentabilidad política al programa en el tiempo. Entregó información al mundo de efectividad innovación. A muy bajo costo político y financiero. –Político: Una vez que hay piloto, diseño experimental es óptimo y trivial. –Financiero: (a) información bien público (b) Orden de magnitud de producción evidencia bajo en relación a producción de programa en escala. Oportunidades: El ejemplo

Inicio

Gran Crecimiento en 10 años

La evaluación de impacto es útil también para probar pequeñas modificaciones Cambiar la estructura de un PTMC en Colombia pudo mejorar drásticamente el impacto del programa para un costo dado (Barrera-Osorio, Bertrand, Linden, et al; 2011) –Postergar parte de las transferencias condicionadas a una suma fija a la hora de reinscripción aumenta la inscripción sin disminuir la asistencia diaria. –Incentivar la graduación en vez de incentivar sólo la asistencia ha demostrado ser particularmente eficaz. Transferencia Condicionada vs. No Condicionada. (Baird, Chirwa, Garfein, et.al.; 2011) –Estimación del efecto relativo entre transferencias condicionadas y no condicionadas en Malawi.

③¿Por qué no se produce suficiente evidencia?

Diferencia abismal de evidencia en relación a las Ciencias Naturales

Algunas posibles causas de la sub- producción de evidencia Problemas de Agencia –Multiples agentes con intereses distintos Ilusión de Irrelevancia –Gran confianza al “sentido comun” y sobreestimación de los costos

Algunas posibles causas de la sub- producción de evidencia Los tiempos de evaluación no siempre se ajustan a los ciclos políticos Evaluación vista como herramienta de control y no de aprendizaje Carácter de bien público de la información

4) ¿Soluciones estructurales y oportunidades?

Ideas estructurales 31 Promover mecanismos formales para institucionalizar el aprendizaje Fomentar una cultura de evidencia y aprendizaje en el quehacer público Empoderar a la ciudadanía para demandar evidencia en las políticas públicas

Ideas oportunistas 32 Acercar a políticos con académicos Aprovechar Pilotos Facilitar el uso de evidencia