Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada.

Presentación del tema: "Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada."— Transcripción de la presentación:

1 Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) (http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas.http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

2 Evaluación Experimental de Principio a Fin: Servicio País en Educación Ryan Cooper Abdul Latif Jameel Poverty Action Lab (JPAL)

3 1.Entender el contexto. 2.Tener una pregunta. 3.Diseñar tratamientos. 4.Diseñar la evaluación. 5.Implementar y evaluar procesos. 6.Levantar datos. 7.Medir Impacto. 8.Medir Costo-Efectividad. 9.Difundir los Resultados. Pasos Claves en una Evaluación 3

4 -¿Cómo mejorar la educación en contextos vulnerables? -Es una de las preguntas de política pública más relevantes. -Grandes esfuerzos en gasto público en Latinoamérica, con escasas mejoras en resultados educacionales. -Dos puntos de vista: 1.Sólo las intervenciones tempranas sirven. 2.Intervenciones tardías pueden funcionar. –Algo de evidencia hay a favor de ambas perspectivas. –¿Puede ser que ambos enfoques sean correctos? 4 1. Entender el Contexto

5 -Esta evaluación se inscribe en la segunda perspectiva. -De hecho, el Servicio País en Educación (SPE): -Programa enfocado en 4° grado (~10 años). -Duración de 3 meses /15 sesiones. -Enfoque en mejorar niveles de lectura. -Durante el horario de clases (sustituye horas en el colegio) 5

6 2. La Pregunta -Es clave: 1.Pensar qué se quiere contestar con la evaluación. 2.Preguntarse sobre la relevancia de la pregunta. 3.Asegurar que la pregunta no haya sido contestada. -Esta evaluación se plantea 3 preguntas: 1.¿Puede el SPE mejorar las habilidades cognitivas y no cognitivas relacionadas con la lectura? 2.¿Existe alguna relación entre estas habilidades? 3.¿Qué tan costo-efectivo es el programa? 6

7 3. El Programa -Identificar el problema y proponer una solución. –Visitas en terreno. –Focus groups. –Discusiones con profesores, estudiantes, investigadores. -Identificar a la población relevante. –Trabajo de Campo -Hacer pilotos. -Este trabajo ya había sido hecho al momento de decidir evaluar el programa… 7

8 -Programa implementado por la Fundación para la Superación de la Pobreza (FSP). - 15 sesiones de tutorías en tiempo de clase. -Los tutores son voluntarios universitarios. -Grupos de ~6 estudiantes por tutor. -Enfocado en escuelas vulnerables. -Objetivos: 1.Mejorar actitudes frente a la lectura. 2.Mejorar niveles de lectura. 3.Impactar en los voluntarios. –Esta evaluación sólo contesta las dos primeras… 8 3. El Programa

9 4. Diseño de la Evaluación -Lo central, ¿qué metodología de evaluación utilizar? -Evaluar aleatoriamente es lo más confiable, pero.. -No siempre se puede aleatorizar. -Es difícil evaluar políticas universales de esta forma. -Si el programa es muy pequeño en escala, puede ser mejor esperar a que crezca. -Si la implementación del programa ya comenzó, es muy tarde para aleatorizar. -En este caso, se daban las condiciones necesarias, y se llevó a cabo una evaluación aleatoria. 9

10 -Luego, ¿qué grupos incluir en la evaluación? -Depende de la pregunta. -En este caso, ¿Cuál es el impacto del SPE? -Comparamos niños con SPE vs niños sin SPE. 10 Tratamiento Con SPE Control Sin SPE 4. Diseño de la Evaluación

11 4. Diseño de la Intervención Luego, hay que terminar de diseñar la evaluación: –Marco Muestral. –Unidad de Aleatorización. –Estratificación. –Cálculo de Poder. 11

12 4.1. Marco Muestral -Se construye una lista de escuelas elegibles con base en los criterios de la FSP: -Escuelas de bajo desempeño académico. -10 municipios en 2 regiones (RM y VIII). -Dependencia de la escuela en algunos casos. -Escuelas de 100+ alumnos en 4° grado o parejas de escuelas cercanas que sumen 100+ alumnos. 12

13 4.1. Marco Muestral -Sólo se consideran en la evaluación escuelas que cumplan con todos estos criterios. -¿Qué pasa si los colegios rechazan el programa? -Plan B: Se genera lista de reemplazo aleatoria, previendo no aceptación del programa/evaluación. -Se contactan escuelas con el apoyo del Ministerio de Educación. -¿Cómo asegurar el interés del Grupo Control? -Se le ofrece un informe de resultados y recomendaciones. 13

14 4.2. Unidad de Aleatorización -¿Cómo decidir a qué unidad aleatorizar? -El programa se implementa en 4° grado. -Es díficil en la práctica excluir alumnos del programa en un colegio en que esté se está implementando (Riesgo de Contaminación). -Restricciones operativas de la FSP. -Por ello, aparece como una opción idónea el aleatorizar a nivel de escuela. 14

15 4.3. Estratificación -¿Mediante qué variables estratificar? -Restriciones Operativas de la SPE: Estratificar por comuna en que están las escuelas. -Además: -Estratificar por Nivel Socioeconómico de las escuelas. -Estratificar por Desempeño educativo de las escuelas. 15

16 4.4. Aleatorización -La aleatorización construyó la siguiente muestra: 16

17 4.5. Instrumentos de Medición -¿Cómo medir las variables de interés? -Se debe hacer una revisión de los instrumentos disponibles. -Usamos cuatro fuentes. 1.Comprensión de Lectura y Producción de Textos (CL-PT): –Usamos una prueba estandarizada que mide: Comprensión de Lectura (RC) Uso de la Lengua (UL) Producción de Textos (TP). –A éstas las llamamos “habilidades cognitivas”. 17

18 4.5. Instrumentos de Medición 2.Gusto por la Lectura (GPL): –Construímos un instrumento nuevo con base en otros: Autopercepción como Lector (SPR). Disfrute de la Lectura (ER). Interés por la Lectura (IR). Percepción de la Lectura en la Escuela (PRS). –A éstas las llamamos “habilidades no cognitivas”. 3.Información de Procesos del programa. 4.Información administrativa del Ministerio de Educación. 18

19 4.6. Balance entre Grupos -Es relevante revisar estadísticamente si los grupos de la evaluación están balanceados. -¿En qué dimensiones? -En todas las variables con las que se cuente en la línea de base. -¿Entre qué grupos? -Puede ser relevante mostrar que los “desertores” son iguales entre grupos. -En este caso la deserción fue considerable. -Para otras subpoblaciones relevantes en el estudio. 19

20 i.Balance en Características de la Escuela: 20

21 ii.Balance en Características de los Estudiantes: 21

22 iii.Balance entre Desertores y No Desertores 22

23 iv.Balance en puntajes de Línea de Base: -Los grupos muestran estar balanceados! -La aleatoriazción hizo su trabajo. 23

24 5. Implementar y Evaluar Procesos -Es muy importante: –Armar un buen equipo. –Documentar. –Obtener aprobación del Comité de Ética. –Manuales de Campo exhaustivos. –Entrenamientos exhaustivos. –Monitorear la Intervención. 24

25 -Armar un buen equipo… -¿Qué se necesita? -Investigadores Principales: -Es clave que se involucren en todo el proceso. -Asistente de Investigación: -Una mezcla de conocimiento técnico y de terreno. -Coordinador de Terreno: -Encargado de organizar levantamiento de datos y monitoreo del programa. -Administra equipos que trabajan en terreno. 25 5. Implementar y Evaluar Procesos

26 -Presupuestando la evaluación… -¿Qué áreas se deben considerar? 1.Levantamiento de Datos. ¿Externo o Interno? Incluir Monitoreo y Control de Calidad. 2.Equipo de Investigación. 3.Costos Indirectos. 26 5. Implementar y Evaluar Procesos

27 -Consideraciones Éticas: -¿Por qué es importante? -Ha habido casos en que otros estudios han causado graves perjuicios a las personas involucradas. -Un Comité de Ética experto puede detectar potenciales daños. -Se debe pedir autorización a las personas para acceder y utilizar su información personal. 27 5. Implementar y Evaluar Procesos

28 -El monitoreo del SPE se basó en visitas aleatorias a las escuelas. -Observación de Tutorías. -Cuestionario a Tutores. -Cuestionario a Profesores. -Además, se recopiló información administrativa de la FSP, de asistencia de alumnos y tutores. 28 5. Implementar y Evaluar Procesos

29 -Resultados del Monitoreo: -Hubo mucha heterogeneidad en la implementación del programa! -Queda claro que fue importante revisar esta información. 29 5. Implementar y Evaluar Procesos

30 -¿Hay diferencias regionales? -Sí, y estadísticamente relevantes. -En la VIII región se implementó “mejor” que en la RM. 30 5. Implementar y Evaluar Procesos

31 -¿Comparten los alumnos este enfoque? -Sí, evalúan mejor el programa cuando: -Reciben más sesiones de tutorías. -Reciben menos rotación de tutores. 31 5. Implementar y Evaluar Procesos

32 6. Levantar Datos. -¿Qué fuente de datos usar? -Datos Administrativos vs Encuestas. -¿Cómo decidir? -¿Cuándo medir? -¿Deberíamos tomar Línea de Base? -Línea de Salida: -Se debe esperar lo suficiente para que los impactos se materialicen. -Recolectar buenos datos de contacto en la línea base permite tomar varias líneas de salida. ¿Hay recursos para eso? 32

33 -Algunas recomendaciones: -La planificación del terreno y diseño de cuestionario toma tiempo! No se confíe. -Pilotear los instrumentos es relevante. -Para corregir formulación de preguntas. -Para calibrar escalas de respuestas. -Buena coordinación con la muestra ayuda a reducir la “deserción”. -Monitorear el Levantamiento de Datos es clave. -Recolectar buenos datos es caro, pero puede “valer la pena”. 33 6. Levantar Datos.

34 -En el caso de SPE, el cronograma fue el siguiente: -Principios de Agosto: Diseño de Instrumentos. -Fin de Agosto y principios de Septiembre: Línea de Base. -Octubre y Noviembre: Monitoreo del Programa. -Diciembre: Línea de Salida. - En cada caso, las pruebas se tomaban en dos ocasiones, para reducir “deserción”. 34 6. Levantar Datos.

35 7. Medir Impacto. -¿Cómo vamos a medir el impacto del programa? -Definir estrategia estadística. -Definir muestras en donde medir el impacto. -Para este caso se midió en submuestras: -Por región. -Por vulnerabilidad (IVE). -Por nivel educacional (SIMCE) 35

36 7. Medir Impacto. 1.Variables de CL-PT (habilidades cognitivas): 1.1. ITT: Simplemente, hacemos una regresión del puntaje obtenido sobre la variable de tratamiento. CLPT isk =  k T s + X is +  isk -  es el impacto de programa sobre todo el grupo tratamiento. 36

37 1.Variables de CL-PT (habilidades cognitivas): 1.2. TT: Ahora hacemos una regresión del puntaje obtenido sobre el número de tutorías recibidas, usando la variable de tratamiento como variable instrumental. CLPT isk =  k N is + X is +  isk - Ahora  k  es el impacto sobre los tratados, reconociendo las diferencias en las intensidades del tratamiento recibido. 37 7. Medir Impacto.

38 7.1. Resultados CL-PT -Se observan ciertos impactos. -En Comprensión de Lectora: -Impacto promedio de 0.08 , pero sólo mg. significativo. -Impacto de 0.18  sobre colegios de la VIII. -Impacto de 0.12  sobre colegios vulnerables de la VIII. -En Uso del Lenguaje: -Impacto de 0.28  sobre colegios de la VIII. -Impacto de 0.38  sobre colegios vulnerables de la VIII. -La buena/mala implementación es relevante! -Impactos focalizados en colegios vulnerables. 38

39 39 7.1. Resultados CL-PT

40 2.¿Cuál es la relación entre variables cognitivas y no cognitivas? -Simplemente vemos las correlaciones entre las distintas dimensiones de los instrumentos CL-PT y GPL. - Esto se hace sólo con datos de estudiantes no tratados, para limpiar las correlaciones de los efectos del programa. 40 7. Medir Impacto.

41 7.2. Correlación entre GPL y CL-PT -Notar que esto NO es evidencia causal. -Se observan ciertas correlaciones entre habilidades cognitivas y no cognitivas: -Las más fuertes son las correlaciones con: -Autopercepción como Lector. -Percepción de la Lectura en la Escuela. -¿Son las habilidades no cognitivas un mecanismo a través del cual se pueden impactar las habilidades cognitivas? ¿Es al revés? -Pregunta relevante, que esta evaluación no responde. 41

42 42 7.2. Correlación entre GPL y CL-PT

43 3.Variables de GPL (habilidades no cognitivas): -Estas variables son discretas, por lo que en este caso usamos modelos no lineales. 3.1. ITT: Usamos modelos Logit ordenados. 3.2. TT: Usamos modelos Logit ordenados con funciones de control para controlar la endogeneidad en el número de sesiones de tutorías recibidas por los estudiantes. 43 7. Medir Impacto.

44 7.3. Resultados GPL -Se observan ciertos impactos. Éstos están: i.Focalizados en las habilidades no cognitivas más correlacionadas con las cognitivas. ii.Para tales casos, se encuentran en las mismas subpoblaciones que para las cognitivas: - Colegios Vulnerables de la VIII. -Su magnitud es relativamente grande, y mueven proporciones importantes de alumnos de niveles bajos de GPL a niveles altos. -Ej: SPR, VIII, High IVE: -40%, -63%, 0%, 52%. 44

45 7.3. Resultados GPL - SPR 45

46 7.3. Resultados GPL - ER 46

47 7.3. Resultados GPL - IR 47

48 7.3. Resultados GPL - PRS 48

49 4.Externalidades: -Quizás el SPE genera impactos en otras áreas. -¿En qué sentido? -Positivo: Mejor lectura puede facilitar aprendizaje en otras áreas. -Negativo: El programa reemplaza horas de clases. -¿Cómo medir estas externalidades? Notas is =  T s + X is +  isk -  es nuestra medida de externalidad. 49 7. Medir Impacto.

50 7.4. Resultados Externalidades -Los resultados muestran que: -No hubo externalidades negativas. -Hubo ciertas externalidades positivas en las materias humanistas. -Pero, ¿Por qué no en lenguaje? -La información de procesos muestra que fue la materia más reemplazada por el programa… 50

51 51 7.4. Resultados Externalidades

52 8. Medir Costo-Efectividad -Una línea en que las evaluaciones son útiles es para comparar políticas. -Cálculos de costo-efectividad ayudan a ello. -Ponen impactos en una métrica común. -Pero, tienen sus problemas: -No consideran impactos sobre múltiples variables. -Se construyen sobre supuestos. 52

53 8.1. Resultados Cost-Efectividad -Cálculos para el SPE -Lo hacemos para distintas subpoblaciones de colegios. 53

54 8.2 Comparando Costo-Efectividad 54

55 Conclusiones -SPE: una política de corto plazo que logró impactar los niveles de lectura de alumnos de colegios vulnerables. -Impactos concentrados en: -Colegios relativamente más vulnerables. -Zonas en donde el programa fue mejor implementado. -Impactos sobre variables cognitivas y no cognitivas. -Con un patrón relacionado entre ambas. -No se encontró evidencia de externalidades negativas. -Investigación Futura: -Relación entre habilidades cognitivas y no cognitivas. 55

56 9. Difusión de Resultados -Una vez hecho el esfuerzo de evaluar, hay que hacer de los resultados un “bien público”.. -¿Cómo difundir? 1.Seminarios Académicos. 2.Conferencias Relacionadas. 3.Instituciones Interesadas. 4.Artículos en Diarios y Revistas. 5.Artículos Académicos. –Ámbitos Nacional e Internacional. 56

57 Conclusiones Generales -Evaluar impacto… -Implica bastante trabajo. -Exige el uso de recursos. -Exige ser creativo -Y toma tiempo. -Pero… -ES POSIBLE Y ES UN DEBER ÉTICO HACERLO PORQUE… -Genera evidencia relevante. Para… -Avanzar en la “ciencia” -Mejorar la toma de decisiones y el uso de recursos. 57