Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú.

Presentación del tema: "Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú."— Transcripción de la presentación:

1 Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú

2 2 Introducción

3 3 El impacto social de un programa se define como el efecto sobre los miembros de una población o comunidad específica. La educación juega un rol importante en la sociedad al incrementar las oportunidades. Aunque el crédito educativo por si mismo no es capaz de solucionar las profundas desigualdades sociales de nuestros países, es un medio para aliviar tales diferencias.

4 4 De esta forma, el impacto social del crédito educativo es justamente su capacidad de crear nuevas oportunidades de desarrollo personal para estudiantes menos favorecidos. Nuevas oportunidades se crean cuando: –Los jóvenes logran culminar estudios superiores. –Lo hacen en menos tiempo. –Obtienen el máximo provecho de sus estudios (buen rendimiento).

5 5 Por esta razón, el enfoque que daremos al impacto social del crédito será en el estudio del impacto del crédito sobre los 3 resultados académicos mencionados. El caso de la PUCP no permite analizar el impacto a nivel macroeconómico pues su magnitud es limitada para el resto de la sociedad.

6 6 Objetivos Generales de la Evaluación de Impacto

7 7 Los estudios de evaluación de impacto nacen de la necesidad de proveer una medición objetiva, certera y cuantitativa del efecto de un programa específico. Para este objetivo se apoya en herramientas estadísticas y econométricas, aplicadas a la problemática particular en estudio.

8 8 ¿Por qué es importante la evaluación del impacto de programas? –Permite evaluar la eficacia de los mismos (el logro de los objetivos). –Ayuda a identificar problemas en el programa. –Da sugerencias para su modificación, ya sea en el programa como en sus propias metas.

9 9 Los resultados pueden ser múltiples. Algunos de ellos son buscados por el programa. Otros podrían ser efectos no deseados. Tratamiento (Programa) Resultados X Y1Y1 Y2Y2 Y3Y3

10 10 Normalmente antes de empezar algún programa se tiene una idea de los resultados esperados. La evaluación del impacto consiste en ver si los valores Y han variado en comparación con una situación de ausencia del programa.

11 11 El Programa de Crédito Educativo

12 12 Antes de estudiar la evaluación del impacto de crédito sobre las personas, se debe definir al programa y a sus resultados esperados. Los Programas de Crédito Educativo suelen ser heterogéneos. –Programas basados en el mérito. –Programas basados en necesidades económicas. –Basados en mérito y necesidades económicas.

13 13 En el caso de la PUCP, los requisitos y criterios del programa de préstamo han ido variando en el tiempo. Sin embargo, en esencia siempre fue un programa orientado a estudiantes con problemas económicos y buen rendimiento académico.

14 14 ¿En qué consisten los programas de crédito? En términos generales, se trata de una ayuda económica (préstamo) a alumnos seleccionados durante el periodo de estudios. Una vez finalizados los estudios los beneficiarios devuelven el préstamo con las tasa de interés y plazos convenidos.

15 15 En algunos casos la devolución del préstamo empieza antes de terminar los estudios universitarios. En otros casos la devolución empieza luego de un periodo de gracia. Los préstamos pueden ir acompañados de donaciones (caso del antiguo préstamo integral PUCP). Las tasas de interés suelen variar.

16 16 ¿Cuáles son los objetivos del programa? La definición clara de los objetivos es un paso crucial en la evaluación del impacto. Es posible que las metas estén vagamente definidas o sean totalmente implícitas. Tal es el caso de la PUCP en el inicio del programa.

17 17 En el periodo que vamos a analizar solo se define al programa como una ayuda para estudiantes con problemas económicos que dificultaran notablemente sus estudios. Se pueden inferir varias ideas: –El programa buscaría que sus beneficiarios concluyan sus estudios universitarios.

18 18 –Además que estos estudios no se extendieran demasiado –Quizás buscaría que el rendimiento de los estudiantes no se vea muy afectado por la dificultad económica. Entonces, una primera dificultad de la evaluación de impacto de este programa es verificar si estos objetivos eran realmente los que se buscaban.

19 19 Lo ideal sería que los programas tuvieran metas expresadas cuantitativamente –Por ejemplo, incrementar en X% el porcentaje de alumnos que culminan sus estudios. Desafortunadamente, es frecuente que los programas no sean tan explícitos.

20 20 ¿A quién va dirigido este programa de crédito educativo? Es importantísimo saber cuál es la verdadera población objetivo del programa de crédito. Es necesario delimitarla para evaluar el logro del programa en tal grupo. Sería un error evaluar el éxito del programa en un grupo que no es el objetivo.

21 21 Nuevamente, es frecuente que los programas no definan muy claramente a su población objetivo. En el caso PUCP, el objetivo del programa a su vez definía a su población: aquellos estudiantes con problemas económicos, los cuales dificultaran notablemente sus estudios. –¿A qué llamamos problema económico? –¿A qué se refiere con dificultar notablemente a sus estudios?

22 22 No definir claramente a estas categoría hace que el público objetivo tenga fronteras difusas. En el caso PUCP, en sus primeras décadas, se definió al grupo objetivo como: –Estudiantes con problemas económicos, y –Estudiantes que tuvieran un rendimiento académico suficiente. Aquellos que cumplieran con estos requisitos podían solicitar el beneficio del préstamo universitario.

23 23 Puesto que para la práctica se necesitaba umbrales más concretos, se tomó como referencia lo siguiente: –Estudiantes con problemas económicos son aquellos con ingresos familiares por debajo de cuatro Remuneraciones Mínimas Vitales. –Estudiantes con rendimiento académico suficiente son aquellos que tienen una nota mínima de 12 puntos de promedio (en una escala de 0 a 20).

24 24 –Adicionalmente se solicitaba un informe académico a la facultad de origen, el cual daba una opinión sobre las aptitudes y motivaciones del estudiante. Pese a estas precisiones, en el periodo que analizaremos existió un cierto grado de discrecionalidad en cuanto a la asignación del beneficio. Aparentemente, esto se debió a que la situación económica y académica de los estudiantes responde a numerosas variables determinantes.

25 25 ¿Qué resultados esperamos del programa? Hemos planteado 3 posibles resultados del programa, los cuales serán sometidos a prueba. Estos resultados son las hipótesis del estudio. Un primer impacto es una reducción en el número de semestres estudiados. –Con el crédito educativo, el estudiante podría matricularse en más cursos y podría dejar de trabajar.

26 26 El segundo es un impacto es un incremento en la probabilidad de culminar los estudios universitarios. –Contar con el crédito podría evitar la interrupción de los estudios por motivos económicos. Un tercer impacto sería sobre el rendimiento. –No es muy claro el efecto sobre el rendimiento de los estudiantes beneficiarios.

27 27 –Por un lado, al recibir el crédito esto les permitiría mayor tiempo para estudiar al no tener que trabajar. Entonces se elevaría el rendimiento (en comparación con una supuesta etapa previa de rendimiento mediano o bajo). –Por otro lado, obtener el préstamo requiere de un esfuerzo previo del estudiante para demostrar que tiene un rendimiento suficiente. Una vez obtenido el préstamo, tal esfuerzo podría decaer.

28 28 –Por último, el rendimiento antes y después del préstamo podría no variar si el crédito justamente ha logrado aliviar los problemas del alumno. –Así habría evitado una posible caída de este rendimiento dejándolo en su nivel normal.

29 29 Sesión 2 – Metodología Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú

30 30 Metodología de Evaluación del Impacto del Crédito Educativo

31 31 El problema fundamental de la evaluación de impacto Conocer si el programa tuvo o no impacto en los estudiantes requiere de una estrategia de comparación: Se compara: –El desempeño del estudiante sujeto al programa –El desempeño del mismo estudiante en ausencia del programa.

32 32 Es decir se compara lo que ocurrió versus lo que hubiera ocurrido sin el programa (la situación contrafactual). El efecto del programa sería el promedio de la diferencia de estos resultados. Problema Fundamental de la Evaluación de Impacto: El resultado contrafactual nunca es observado.

33 33 No es posible volver en el tiempo y ver que hubiera ocurrido con un estudiante si no se hubiera beneficiado del crédito educativo. Solución: Se busca un grupo de comparación. Este grupo debería ser una aproximación del escenario contrafactual.

34 34 No cualquier grupo de estudiantes puede ser utilizado como grupo de comparación o grupo de control. Para que la comparación sea válida, los grupos beneficiarios del crédito y de control deben tener características similares. Por ejemplo, el ingreso de las familias, la educación de los padres, el rendimiento académico de los alumnos, y otras variables tienen que ser parecidas entre los dos grupos (el grupo de beneficiario y el grupo de control).

35 35 ¿Cómo conseguir a un grupo de control? Un primer candidato podría ser el grupo de no beneficiarios del crédito educativo. Si el programa hubiera sido asignado al azar (mediante un sorteo, por ejemplo) entre todos los estudiantes, entonces el grupo de no beneficiarios podría ser usado como el escenario contrafactual.

36 36 Pero si no fue asignado al azar, nada garantiza que los grupos de beneficiarios y no beneficiarios sean comparables. Ambos grupos podrían presentar diferencias notables en cuanto a la situación económica, social y cultural de las familias, etc. Si se comparan resultados en grupos disímiles, (por ejemplo, con diferente educación de los padres), el impacto del programa podría deberse a las diferencias en la educación de los padres y no al programa mismo.

37 37 Experimentos Sociales Digamos que la asignación al azar es el caso paradigmático cuando se utiliza la estrategia de comparación. Se pueden conseguir datos de este tipo cuando se realizan experimentos sociales. En este tipo de experimentos se definen intencionalmente al azar a grupos de beneficiarios y controles con el fin de evaluar el impacto.

38 38 Sin embargo, este tipo de metodologías de experimentos tienen problemas de orden ético. También tienen problemas en cuanto a su implementación (los estudiantes no deberían darse cuenta que están siendo sujetos a un experimento). Este tipo de técnica no es la que hemos usado.

39 39 El Método de Pareo (matching) Este método busca simular la situación contrafactual a partir de un subgrupo de personas no beneficiadas. De este grupo de no beneficiarios se seleccionan a aquellos que tengan características muy similares a los beneficiarios.

40 40 BeneficiariosNo Beneficiarios

41 41 Luego se comparan los resultados obtenidos en el grupo beneficiario y el grupo de control. Una ventaja de este método es que permite la evaluación del programa de una manera fácil y estadísticamente confiable. Lo único sofisticado es encontrar al grupo de control.

42 42 Otras estrategias de comparación que podrían ser utilizadas El diseño de regresión discontinua es utilizado cuando los beneficiarios pueden acceder al tratamiento si superan cierta valla predefinida: Por ejemplo, –Cuando para acceder al crédito educativo se requiere ingresos familiares por debajo de cierto nivel. –Cuando el acceso está restringido a estudiantes que alcancen un puntaje mínimo.

43 43 Se compara el desempeño de los estudiantes que están apenas por encima o por debajo del umbral. Otros caso es el de los experimentos naturales. En este caso, el programa ha sido asignado en la población como si hubiese sido al azar. Aunque no haya sido la intención de los diseñadores del programa, el resultado es similar a un experimento social.

44 44 Por su parte el método de diferencias en diferencias es el más completo de todos pues hace comparaciones en entre el grupo beneficiario y control antes y después de la aplicación del programa. Con ello se logra controlar las diferencias entre las características observables y no observables entre los grupos beneficiario y control. Desafortunadamente, este método requiere mucha información que no contamos.

45 45 Selección de la metodología apropiada La metodología que debemos usar es –la que más se ajuste a los datos que tenemos. –La que sea más apropiada para estudiar la problemática que nos interesa. En el caso del estudios de impacto de la PUCP, contamos con datos de registros históricos de alumnos beneficiados y no beneficiados con el crédito educativo.

46 46 No sería apropiado hacer una mera comparación entre los desempeños de estos dos grupos (como si se tratara de un experimento) pues: –Los estudiantes pueden haberse autoseleccionado. –Los criterios de la institución (y de los comités evaluadores) podrían haber variado en el tiempo.

47 47 Esto hace que las características de los estudiantes (observables o no, difieran notablemente entre los dos grupos mencionados). Aunque en otros contextos la metodología de la regresión discontinua podría haber sido la más apropiada para evaluar crédito educativo, en el caso PUCP no fue así porque: –El umbral no está bien definido o es variable a lo largo de los años.

48 48 –Existen muchas observaciones de estudiantes con ingresos bajos y rendimiento suficiente que no solicitaron crédito. Por ello se escogió el método de pareo pues existen numerosas observaciones de individuos potencialmente comparables con los beneficiarios.

49 49 Adicionalmente, no se contaba con una línea de base del programa. Pese a tener series de tiempo históricas por alumno, no estaba muy clara la definición de antes y después del programa, por lo que no se podía aplicar el método de diferencias en diferencias.

50 50 Selección de la Muestra

51 51 Características del crédito PUCP en la educación superior en el periodo analizado. La muestra se seleccionó considerando que: –Los estudios superiores en el Perú duran como mínimo 5 años. –No existe información antigua confiable. –No contamos con una línea de base.

52 52 –En la PUCP, los estudiantes son clasificados en 5 escalas de pago según su situación socioeconómica. –La totalidad de beneficiarios del crédito proviene de la escala más baja (escala 1). –La renovación del crédito es semestral y el informe socioeconómico del alumno era actualizado anualmente.

53 53 –En el Perú, el rendimiento académico es evaluado en una escala vigesimal (0-20), siendo 11 la nota mínima para aprobar un curso. –En el periodo estudiado, para ser elegible de préstamo se requería un promedio mínimo de 12 (salvo excepciones). –A partir del año 2002 cambió este criterio por el de tercio superior, el cual es un poco más estricto.

54 54 Con estas consideraciones, a partir de las bases de datos de la PUCP: a)Se tomó una muestra al azar de 1287 alumnos que pertenezcan a la escala 1 (beneficiarios y no beneficiarios de crédito). b)Estos alumnos deberían tener un promedio de notas histórico de 12 como mínimo (para poder considerarlos a todos ellos como elegibles).

55 55 c)La estos alumnos debían haber ingresado a la universidad entre los años 1997 y 2003. (a) y (b) buscan que las poblaciones de beneficiarios y no beneficiarios sean parecidas. La evaluación se hará con resultados en el verano del año 2009. Por ello (c) da un tiempo de 5 años para que los estudiantes puedan culminar sus estudios.

56 56 Sub-grupos de comparación

57 57 Los indicadores seleccionados para el análisis requieren de submuestras específicas con el fin de hacer las comparaciones. La siguiente tabla muestra las posibles submuestras que se pueden conformar.

58 58 Recibieron Crédito Egresaron No Egresaron 132 No solicitaronSolicitaron No Recibieron 45 6

59 59 Si se quiere analizar el impacto en la probabilidad de egresar, la comparación debería ser entre los grupos (1+4) vs. (2+5), y también se debe comparar a (1+4) vs. (3+6). Se debe tomar en cuenta también a aquellos que no solicitaron pues el hecho de solicitar no es cuestión de azar sino que responde a un proceso de autoselección.

60 60 Si se quiere analizar el impacto sobre el tiempo para graduarse, se debe comparar los resultados entre los egresados (grupos 1 vs. 2, y también en los grupos 1 vs. 3). Si se desea analizar el impacto sobre el rendimiento académico, los grupos de comparación son los mismos que en el caso de la probabilidad de egresar.

61 61 En el caso PUCP, las casillas 3 y 6 son prácticamente inexistentes pues son muy pocos los casos de solicitantes que no recibieron ayuda en el periodo analizado.

62 62 Sesión 3 – Estimación y Resultados Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú

63 63 Principales Variables de Control

64 64 La heterogeneidad de la muestra en cuanto a sus características observables hizo que se controlara por una serie de variables de los estudiantes. Como es usual y debido a la alta correlación entre muchas de estas variables, estas fueron agrupadas. Las variables sobre las que se controló fueron:

65 65 Grupos de VariablesVariables consideradas Características del AlumnoEdad al momento de ingresar a la universidad, Sexo del alumno, Facultad del Alumno, Antigüedad del alumno. Variables de Capital CulturalNivel educativo del padre y de la madre, Tipo de Colegio donde estudió, Lugar de nacimiento. Variables de Capital Económico Quintil de Ingreso, Presencia de otros familiares en el hogar, Tenencia de la Vivienda, Número de pisos de la vivienda, Acceso a desagüe. Variables de Capital SocialProfesión u oficio del padre, Quintil del distrito donde vive (en el ranking de desarrollo humano). Otras Características del Hogar Número total de hijos en el hogar Eventos adversosNúmero de Familiares con Enfermedades Crónicas Importantes.

66 66 Sobre las variables de capital económico, cultural y social, se construyeron índices utilizando el análisis de correspondencias múltiples. Estos índices permiten una reducción notable del número de variables y facilitan su interpretación.

67 67 La Variable del Programa

68 68 Sobre la variable del programa La participación en el programa es muy variada entre los beneficiarios. Se observan una serie de patrones muy heterogéneos. 1 2 3 4 5 6 7 XX XX XX XXX XXX

69 69 Pensamos que la cantidad de semestres que fue beneficiado por el programa podría influir en los resultados. Primera Definición del Programa: 1 = Recibió alguna vez el préstamo universitario, 0 = Nunca lo recibió. Otras definiciones que toman en cuenta la intensidad del programa: 1 = Recibió X semestres el crédito, 0 = recibió menos de X semestres el crédito.

70 70 El Especificaciones del Método de Pareo

71 71 Con el fin de facilitar la búsqueda de los pares que conforman el grupo de control, se usó la variante llamada propensity score matching. El propensity score resume en una sola dimensión a todas aquellas características observables (variables de control) que distinguen a los estudiantes. En nuestro contexto, el propensity score es la probabilidad de recibir el crédito dadas una serie de características del estudiante.

72 72 Con esta técnica, en una primera etapa se calcula el propensity score para todos los individuos de la muestra. En la segunda etapa se hace el pareo de estudiantes con base a este score. En la tercera etapa se calcula el efecto promedio del programa como la diferencia promedio entre los resultados de los grupos de beneficiarios y de control.

73 73 Es importante comprobar después del pareo que las frecuencias de los propensity score entre los beneficiarios y controles sean similares. Cabe mencionar que los métodos de pareo no toman en cuenta a aquellas características que no son observables.

74 74 Llevar a cabo la segunda y tercera etapa requiere de algunas especificaciones adicionales. Puesto que es casi imposible que dos estudiantes tengan exactamente el mismo score (estos suelen incluir muchos decimales), se establecen algunos criterios de emparejamiento. En esta investigación hemos tomado los criterios llamados: vecino más cercano, radius y kernel.

75 75 Resultados

76 76 Primero veamos algunas estadísticas que describen al programa. La tabla muestra cuántos semestre recibieron la ayuda los estudiantes de la muestra. Participación en el programa de créditoFrec.Percent No recibió préstamo91370.94 Recibió de 1 a 4 semestres14511.27 5 o más semestres22917.79 Total1,287100

77 77 Efecto sobre el Número de Semestres Estudiados

78 78 Para estos cálculos nos centramos en los egresados únicamente. En ellos veremos la diferencia entre el promedio de semestres de los beneficiarios versus el promedio del grupo de control.

79 79 Antes del pareo Distribución del propensity score Después del pareo

80 80 Vecino más cercano RadiusKernel Un sem. ó más recibió préstamo versus ninguno Beneficiario13.0361 Control13.439813.468313.4496 Impacto del Programa-0.40-0.43-0.41 |Tstat|1.682.061.98 5 sem. o más con crédito versus menos de 5 sem. Beneficiario12.9735 Control13.681413.549713.5244 Impacto del Programa-0.71-0.58-0.55 |Tstat|2.662.672.58 5 sem. con crédito versus ningún semestre Beneficiario12.9725 Control13.821113.585713.5778 Impacto del Programa-0.85-0.61 |Tstat|3.342.762.73

81 81 Efecto sobre la Probabilidad de Egresar

82 82 Vecino más cercanoRadiusKernel 5 sem. o más con crédito versus menos de 5 sem. Beneficiario0.6970 Control0.57580.61610.6204 Impacto del Programa0.1210.0810.077 |Tstat|2.021.841.78 5 sem. con crédito versus ningún semestre Beneficiario0.6957 Control0.62420.64670.6358 Impacto del Programa0.0710.0490.060 |Tstat|1.311.071.34

83 83 Impacto sobre el rendimiento

84 84 El objetivo es ver si el indicador de rendimiento CRAEST es mayor en los beneficiarios que en el grupo de control. El CRAEST es el resultado de una fórmula matemática que considera el promedio de notas en cada curso e incluye variables como número de cursos matriculados en el semestre, orden de mérito en cada curso, y la vez que se lleva el curso.

85 85 Toma valores entre 0 y 100 aunque la gran mayoría de estudiantes tiene un CRAEST entre 40 y 60 puntos. Este valor es un indicador del rendimiento acumulado a lo largo de los estudios universitarios.

86 86 Vecino más cercano RadiusKernel Uno o más semestres con préstamo versus ninguno Beneficiario53.4964 Control51.424251.398151.3864 Impacto del Programa2.0722.0982.110 |Tstat|4.8966.15 5 sem. o más con crédito versus menos de 5 sem. Beneficiario54.0931 Control51.736851.414051.4257 Impacto del Programa2.3562.6792.667 |Tstat|5.447.177.18 5 sem. con préstamo versus ningún semestre con préstamo Beneficiario54.1979 Control51.410151.379251.3532 Impacto del Programa2.7882.8192.845 |Tstat|5.47.457.55

87 87 Conclusiones

88 88 Los estudiantes de la PUCP que cuentan con crédito educativo en promedio terminan sus estudios en menos semestres que un grupo de estudiantes de similares características. Este efecto se vuelve mayor conforme mayor es el número de semestres que el estudiante recibe crédito. Estos resultados se mantienen bajo 3 métodos distintos de selección del grupo de control.

89 89 También hay un efecto del crédito sobre la probabilidad de concluir la carrera universitaria. Esta probabilidad se incrementa en alrededor de 7 puntos porcentuales para los beneficiarios de crédito. Finalmente el crédito educativo produce un incremento en el rendimiento de los estudiantes. Este efecto se incrementa conforme los estudiantes reciben crédito por más semestres.

90 90 ¡¡MUCHAS GRACIAS!!