MEJORANDO LA EFICIENCIA DE LOS SISTEMAS EDUCATIVOS EN AMÉRICA LATINA Rafael de Hoyos Banco Mundial “Educación de calidad: desafíos y oportunidades para la región”, OEA, 19 de abril, 2016

 Mayores ingresos personales (Becker (1962); Mincer (1970) y miles de artículos)  Mejoras en la salud (Lleras-Muney (2005))  Crecimiento económico (Hanushek et al (2008, 2010, 2012))  Equidad en la distribución del ingreso (De Gregorio y Lee (2002))  Democracia (Glaeser et. al. (2007)), entre otros 2 La literatura muestra que la educación es, quizá, el determinante más importante del desarrollo económico y social:

Fuente: Székely y Karver (2015) Tasa de cobertura, (Promedio AL) Media (Básico) Media Superior Superior En los últimos 30 años, los sistemas educativos de América Latina han incrementado substancialmente la cobertura en educación básica

4 Pero, ¿a qué nos referimos con educación: años de escolaridad o calidad de los servicio reflejados en mejores habilidades cognitivas? Para el crecimiento económico, no es una cuestión de años de escolaridad Fuente: Hanushek et al. (2008) Lo que realmente importa es lo que se aprende durante el tiempo en las aulas

Mensaje 1 La productividad y el crecimiento económico están vinculados a la calidad de los servicios educativos

En todos los países de América Latina el reto más importante es elevar la calidad de la educación Fuente: Bruns y Luque (2014) Resultados PISA 2012 (lectura) e ingreso per cápita en América Latina

En muchos países de la región, el avance en los niveles de habilidades cognitivas ha sido pobre Chile México Brasil Argentina PISA, resultados en lectura

Mensaje 2 Ha habido logros importantes en materia de cobertura educativa, ahora el reto es mejorar la calidad de los servicios

¿Qué determina la evolución de los niveles de logro? (Resultados en base a De Hoyos, Holland y Troiano (2015))

Los Sistemas Educativos transforman insumos en aprendizajes Insumos Educativos Docentes Infraestructura Materiales educativos … Sistema Educativo Capital humano Aprendizajes Niveles de logro cognitivo Habilidades socio- emocionales La capacidad para transformar insumos educativos en aprendizajes mide la eficiencia del sistema

Por lo tanto, los cambios en aprendizajes pueden ser un producto de: 1.Cambios en insumos 2.Cambios en la eficiencia en el uso de insumos

Los países han estado incrementando la inversión en educación, pero eso no garantiza más aprendizajes Source: UIS and EdStats

¿Cuánto del cambio en los niveles de logro de PISA en Argentina pueden ser atribuibles a estos dos factores (eficiencia e insumos)? ObservadoEficienciaInsumos

Mensaje 3 Los cambios en niveles de logro, están determinados por la eficiencia del sistema educativo y en menor medida por insumos

¿Cómo mejoramos la eficiencia del sistema educativo? -Pruebas estandarizadas como insumo para mejorar la gestión escolar

Evaluación Elimina asimetrías de información Función sumativa: i.Corroborar si el sistema está cumpliendo con su mandato ii.Incrementar la rendición de cuentas y transparencia iii.Analizar el impacto de políticas públicas Función formativa: i.Instrumento diagnóstico para identificar áreas de mejora ii.Diseño de estrategias de mejora al interior de la escuela iii.Alineación de objetivos entre los distintos agentes del sistema ¿Cuáles son las funciones que le dan distintos países a la evaluación de aprendizajes de los alumnos?

Distintos países han optado por enfatizar en mayor o menor medida los dos propósitos de las pruebas Función sumativa (rendición de cuentas) Función formativa (diagnóstico) EEUU (NCLB) Holanda México Argentina Chile Evaluación con repercusiones significativas Evaluación sin repercusiones pero resultados públicos y a cada escuela Entrega de resultados detallados a las escuelas Acompañamiento a escuelas para la interpretación y uso de los resultados India Pakistán

¿Qué sabemos sobre los diferentes usos que se le dan a la pruebas (posición en el gráfico anterior) y su impacto en la calidad de los servicios educativos? Efecto de “rendición de cuentas” con pruebas de alto impacto En EEUU, bajo el programa de “no child left behind” varios estados implementaron políticas de rendición de cuentas de repercusiones significativas incrementó los niveles de logro ( Rouse y otros (2013), Rockoff y Turner (2010), Ahn y Vigdor (2014) ) Efecto de “rendición de cuentas” y acompañamiento para el uso de resultados En Holanda, la distribución de resultados tiene un efecto significativo sobre la elección de la escuela, impactando eventualmente los resultados finales de los alumnos ( Konin y van der Wiel, 2012 )

Las pruebas que son utilizadas como instrumentos de rendición de cuentas parecen funcionar en países ricos Función sumativa (rendición de cuentas) Función formativa (diagnóstico) EEUU (NCLB) Holanda México Argentina Chile Evaluación con repercusiones significativas Evaluación sin repercusiones pero resultados públicos y a cada escuela Entrega de resultados detallados a las escuelas Acompañamiento a escuelas para la interpretación y uso de los resultados India Pakistán Políticamente implausibles en América Latina

La devolución de resultados parece tener efectos positivos, pero es necesario involucrar a los padres de familia Función sumativa (rendición de cuentas) Función formativa (diagnóstico) EEUU (NCLB) Holanda México Argentina Chile Evaluación con repercusiones significativas Evaluación sin repercusiones pero resultados públicos y a cada escuela Entrega de resultados detallados a las escuelas Acompañamiento a escuelas para la interpretación y uso de los resultados India Pakistán

Dos programas evaluados recientemente o en América Latina: 1.PAE en México 2.“La Rioja Evalúa para Mejorar”

Resultados de la evaluación del PAE en México (De Hoyos, García y Patrinos (2015))

El PAE se lleva a cabo en el Estado de Colima, en México

El programa está focalizado a las escuelas primarias con más bajos rendimientos

El PAE en México Intervenciones del PAE 1.Anuncio del Gobernador y el Ministro de Educación, identificando a las escuelas más rezagadas, no para “estigmatizar” sino para enfrentar los retos de forma conjunta (responsabilidad compartida). 2.Diagnóstico: uso de los resultados de la prueba ENLACE (datos públicos) para obtener un diagnóstico detallado para cada escuela, grado, y aula 3.Acompañamiento: reuniones con directores y supervisores para ayudarlos a utilizar los resultados de la prueba ENLACE como insumos en la construcción de una ruta de mejora

El PAE en nuestro diagrama de función de las pruebas estandarizadas Función sumativa (rendición de cuentas) Función formativa (diagnóstico) EEUU (NCLB) Holanda México Argentina Evaluación con repercusiones significativas Evaluación sin repercusiones pero resultados públicos y a cada escuela Entrega de resultados detallados a las escuelas Acompañamiento a escuelas para la interpretación y uso de los resultados Colima - PAE

Los resultados del PAE en México

Todos Niñas Niños Efecto del PAE, desviaciones estándar Matemáticas Español Efecto Promedio 0.12 DE

Resultados “La Rioja Evalúa para Mejorar”

El caso de “La Rioja Evalúa para Mejorar”, Argentina 1.El Operativo Nacional de Evaluación (ONE) en Argentina tiene el siguiente diseño: a)La aplicación en primaria es a una muestra de escuelas b)Los resultados (por escuela) de la aplicación en primaria no son distribuidos a padres de familia ni a las escuelas c)Los resultados se difunden dos años después de la evaluación 2.¿Qué pasaría si el sistema tuviera una prueba con las siguientes características? a)Aplicación censal en primaria b)Cada año se evalúan los mismos grados (ej. 3º y 5º) c)Diseño que garantice la comparabilidad en el tiempo a nivel de la escuela d)Reporte de resultados por escuela distribuidos 3 meses después de la evaluación

Ejemplo de reporte a las escuelas: proporción de los alumnos que contestaron correctamente cada pregunta, organizando la información por competencia

En “La Rioja Evalúa para Mejorar” los resultados se distribuyen a todas las escuelas que participan en el programa piloto Función sumativa (rendición de cuentas) Función formativa (diagnóstico) EEUU (NCLB) Holanda México Argentina Evaluación con repercusiones significativas Evaluación sin repercusiones pero resultados públicos y a cada escuela Entrega de resultados detallados a las escuelas Acompañamiento a escuelas para la interpretación y uso de los resultados Colima - PAE La Rioja (T1)

El caso de “La Rioja Evalúa para Mejorar”, Argentina ¿Qué pasaría si además de darle a las escuelas los reportes con resultados, los acompañáramos con talleres para directores y supervisores con el siguiente objetivo? a)Enfatizar la importancia de focalizar los esfuerzos en los resultados b)Asesoramiento en el proceso de interpretación de los resultados de pruebas estandarizadas c)Identificación de áreas prioritarias d)Diseño de un plan de mejora en cada escuela

Las escuelas T2 en “La Rioja Evalúa para Mejorar” además de los resultados, reciben acompañamiento de la autoridad educativa Función sumativa (rendición de cuentas) Función formativa (diagnóstico) EEUU (NCLB) Holanda México Argentina Evaluación con repercusiones significativas Evaluación sin repercusiones pero resultados públicos y a cada escuela Entrega de resultados detallados a las escuelas Acompañamiento a escuelas para la interpretación y uso de los resultados Colima - PAE La Rioja (T1) La Rioja (T2)

Las escuelas de tratamiento avanzaron más de 0.2 DE en el corto plazo 3er Grado 5o Grado C3 C5

Sin embargo no hay diferencias significativas entre ambos tratamientos

Mensaje 4 Si le proveemos a las escuelas los resultados de pruebas estandarizadas, acompañamiento y lo hacemos bajo un esquema de “responsabilidad compartida”, se pueden mejorar los niveles de logro … ¡aun en ausencia de más insumos!

M1: Lo que importa es que todos los chavos aprendan M2: El gran reto es cómo mejorar la calidad M3: La calidad depende de la eficiencia (no tanto de insumos) M4: Sí se puede mejorar, aun en el corto plazo … por si ya no se acuerdan de los mensajes anteriores…

¡Muchas