UNESCO Institute for Statistics Centralización, complejidad, conectividad, colaboración y cambio para la mejora Silvia Montoya, Director Congreso Latinoamericano sobre evaluación de competencias y capacidades ciudadanas y habilidades para el buen vivir Bogotá, Colombia Diciembre 4, 2015

UNESCO Institute for Statistics Índice  El contexto político: ODS y la agenda post-2015  ¿Qué sabemos sobre evaluaciones nacionales de aprendizaje?  ¿Qué sabemos sobre la economía política de las evaluaciones?  El monitoreo de los resultados de aprendizaje en los ODS  Próximos pasos 2

UNESCO Institute for Statistics El UIS y el monitoreo de los acuerdos internacionales  Rol clave en el monitoreo de Educación Para Todos y de los Objetivos de Desarrollo del Milenio  El desafío para la agenda de desarrollo 2030: los Objetivos de Desarrollo Sustentable (ODS): Equidad, pobreza Incluyen más objetivos, metas e indicadores Nuevas áreas  Coordinación de la meta global 4 para el sistema de Naciones Unidas y del grupo de trabajo para el Secretariado de EPT 3

UNESCO Institute for Statistics Los Objetivos de Desarrollo Sustentable  Reconocen de manera explícita la pobreza, la inequidad, la seguridad alimentaria, la sustentabilidad del medio ambiente y la universalidad de los derechos humanos  Requieren información sustentable  Información a nivel local para contribuir con planeamiento e inversión estratégicos, monitoreo y rendición de cuentas  Cambio de paradigma: estadísticas nacionales sobre desarrollo deben estar basadas en datos subnacionales desagregados 4

UNESCO Institute for Statistics Contexto – niveles de aprendizaje  Preocupación creciente acerca de bajos niveles de aprendizajes (a pesar de incrementar el acceso)  Heterogeneidad en el uso de evaluaciones como herramientas de planeamiento y monitoreo  Escepticismo acerca del rigor técnico de ciertos enfoques o requerimientos evaluativos de manera que que Hay países con sus propias mediciones de aprendizaje Otras mediciones diferentes al conocimiento podrían ser importantes 5

UNESCO Institute for Statistics Índice  El contexto político: ODS y la agenda post-2015  ¿Qué sabemos sobre evaluaciones nacionales de aprendizaje?  ¿Qué sabemos sobre la economía política de las evaluaciones?  El monitoreo de los resultados de aprendizaje en los ODS  Próximos pasos 6

UNESCO Institute for Statistics Algunos países no cuentan con evaluaciones 7

UNESCO Institute for Statistics Y algunas asignaturas son más evaluadas que otras 8

UNESCO Institute for Statistics Muestran una actividad intense de evaluación 9 Source: UIS

UNESCO Institute for Statistics Índice  El contexto político: ODS y la agenda post-2015  ¿Qué sabemos sobre evaluaciones nacionales de aprendizaje?  ¿Qué sabemos sobre la economía política de las evaluaciones?  El monitoreo de los resultados de aprendizaje en los ODS  Próximos pasos 10

UNESCO Institute for Statistics Pero no conocemos las características  Información detallada sobre la evaluación: Propósito Alcance Actores principales interesados Diseño de la evaluación Cobertura Reporte y uso de los resultados  Con la excepción de algunas fuentes con: Información detallada sobre la cultura de evaluación en países Ciertos reportes en catálogo dle IEU, Saber, OCDE y otros esfuerzos

UNESCO Institute for Statistics El Catálogo de pruebas en gran escala 12 Herramientas desarrolladas 1.Catálogo de Pruebas de Aprendizaje 2.Base de Datos

UNESCO Institute for Statistics Características de las pruebas  Financiamiento  Propósito  Materias  Idiomas  Uso de datos 13

UNESCO Institute for Statistics Herramientas para explorer y bajar la información  8 tablas temáticas  Filtros  Posibilidad de bajarlo en distintos formatos (copia, Excel y PDF) 14

UNESCO Institute for Statistics Índice  El contexto político: ODS y la agenda post-2015  ¿Qué sabemos sobre evaluaciones nacionales de aprendizaje?  ¿Qué sabemos sobre la economía política de las evaluaciones?  El monitoreo de los resultados de aprendizaje en los ODS  Próximos pasos 15

UNESCO Institute for Statistics Desafío I: El bosque denso de la sociedad  Pobreza estructural  Distribución inequitativa del ingreso  Retrasos educativos Escolarización Calidad de los aprendizajes  Los jóvenes que no estudian ni trabajan  Los problemas “del colectivo” o capital social

UNESCO Institute for Statistics Desafío II: Cuáles son y cómo medir los aspectos relevantes  El reporte Delors (UNESCO, 1996) sugiere un Sistema de aprendizaje basado en cuatro pilares: Aprender a conocer Aprender a hacer Aprender a ser Aprender a vivir juntos 17

UNESCO Institute for Statistics Propuestas de indicadores para objetivos mundiales en educación  Porcentaje de niños que logran mínimos estándares de competencia en lectura y matemática al final de: i) primaria y ii) secundaria básica  Porcentaje de jóvenes/adultos competentes en habilidades de lectura y matemática  Índices de paridad (mujer/varón, urbano/rural, primer/último quinto de ingreso) para todos los indicadorees que pueden ser desgregados Criterios clave Relevancia: refleja los temas de política más críticos en cuanto a metas Alineamiento: el constructo a medir debe ser válido y fiable y tener el mismo significado en todos los contextos Comparabilidad: la información es recolectada de manera regular Comunicabilidad: el indicador es entendido de manera sencilla y permite una narración clara respecto del progreso hacia las metas

UNESCO Institute for Statistics El desafío de la medición en un contexto internacional: la comparabilidad

UNESCO Institute for Statistics Que se homogeneizan utilizando puntos de corte que armonicen 20

UNESCO Institute for Statistics Niveles propuestos de monitoreo (UNSG*) *UN Secretary General’s Synthesis Report, Dicembre 2014 Nacional Relación con el plan nacional; consulta a actores clave del ámbito nacional; reconocimiento del contexto y búsqueda de inclusión y nuevos objetivos de aprendizaje Global Focos en indicadores de comparación global basados en criterios claros (10-15 indicadores) Temático Conjunto más amplio de indicadores que cubren diferentes prioridades sectoriales (42 indicadores) Regional Indicadores para monitorear marcos validades por las regiones (AU Education decades, EU2020)

UNESCO Institute for Statistics Monitoreo: “las” opciones  Definir puntos de referencia e indicadores basados en estándares nacionales (derivados de evaluaciones nacionales)  Desarrollar mecanismos globales para medir y enmarcar los indicadores en un punto del tiempo (por ejemplo, “fotos” en diferentes grados o edades basados en los instrumentos actuales)  Indicadores derivados de una escala validada de manera empírica 22

UNESCO Institute for Statistics Desafío II: medir, acompañar y seguir a lo largo del ciclo de vida 23

UNESCO Institute for Statistics  Objetivo 4.1: “asegurar que todos los niños y las niñas completan una educación gratuita, equitativa y de calidad en los niveles primario y secundario que permita adquirir aprendizajes pertinentes y eficaces”.  Indicador 4.1. “% de niños/jóvenes que (i) al final de la escuela primaria y (ii) al final del ciclo medio inferior alcanzan niveles de aprendizajes mínimos en (a) lengua y (b) matemática” Los indicadores de aprendizaje a nivel internacional – ODS 4

UNESCO Institute for Statistics Las dificultades de la medición en las pruebas de aprendizaje 25

UNESCO Institute for Statistics Ciclo típico: TERCE- OREALC/ UNESCO 26

UNESCO Institute for Statistics Como “encontrar” una medida comparable?  Definir indicadores a partir de las pruebas nacionales  Desarrollar algún indicador “conectando” pruebas o adaptando mediciones existentes  Construir una nueva curva de aprendizajes y la métrica relacionada 27

UNESCO Institute for Statistics Objetivos finales Qué camino seguir ? 1. Reporte sobre progresos en resultados de aprendizaje hacie los objetivos educativos Los países usan las evaluaciones para mejorar el aprendizaje Para lograrlo, es necesario elegir un camino que sea… Técnicamente robusto Proporcione resultados en el tiempo necesario Enfoque sustentable Responda a las demandas nacionales Simple de comunicar Responda a las demandas de la comunidad internacional Sensible a la economía politica

UNESCO Institute for Statistics Índice  Educando para un desarrollo sustentable: dónde estamos?  Lecciones y asignaturas pendientes de Educación para todos (EPT)  El monitoreo de los resultados de aprendizaje en los Objetivos del Desarrollo Sustentable (ODS)  Cómo medimos y cómo comparamos  Definir, medir, construir 29

UNESCO Institute for Statistics Desafío III: acceso y uso de la información para la mejora  Problemas diversos: Falta de información desagregada: equidad aparece como tema central Falta de uso de información para diseñar, implementar y evaluar políticas Poco entendimiento de la información y su utilización Falta de infraestructura y habilidad de equipos técnicos dificulta que haya unidades de estadística sustentables 30

UNESCO Institute for Statistics Construir entre todos a partir del acceso  La devolución de información a las escuelas y al resto de los actores es clave cuando el objetivo es mejorar la calidad y la equidad de los aprendizajes.  A lo largo del tiempo las escuelas han producido una cantidad importante de información.  Sin embargo, han tenido poca oportunidad de utilizarla.  Asegurar acceso a los equipos de planeamiento.  Fortalecer las capacidades institucionales de los establecimientos

UNESCO Institute for Statistics  El conocimiento es específica al contexto: depende de un tiempo y espacio particular  Sin contexto, es solo información, no conocimiento.  La información se convierte en conocimiento cuando:  es interpretado por individuos  en un contexto y  anclado en las creencias y compromisos de los individuos La información como conocimiento para la mejora

UNESCO Institute for Statistics  Buscar la sinergia entre la gente correcta, los datos correctos guiados por el análisis correcto.  Distintos Niveles de Agregación Establecimiento Alumnos  Involucrar a todos los actores sociales: Supervisores/directores/docentes Padres Sociedad Desafíos para que la información pueda ser utilizada para la mejora

UNESCO Institute for Statistics Y es necesario pasar hacia una política y práctica educativa basada en la información  Alimentar decisiones sobre política y gestión educativa  Modificar comportamientos donde hay desafíos La mayoría del tiempo tenemos problemas invisibles cuyos efectos se manifiestan años después La mejora de resultados de aprendizaje depende de factores y actores múltiples que no participan de la discusión  Maneras diferentes de trabajar para modificar comportamiento: Deberías hacer X (versión A): regulaciones y castigos Deberías hacer X (versión B): incentivos Cambios sistémico y cultural donde X es lo “que hacemos?”

UNESCO Institute for Statistics “Estar todos involucrados en realizar la misma película!” Agendas Específicas Métricas distintas Actividades independientes Comunicación Espasmódica Esfuerzos aislados Agenda Común Métrica Común Actividades Conectadas Comunicación continua Organización Ancla y guía

UNESCO Institute for Statistics ¡Gracias! Silvia Montoya Directora, Instituto de Estadísticas de 36