Plan Nacional para la Evaluación de los Aprendizajes (PLANEA): Modalidades y primeros resultados 12° Seminario de Asesoría y Orientación Educativa Tecnológico de Monterrey Monterrey, NL, 3 de diciembre de 2015 Instituto Nacional para la Evaluación de la Educación Unidad de Evaluación del Sistema Educativo Nacional Dirección General de Evaluación de Resultados Educativos Andrés Sánchez Moguel

Para que la información que ofrece el INEE sea útil, debe tener algunas características: Referir a temáticas de importancia para el sistema educativo. Tener calidad técnica que le dé validez. Presentarse oportunamente y con claridad. Llegar a los tomadores de decisiones y a la opinión pública.

Propósitos de PLANEA Conocer la medida en que los estudiantes logran el dominio de aprendizajes esenciales al término de los niveles de la educación obligatoria. Informar a la sociedad sobre el estado que guarda la educación, en términos del logro de aprendizaje de sus estudiantes. Aportar a las autoridades educativas información relevante para el monitoreo, la planeación, programación y operación del sistema educativo y sus centros escolares. Ofrecer información pertinente, oportuna y contextualizada a las escuelas y a los docentes, que ayude a mejorar sus prácticas de enseñanza y el aprendizaje de sus estudiantes. Contribuir al desarrollo de directrices para la mejora educativa con información relevante sobre los resultados educativos y los contextos en que se dan.

¿Qué se evalúa? Aprendizajes curriculares esenciales en Matemáticas y Lenguaje y Comunicación, (posteriormente se incorporarán Ciencias y Formación cívica y Ética): Fundamentales para la adquisición de nuevos aprendizajes. Relevantes para el dominio de la asignatura. Prevalecen en el tiempo a pesar de los cambios curriculares. Habilidades socio-afectivas necesarias para el éxito escolar y para la vida diaria de los alumnos (habilidades para la convivencia): Competencia social escolar; Conducta prosocial; Relación positiva con pares; Manejo de conflictos; Prácticas que obstaculizan la convivencia; Acoso escolar. Factores de contexto: circunstancias familiares, escolares y sociales.

Esquema de aplicaciones Año Grado 2015 2016 2017 2018 2019 3° de Preescolar   SEN Revisión del esquema 4° de Primaria 6° de Primaria 3° de Secundaria Último grado de Media Superior SEN = Evaluación del logro referida al Sistema Educativo Nacional

Esquema de aplicaciones Año Grado 2015 2016 2017 2018 2019 3° de Preescolar   SEN Revisión del esquema 4° de Primaria 6° de Primaria Ce 3° de Secundaria Ce  Último grado de Media Superior SEN = Evaluación del logro referida al Sistema Educativo Nacional Ce = Evaluación del logro referida a los Centros escolares

Esquema de aplicaciones Año Grado 2015 2016 2017 2018 2019 3° de Preescolar   SEN Revisión del esquema 4° de Primaria Dc 6° de Primaria Ce 3° de Secundaria Ce  Último grado de Media Superior SEN = Evaluación del logro referida al Sistema Educativo Nacional Ce = Evaluación del logro referida a los Centros escolares Dc = Evaluación Diagnóstica censal

Arreglo matricial

Diseño, desarrollo, aplicación, análisis y uso de los resultados Diseño, desarrollo, aplicación, análisis y uso de los resultados. Evaluación referida al SEN 3. Establece formas matriciales 2. Diseña las pruebas 1. Diseña y difunde el currículo nacional o el Marco Curricular Común 4. Aplica 7. Utiliza la información para el diseño de directrices 7. Utiliza la información para el diseño de políticas y la toma de decisiones macro 6. Emite reportes e informes a nivel nacional, estatal y para algunos estratos escolares 5. Analiza los resultados

Diseño, desarrollo, aplicación, análisis y uso de los resultados Diseño, desarrollo, aplicación, análisis y uso de los resultados. Evaluación referida a Centros escolares 1. Diseña y difunde el currículo nacional o el Marco Curricular Común 2. Diseña las pruebas 3. Entrega formatos a la SEP 4. Aplica (evaluadores externos) 5. Muestra de control y supervisión de la aplicación 8. Utiliza la información para la toma de decisiones 7. Emite reportes a nivel escolar 6. Analizan los resultados

Diseño, desarrollo, aplicación, análisis y uso de los resultados Diseño, desarrollo, aplicación, análisis y uso de los resultados. Evaluación Diagnóstica 3. Desarrolla el modelo para la interpretación de resultados 1. Entrega tablas de contenido, especificaciones y bancos de reactivos 2. Integra versiones de pruebas diagnósticas 5. Orienta técnicamente el proceso 4. Desarrolla manuales y software para la puntuación y el análisis de resultados en el aula y en la escuela 7. Aplica las pruebas. Analiza los resultados. Toma decisiones. 6. Distribuye las pruebas y los materiales de apoyo a los docentes

Resultados nacionales de logro Los resultados nacionales no incluyen a Oaxaca, e incluyen datos parciales de Chiapas, Michoacán y Guerrero Resultados nacionales de logro Los resultados nacionales no incluyen a Oaxaca, entidad en que la aplicación no se llevó a cabo. Tampoco se tienen datos completos (ni suficientes para dar información estatal) de Chiapas, Michoacán y Guerrero, debido a que en estas entidades la cantidad de aplicaciones logradas no fue suficientemente cercana a la muestra pretendida.

Descriptores genéricos del logro Son los referentes para los cuerpos colegiados que desarrollan niveles de logro de diferentes campos formativos y niveles educativos. NIVEL IV Los estudiantes que se ubican en este nivel tienen un logro sobresaliente de los aprendizajes clave del currículum. NIVEL III Los estudiantes que se ubican en este nivel tienen un logro satisfactorio de los aprendizajes clave del currículum. NIVEL II Los estudiantes que se ubican en este nivel tienen un logro apenas indispensable de los aprendizajes clave del currículum. NIVEL I Los estudiantes que se ubican en este nivel obtienen puntuaciones que representan un logro insuficiente de los aprendizajes clave del currículum, lo que refleja carencias fundamentales que dificultarán el aprendizaje si no se resuelven. Estos descriptores genéricos del logro sirven como referentes para los grupos de especialistas que deben redactar descriptores específicos para cada asignatura y grado, considerando tanto el currículo, como las áreas evaluadas y algunos elementos psicométricos de los resultados de las pruebas. Los niveles de logro son acumulativos: aquellos estudiantes que han adquirido los aprendizajes de un determinado nivel de logro poseen, de igual modo, los del nivel previo (por ejemplo, quienes se ubican en el nivel 2 poseen los aprendizajes del nivel 1, quienes se ubican en el nivel 3 poseen los del 2 y los del 1, y así sucesivamente).

Matemáticas, 6º de primaria Nivel IV Comparan números decimales. Resuelven problemas aditivos con números naturales, decimales y fraccionarios que implican dos o más transformaciones. Resuelven problemas que implican dividir o multiplicar números fraccionarios por naturales. Ubican una fracción en la recta numérica. Usan las fracciones para expresar el resultado de un reparto. Identifican el término siguiente en sucesiones especiales. Resuelven problemas de aplicación de áreas; así como de conversión de unidades de medida con una operación adicional. Describen rutas usando sistemas de referencia convencionales en planos o mapas. Resuelven problemas que impliquen calcular promedios o medianas, y comparar razones. Nivel III Leen y escriben números decimales. Resuelven problemas aditivos con naturales o decimales; de multiplicación o división de naturales o de decimales con naturales. Representan una fracción en un modelo discreto; comparan fracciones y las multiplican por un natural. Usan las fracciones para expresar una división e identifican el dividendo o divisor. Identifican sucesiones geométricas crecientes, a partir de la regla. Resuelven problemas utilizando las características y propiedades de ángulos, rectas, figuras y cuerpos geométricos. Identifican situaciones de aplicación de perímetro y calculan la distancia real de un punto a otro en mapas; ubican coordenadas y objetos en el plano cartesiano. Resuelven problemas directos de conversión de unidades de medida (SI e Inglés). Reconocen distintas formas de representar un porcentaje. Resuelven problemas de identificación de la moda en conjuntos de datos… Nivel II Leen números naturales. Resuelven problemas de suma con naturales, multiplican y dividen decimales por naturales. Representan una fracción en un modelo continuo. Reconocen la regla verbal y la pertenencia de un término a una sucesión aritmética creciente. Identifican elementos geométricos como alturas, paralelas, ángulos rectos en figuras sencillas. Resuelven problemas utilizando las características y propiedades de cuadriláteros y pirámides. Identifican unidades de medida de áreas y resuelven problemas de aplicación de perímetros. Ubican lugares usando sistemas de referencia convencionales en planos o mapas. Resuelven problemas de conversión de unidades en el Sistema Internacional de Medidas. Solucionan problemas que implican analizar o representar información en tablas o gráficas de barras…. Nivel I Escriben y comparan números naturales. Resuelven problemas aplicando las características y propiedades básicas de triángulos, prismas y pirámides. Resuelven problemas que implican leer información en gráficas de barras. Para matemáticas también se evalúan aprendizajes clave del currículo vigente. Para este caso, puede observarse que en el nivel 1 se pueden llevar a cabo ciertas operaciones con números, se tiene cierto sentido numérico, pero aún no se pueden hacer operaciones básicas (suma, resta, multiplicación y división) ni siquiera con números naturales. Esto se alcanza en el nivel 2, junto con otras habilidades de otras áreas de las matemáticas, tales como resolver problemas en que hay que calcular perímetros y ubicar lugares en mapas o planos. En el nivel 3 ya se pueden resolver problemas que implican operaciones básicas con números decimales, y también aumenta el repertorio de habilidades relacionadas a forma, espacio y medida, logrando por ejemplo calcular distancias reales entre puntos localizados en mapas a escala y convertir unidades de medida del sistema internacional al sistema inglés y viceversa. Es sólo en el nivel IV que logran resolver problemas aditivos con números fraccionarios, resolver problemas que impliquen calcular el área de una superficie o problemas que impliquen calcular promedios y medianas.

Porcentaje de alumnos por nivel de logro, 6º de Primaria Matemáticas Nivel IV Resuelven problemas aditivos con números naturales, decimales y fraccionarios. Resuelven problemas de aplicación de áreas. Resuelven problemas que implican calcular promedios y medianas, y comparar razones. Nivel III Resuelven problemas aritméticos con números naturales o decimales. Resuelven problemas de aplicación de perímetros. Nivel II Resuelven problemas aritméticos (que involucran suma, resta, multiplicación y división) con números naturales. Nivel I Escriben y comparan números naturales. Sin embargo, no resuelven problemas aritméticos con números naturales. Puede observarse que el 60 % de los alumnos, al terminar sexto grado de primaria, no saben aún resolver problemas que implican hacer operaciones básicas con números naturales. Por otro lado, el porcentaje de alumnos en el más alto nivel es grande, comparado con el de Lenguaje y comunicación.

Resultados por entidad En el caso de secundaria no se incluyen resultados de Oaxaca, Michoacán y Chiapas porque no se cuenta con suficientes datos. En primaria no se cuenta con suficientes datos para estas entidades ni tampoco para Guerrero. Resultados por entidad

Puntaje promedio de alumnos de 3º de secundaria en la prueba Planea de Lenguaje y Comunicación, por entidad federativa Nacional Se representan los intervalos de confianza al 95% Nota: En el valor Nacional no se incluyen los datos de Oaxaca, Michoacán y Chiapas.

Distribución porcentual de los alumnos de 3º de secundaria en niveles de logro por Entidad Federativa de la prueba Planea de Lenguaje y comunicación Nacional Nota: No se incluyen los datos de Oaxaca, Michoacán y Chiapas. *Estimación cuyo coeficiente de variación es superior al 20% pero inferior al 33.3%, por lo que puede estar sesgada.

¿Por qué los resultados no son un reflejo directo de la calidad de las escuelas o los profesores? los puntos de partida de los estudiantes no son los mismos, por ejemplo: lo socioeconómico en las familias las oportunidades de aprendizaje fuera de la escuela los niveles de violencia en las inmediaciones los elementos políticos que afectan el trabajo de los planteles las inclemencias del tiempo las dificultades geográficas las escuelas no están igualmente dotadas (infraestructura y equipamiento) los resultados en algunos campos de formación, aunque sean fundamentales, no pueden dar cuenta de todo lo que se hace en la escuela. Los resultados son una responsabilidad compartida porque las autoridades educativas, el personal directivo, las familias y el propio alumnado, desde sus respectivos ámbitos de actuación, contribuyen de diferente manera en el desarrollo de los aprendizajes. 

Significancia estadística ‘A menudo, quienes no saben estadística se sienten obligados a explicar lo que simplemente son fluctuaciones naturales en los datos’. Neil deGrasse Tyson

Equidad en el sistema Educativo

Distribución porcentual de los alumnos de 6º de primaria por niveles de logro Lenguaje y Comunicación según tipo de escuela La diferencia en el nivel 1 entre escuelas privadas e indígenas es de 66.7 % Existe equidad cuando los diferentes tipos de escuela tienen distribuciones similares. En el caso de Lenguaje y comunicación, podemos observar que la cantidad de alumnos de escuelas indígenas en el nivel 1 es 6 veces mayor que en escuelas privadas. *Estimación cuyo coeficiente de variación es superior al 20% pero inferior al 33.3%, por lo que puede estar sesgada. **Estimación cuyo coeficiente de variación excede al 33.3% por lo que se omite debido al sesgo.

Distribución porcentual de los alumnos de 3º de secundaria por niveles de logro Lenguaje y Comunicación según tipo de escuela La diferencia en el nivel 1 entre escuelas privadas y comunitarias es de 33.5 % *Estimación cuyo coeficiente de variación es superior al 20% pero inferior al 33.3%, por lo que puede estar sesgada. **Estimación cuyo coeficiente de variación excede al 33.3% por lo que se omite debido al sesgo.

Distribución porcentual de los alumnos de 6º de primaria por niveles de logro Lenguaje y Comunicación según nivel de marginación y tamaño de la localidad Marginación Tamaño de La localidad Los resultados serían equitativos si las diferencias en el nivel de marginación o el tamaño de la localidad en que se encuentra la escuela no cambiaran la distribución del logro. Como se puede ver, no es el caso. Cuando hay más marginación, y cuando el tamaño de la localidad es menor, los resultados son menos favorables. El nivel de marginación utilizado es el que desarrolla y emplea CONAPO, y se refiere al área en que se encuentra la escuela. El tamaño de la localidad se obtiene a partir de información de GeoSEP e INEGI. *Estimación cuyo coeficiente de variación es superior al 20% pero inferior al 33.3%, por lo que puede estar sesgada.

Resultados en Lengua y comunicación de 6º de primaria según Recursos familiares asociados al bienestar Nivel Descripción 1 La familia cuenta con bienes y servicios básicos asociados con la alimentación y el aseo, como refrigerador y gas. 2 Además de lo presentado en el nivel I, la familia cuenta con bienes y servicios asociados con comodidades básicas, como lavadora, reproductor de video y habitaciones para que las personas duerman sin hacinamiento. 3 Además de lo presentado en los niveles I y II, la familia cuenta con bienes y servicios asociados con comodidades en el transporte, servicios de comunicación y de información, como automóvil, computadora, teléfono e internet. 4 Además de lo presentado en los tres niveles anteriores, la familia cuenta con una vivienda de mayor tamaño, o con un número mayor de habitaciones, que las familias de los niveles previos. Los recursos familiares asociados al bienestar son una variable construida a partir de respuestas de los alumnos sobre su entorno familiar.

Comentarios finales Planea ha requerido una colaboración estrecha entre el INEE y la SEP, que permite tener mediciones equivalentes para el sistema educativo nacional y para los centros escolares. Por eso, los resultados también son útiles a escuelas y profesores ya que les ofrecen la posibilidad de formarse una idea general del logro educativo de sus alumnos, respecto de los aprendizajes curriculares y las habilidades específicas que fueron objeto de evaluación. Estos resultados deberán ser parte de un corpus más amplio de estudios y evaluaciones si se busca incidir en la toma de decisiones y el rediseño de las políticas educativas. Los resultados no son alentadores, pero no son inmutables si se toman las acciones adecuadas, con la urgencia y la profundidad que el caso amerita.