Resultados comparados SERCE-TERCE Moritz Bilagher OREALC / UNESCO Santiago

Presentación del tema: "Resultados comparados SERCE-TERCE Moritz Bilagher OREALC / UNESCO Santiago"— Transcripción de la presentación:

1

2 Resultados comparados SERCE-TERCE Moritz Bilagher OREALC / UNESCO Santiago
Este PPT presenta los hallazgos principales del análisis comparativo SERCE-TERCE con respecto a resultados de aprendizaje.

3 Esta presentación Resultados comparados SERCE-TERCE: Enfoque en avances a nivel sistémico entre 2006 y 2013 Tres áreas (matemática, lectura, ciencias naturales) en 2 grados de primaria: 3er y 6º (ciencias solamente en 6º grado) Tres análisis: comparación rendimiento general SERCE-TERCE; distribución estudiantes por niveles de desempeño; diferencia de género en logro de aprendizaje Esta primera entrega de resultados del TERCE tiene 3 características principales: en primer lugar, está enfocada en los avances a nivel de los sistemas educativos participantes entre 2006 (año de implementación del SERCE) y el 2013 (año de implementación del TERCE); en segundo lugar, considera tres áreas educativas (matemática, lectura y ciencias naturales), aunque en TERCE se evaluó también habilidades de escritura, dado que en esta área no hay comparabilidad entre SERCE y TERCE; y, en tercer lugar, presenta 3 análisis: la comparación general del desempeño sistémico entre SERCE y TERCE, la distribución de estudiantes por niveles de desempeño (explicados en la presentación anterior) y las diferencias entre promedios de puntaje por género. El PPT sigue esta estructura, presentando los 3 análisis mencionados, por área (empezando con lectura, siguiendo con matemática y terminando con ciencias naturales).

4 Escala de puntuación Los puntajes (promedios nacionales) de esta primera entrega se presenta en una escala que tiene un promedio de 500 y una desviación estándar (DE) de 100 es decir la misma que la escala usada en el SERCE Por ende, un puntaje de menor a 500 puntos indica un puntaje bajo el promedio regional; un puntaje de mayor de 500 puntos indica un puntaje encima al promedio Un puntaje de 600 se encuentra a 1ª DE encima al promedio; un puntaje de 400, a 1ª DE debajo el promedio Los valores de la segunda entrega del TERCE se calcularán utilizando una escala con promedio de 700 y una desviación estándar de 100 Breve explicación de la escala de puntación con la cual se presenta los resultados de esta primera entrega.

5 Muestra En el TERCE participaron, a nivel regional:
Más que escuelas Más que estudiantes (son cerca de por grado) En promedio, por país, participaron unos 250 escuelas y unos estudiantes, aproximadamente La muestra por país varia, tomando en cuenta características de la población, pero es siempre representativa de la población de estudiantes en el país en 3er y 6º grado Por ende, los resultados obtenidos reflejan, con un alto grado de certeza, el desempeño promedio de las poblaciones de los países Breve explicación de la muestra del Estudio.

6 Descripción de análisis
Para realizar la comparación SERCE-TERCE se hizo un ajuste estadístico, equiparando la dificultad de ambas pruebas, utilizando técnicas basadas en ‘bloques ancla’ entre SERCE y TERCE Para esto, se estimó la dificultad de los ítems en TERCE aplicando los criterios de exclusión muestral de SERCE y el mismo software utilizado para la calibración del SERCE (Winsteps), antes de realizar un linking de parámetros, tomando como referencia las dificultades de los ítems ancla reportados en SERCE Obtenidos los resultados equiparados en TERCE con la escala SERCE, se ajustó el error estándar de cada país y de la región en el TERCE, usando el método reportado en SERCE; se rescató los errores estándar reportados en SERCE; y se estimó el error de link que es propio a este proceso de equiparación Con estos insumos, se determinó en qué países se había producido un cambio estadísticamente significativo, y en qué dirección Para la comparación de la distribución de los estudiantes por los niveles de desempeño se tomaron los puntos de corte establecidos en SERCE y se proyectaron a los rendimientos observados en TERCE Breve explicación de la operación para equiparar los resultados del SERCE con el TERCE, para permitir el análisis comparativo entre los 2 Estudios.

7 Lectura 3er grado p q Los resultados comparados SERCE-TERCE en la prueba de Lectura de tercer grado indican que se experimentó un aumento estadísticamente significativo a nivel regional en esta prueba, entre 2006 y En concordancia con lo anterior, 9 de los 14 países que participaron en ambos estudios muestran un rendimiento significativamente más alto en TERCE que en SERCE (Brasil, Ecuador, Guatemala, Nicaragua, Panamá, Paraguay, Perú y República Dominicana). Por su parte, Argentina, Chile, Colombia y Uruguay no muestran diferencias en su rendimiento en SERCE y TERCE en esta prueba, mientras que Costa Rica, México y el estado mexicano de Nuevo León muestran un rendimiento estadísticamente más bajo en el tercer estudio que en el segundo estudio.

8 Distribución regional Niveles de desempeño 3° grado LECTURA
SERCE TERCE Nivel IV 7,34% 4,76% Nivel III 18,94% 26,39% Con respecto a los avances experimentados en la distribución por niveles de desempeño en la prueba de Lectura de tercer grado, a nivel regional se observa un mayor porcentaje de estudiantes en los dos niveles más altos de desempeño en TERCE que en SERCE (en forma aproximada, 31% y 26%, respectivamente), lo que es coherente con el aumento significativo en los puntajes promedio observados en el tercer estudio. En concordancia con lo anterior, se observa una disminución en el porcentaje de estudiantes que se ubican bajo el Nivel I, el cual se redujo de 9,5% en el SERCE a 3,4% en el TERCE, lo que refleja que son cada vez menos los niños y niñas de la región que no alcanzan la habilidades mínimas descritas en esta prueba. A partir de los resultados, también es posible señalar que la mayor concentración de estudiantes se ubica en los niveles I y II de desempeño. Tanto en SERCE como en TERCE, el porcentaje de estudiantes en ambos niveles fue de aproximadamente 65%. Finalmente, un aspecto preocupante es que la distribución de estudiantes en el nivel más alto, el nivel IV, se mantiene baja e incluso decae levemente entre el SERCE y el TERCE. Nivel II 35,51% 42,37% Nivel I 29,06% 23,05% Bajo I 9,15% 3,43% Nota: total regional incluye 14 países.

9 Diferencia entre las puntuaciones medias regionales de
Niñas y Niños, SERCE - TERCE TERCE SERCE 7,93* 0.43 8,81* -9.71* 2.62* 12,73 -1,25 10,44* -6,17* -11,52* Lectura 3ro Matemática 3ro Lectura 6to Al revisar las diferencias en puntuaciones medias entre niñas y niños entre los dos estudios (SERCE-TERCE) los resultados indican que: Lectura 3ro, las diferencias se mantienen a favor de las niñas (significativamente) para el TERCE NOTAR: Se está hablando de diferencias medias, por lo tanto hay países que presentan mayores y menores diferencias por prueba, entonces es una mirada “muy general” de lo que sucede en la región, se recomienda entrar al detalle e indicar en qué países se presentan mayores diferencias significativas. Matemática 6to Ciencias 6to

10 Lectura 6º grado p q Al igual que sucede en tercer grado, los resultados regionales en la prueba de Lectura en sexto grado presentan un variación positiva y estadísticamente significativa, es decir, hubo una mejora en el promedio regional de esta prueba entre 2006 y Al analizar la situación de cada país, se observa que la mitad de las naciones que participaron en ambos estudios (7 de 14) presentan un rendimiento significativamente más alto en TERCE que en SERCE (Chile, Ecuador, Guatemala, Panamá, Paraguay, Perú y República Dominicana). También se observa que los puntajes promedio a nivel nacional de Argentina, Brasil, Colombia, México, Nicaragua, Uruguay y el estado mexicano de Nuevo León se mantienen estables, es decir, no muestran diferencias significativas en TERCE con respecto a SERCE. Por otra parte, un solo país obtiene una puntuación media en Lectura en sexto grado en TERCE por debajo de la que obtuvo en SERCE (Costa Rica).

11 Distribución regional Niveles de desempeño 6° grado LECTURA
SERCE TERCE Nivel IV 15,77% 16,28% Nivel III 24,03% 29,82% En relación a la distribución de niveles de desempeño en la prueba de Lectura de sexto grado, a nivel regional se observa un mayor porcentaje de estudiantes en los dos niveles más altos de desempeño en TERCE que en SERCE. Por ejemplo, el porcentaje de estudiantes que se ubicaron en nivel III pasó de 24% en el SERCE a 30%, aproximadamente, en el TERCE. Sin embargo, el porcentaje de estudiantes que se ubican en los dos niveles más bajos de desempeño (bajo I y nivel I), a pesar de haber disminuido de 24% a 18%, sugiere que es necesario continuar generando esfuerzos para mejorar los aprendizajes. Nivel II 36,74% 35,98% Nivel I 21,71% 17,22% Bajo I 1,75% 0,70% Nota: total regional incluye 14 países.

12 Diferencia entre las puntuaciones medias regionales de
Niñas y Niños, SERCE - TERCE TERCE SERCE 7,93* 0.43 8,81* -9.71* 2.62* 12,73 -1,25 10,44* -6,17* -11,52* Lectura 3ro Matemática 3ro Lectura 6to Al revisar las diferencias en puntuaciones medias entre niñas y niños entre los dos estudios (SERCE-TERCE) los resultados indican que: Lectura 6to, al igual que en Lectura 3ro las diferencias se mantienen a favor de las niñas, esto se puede atribuir al buen comportamiento que tienen las pruebas, la correlación entre PL3 y PL6 es de alrededor 0,96, entonces el resultado de una prueba explica el otro. NOTAR: Se está hablando de diferencias medias, por lo tanto hay países que presentan mayores y menores diferencias por prueba, entonces es una mirada “muy general” de lo que sucede en la región, se recomienda entrar al detalle e indicar en qué países se presentan mayores diferencias significativas. Matemática 6to Ciencias 6to

13 Matemática 3er grado p Los resultados en la prueba de Matemática en tercer grado lucen relativamente positivos para la región. Tal como se muestra en el gráfico a continuación, la región experimentó un avance estadísticamente significativo en esta área y grado, avanzando 31 puntos respecto del promedio regional que alcanzaban estos 14 países en el SERCE, pasando de un promedio de 490,7 puntos a 521,7 puntos. Otro aspecto a destacar de los resultados obtenidos en esta prueba consiste en que ningún país participante muestra un desempeño más bajo en el tercer estudio que en el segundo, excepto el estado mexicano de Nuevo León. Sin embargo, esta variación no es significativa. Además, 12 de los 14 países participantes en ambos estudios aumentaron significativamente sus puntajes (Argentina, Brasil, Chile, Colombia, Costa Rica, Ecuador, Guatemala, México, Nicaragua, Panamá, Perú y República Dominicana). Finalmente, se puede señalar que Paraguay, Uruguay y el estado mexicano de Nuevo León no muestran diferencias en su rendimiento entre SERCE y TERCE en esta prueba, es decir, sus puntajes se mantienen estables.

14 Distribución regional Niveles de desempeño 3° grado MATEMÁTICA
SERCE TERCE Nivel IV 8,32 % 12,13% Nivel III 12,24 % 19,14% En la prueba de Matemática de tercer grado se observa que la distribución a nivel regional en los dos niveles más altos de desempeño experimentó una mejora entre el segundo y tercer estudio. El porcentaje de estudiantes en el nivel de desempeño III pasó de 12% en SERCE a 19% en TERCE; y en el nivel IV se pasó de 8% a 12%. Además, se observa una disminución importante en el porcentaje de estudiantes que se ubican bajo el nivel I: en SERCE el porcentaje de estudiantes en ese grupo fue de 13% y en TERCE fue de tan solo 5%. Nivel II 27,94 % 31,97% Nivel I 38,63 % 31,34% Bajo I 12,87 % 5,41% Nota: total regional incluye 14 países.

15 Diferencia entre las puntuaciones medias regionales de
Niñas y Niños, SERCE - TERCE TERCE SERCE 7,93* 0.43 8,81* -9.71* 2.62* 12,73 -1,25 10,44* -6,17* -11,52* Lectura 3ro Matemática 3ro Lectura 6to Al revisar las diferencias en puntuaciones medias entre niñas y niños entre los dos estudios (SERCE-TERCE) los resultados indican que: Matemática 3ro, no existen diferencias significativas en ninguno de los dos estudios NOTAR: Se está hablando de diferencias medias, por lo tanto hay países que presentan mayores y menores diferencias por prueba, entonces es una mirada “muy general” de lo que sucede en la región, se recomienda entrar al detalle e indicar en qué países se presentan mayores diferencias significativas. Matemática 6to Ciencias 6to

16 Matemática 6º grado p q Respecto a la medición de aprendizajes en Matemática en estudiantes de sexto grado, también se observa un aumento estadísticamente significativo del rendimiento en TERCE, en comparación con SERCE. En este caso, son 10 países en cuales el desempeño en TERCE fue significativamente más alto que en SERCE (Argentina, Brasil, Chile, Colombia, Ecuador, Guatemala, México, Panamá, Perú y República Dominicana); lo mismo ocurre en el estado mexicano de Nuevo León. Por su parte, Nicaragua y Uruguay no muestran diferencias significativas en su rendimiento entre SERCE y TERCE en esta prueba, mientras que Costa Rica y Paraguay obtienen un promedio nacional en el tercer estudio que es significativamente más bajo que el obtenido en el segundo estudio.

17 Distribución regional Niveles de desempeño 6° grado MATEMÁTICA
SERCE TERCE Nivel IV 9,69 % 12,15% Nivel III 28,48 % 33,72% En relación a la distribución por niveles de desempeño en la prueba de Matemática en sexto grado, se repite la tendencia ya observada: el porcentaje de estudiantes en los dos niveles más altos de desempeño a nivel regional es mayor en TERCE que en SERCE (en forma aproximada, 46% y 38%, respectivamente), lo que es coherente con el aumento significativo en los puntajes promedio en el tercer estudio. En línea con lo anterior, también se observa una disminución de la distribución de estudiantes en los niveles más bajos de desempeño; en el nivel bajo I se pasó de 2% en el SERCE a 1% en el TERCE, y en el nivel I de 18% a 14%. Nivel II 41,78 % 39,32% Nivel I 17,82 % 13,48% Bajo I 2,23 % 1,33% Nota: total regional incluye 14 países.

18 Diferencia entre las puntuaciones medias regionales de
Niñas y Niños, SERCE - TERCE TERCE SERCE 7,93* 0.43 8,81* -9.71* 2.62* 12,73 -1,25 10,44* -6,17* -11,52* Lectura 3ro Matemática 3ro Lectura 6to Al revisar las diferencias en puntuaciones medias entre niñas y niños entre los dos estudios (SERCE-TERCE) los resultados indican que: En Matemática 6to, se presenta un aumento en la diferencia entre las puntuaciones medias a favor de los niños, este comportamiento se condice con lo que se experimentó en la prueba de matemática 3ro, recordar que en este caso hablamos de una correlación entre PM3 y PM6 es 0,95. NOTAR: Se está hablando de diferencias medias, por lo tanto hay países que presentan mayores y menores diferencias por prueba, entonces es una mirada “muy general” de lo que sucede en la región, se recomienda entrar al detalle e indicar en qué países se presentan mayores diferencias significativas. Matemática 6to Ciencias 6to

19 Ciencias 6º grado p q Tal como se señaló en secciones anteriores de este informe, la prueba de Ciencias Naturales solo se aplicó en sexto grado de Primaria, y en el caso de SERCE fue de carácter voluntario. Lo anterior determina que solo 7 países más el estado mexicano de Nuevo León tengan información disponible en ambas mediciones, y por ende comparable. La tendencia de los resultados en esta prueba es similar a la ya observada en las otras áreas evaluadas. A nivel regional se aprecia un incremento estadísticamente significativo del rendimiento, y además hay una mayoría de países que muestran cierto grado de mejora. Cuatro de los siete países participantes en ambos mediciones muestran un rendimiento significativamente más alto en TERCE que en SERCE (Argentina, Colombia, Perú y República Dominicana), además del estado mexicano de Nuevo León. Por su parte, Panamá no muestra diferencias en sus rendimientos en SERCE y TERCE, y Paraguay y Uruguay muestran en el tercer estudio un rendimiento significativamente más bajo que en el segundo.

20 Distribución regional Niveles de desempeño 6° grado CIENCIAS
SERCE TERCE Nivel IV 1,06% 1,48% Nivel III 10,57% 13,72% Tal como se desprende de las figuras a continuación, en la prueba de Ciencias de sexto grado, del total de países que cuentan con información comparable en esta área prueba (siete países), se observa un porcentaje levemente mayor de estudiantes en los dos niveles más altos de desempeño en TERCE que en SERCE (en forma aproximada, 15% y 12%, respectivamente), lo que es coherente con el aumento en los puntajes promedio en el tercer estudio. Nivel II 40,21% 38,82% Nivel I 41,82% 38,92% Bajo I 6,35% 7,07% Nota: total regional incluye 7 países.

21 Diferencia entre las puntuaciones medias regionales de
Niñas y Niños, SERCE - TERCE TERCE SERCE 7,93* 0.43 8,81* -9.71* 2.62* 12,73 -1,25 10,44* -6,17* -11,52* Lectura 3ro Matemática 3ro Lectura 6to Al revisar las diferencias en puntuaciones medias entre niñas y niños entre los dos estudios (SERCE-TERCE) los resultados indican que: Ciencias 6to, presenta un cambio de dirección completo, en SERCE la diferencia media se presentaba a favor de los niños y ahora en TERCE se presenta una diferencia significativa a favor de las niñas, situación que llama la atención, pero por tratarse de las diferencias entre las puntuaciones medias de los países, el cambio en las diferencias medias se explica por el cambio de dirección en particular de Colombia ( pasando de -18,93 a -4.27), Perú ( -16,22 a -3.24) y Panamá que presenta un cambio importante en las diferencias (pasando de a 2.62) NOTAR: Se está hablando de diferencias medias, por lo tanto hay países que presentan mayores y menores diferencias por prueba, entonces es una mirada “muy general” de lo que sucede en la región, se recomienda entrar al detalle e indicar en qué países se presentan mayores diferencias significativas. En el caso de Ciencias, dado que las diferencias medias se realizan en función de los 7 países que participaron tanto en SERCE como en TERCE, estas diferencias medias regionales son mucho más susceptibles de cambios fuertes presentados en los países que tienen el reporte de esta prueba. Matemática 6to Ciencias 6to

22 Correlación pruebas Analizando la correlación entre puntajes en las distintas pruebas, notamos un alto grado de correlación. Esto quiere decir que, a nivel país, una alto puntajes en una asignatura sugiere altos puntajes en las otras asignaturas. En sexto grado, esta correlación es lo más fuerte entre ciencias naturales y lectura y lo menos fuerte entre ciencias y matemática. Apreciamos no solamente una correlación entre áreas, sino también entre grados.

23 Conclusiones: Rendimiento
Los resultados del TERCE traen buenas noticias en términos generales, pero claramente queda trabajo por hacer para mejorar la calidad de la educación en América Latina y el Caribe, en la cual el logro de aprendizaje es un elemento clave El puntaje promedio regional mejoró significativamente desde el SERCE en todos los grados y áreas evaluados, lo que significa que el desempeño escolar a nivel primario progresó entre 2006 y 2013 La diferencia de puntuaciones medias de SERCE y TERCE es mayor en el área de Matemática en tercer grado Los resultados de la mayoría de los países participantes en el TERCE mejoraron significativamente - sólo cuatro de los 15 países tiene puntaje promedio, en algunas de las pruebas y áreas evaluadas, de forma significativa menor en TERCE Conclusiones finales referidas a los análisis de rendimiento general (análisis 1).

24 Conclusiones: Niveles de desempeño
En general, se aprecia una disminución de la proporción de estudiantes que se ubican en los niveles de desempeño más bajos (bajo I y nivel I), y un leve aumento en la proporción de estudiantes que se ubican en los niveles más altos (III y IV); especialmente en el nivel III En particular, Matemática en tercer grado es el área en la cual el porcentaje de estudiantes en nivel IV tuvo un mayor aumento, pasando de 8% a 12% Aún así, los niveles I y II tienden a concentrar más de 50% de los estudiantes de Primaria en la región tanto en SERCE como en TERCE Conclusiones finales referidas a los análisis de distribución de estudiantes por los niveles de desempeño (análisis 2).

25 Conclusiones: Diferencias de género
Con respecto a diferencias de género, no existe un patrón de comportamiento generalizado a todas las pruebas y grados En Lectura en tercero y sexto grados predominan los países donde las niñas tienen un puntaje promedio más alto que los niños En Matemática en tercer grado, tanto los niños como las niñas tuvieron un desempeño similar y no se encontraron diferencias estadísticamente significativas entre sus resultados En Matemática en sexto grado, ya que tanto en SERCE como en TERCE las diferencias significativas favorecen a los niños, diferencia que incluso se acentúa a nivel regional, así como en la mayoría de los países En Ciencias, considerando los ocho participantes con información comparable, se observan diferencias y hay países en los cuales el rendimiento por género se invirtió: mientras que en SERCE se observaron diferencias significativas a favor de los niños, en el TERCE se presentaron a favor de las niñas Conclusiones finales referidas a los análisis sobre diferencias en desempeño por género (análisis 3).

26 Reflexiones finales Esta primera entrega de resultados del TERCE, comparables con el SERCE, revela que, si bien hay avances importantes desde 2006 a nivel regional, se requieren esfuerzos adicionales para que los países cumplan con sus compromisos para asegurar una educación de calidad para niñas y niños La UNESCO espera que la información provista por el TERCE sea útil para que las sociedades conozcan más sobre los niveles de su calidad educativa y orienten sus esfuerzos hacia políticas que impacten la calidad de sus sistemas educativos en todas las dimensiones identificadas por la UNESCO, en particular, la equidad En pos de este objetivo, la UNESCO estará trabajando con las autoridades nacionales en los años por venir. Reflexiones finales: si bien hay avances desde el 2006, queda mucho trabajo por hacer, y la UNESCO estará trabajando con los países en la región en pos de la mejora de la calidad de la educación.

27 Gracias Portadilla