PISA 2012 Características y algunos resultados Informe de Centros Comunidad Autónoma de Aragón Zaragoza, 3 Nov 2014 Luis Sanz San Miguel

1. Las evaluaciones a gran escala. PISA

1.Rasgos comunes de los estudios de evaluación a gran escala  Evaluaciones cíclicas, a gran escala  Cuadernillo de prueba + cuestionarios de contexto  Rigor metodológico: Marco teórico: qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos… Definición exhaustiva de la población objetivo Selección de la muestra/censo Traducción de materiales, aplicación, corrección, depuración de datos… Análisis TRI de las respuestas. Dificultad de los ítems y puntuación lograda por los alumnos  Informes internacionales comparativos

1. Principales características del programa Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 4 Evaluación cada tres años (PISA 2000 – PISA 2012). Conocimientos y destrezas de los alumnos de 15 años en las áreas de matemáticas, lectura y ciencias. En 2012, además Resolución de Problemas y Competencia Financiera MuestraPoblación Estudiantes evaluados Estudiantes de 15 años Porcentaje muestral España ,7% OCDE (34 países) ,3% Total (65 países) ,8% Área principal: (1 hora y 20 minutos) en 2012 matemáticas ¿ Qué se evalúa? Temporalización: Población y Muestra Áreas de evaluación : Instrumentos:  Cuestionario de contexto cumplimentado por el alumnado y por los directores de los centros educativos Áreas secundarias: (20 minutos de prueba) en 2102 lectura y ciencias

2. Selección de la muestra

El diseño muestral es clave para que los resultados sean fiables y para el cálculo de los estimadores (variables de ponderación) Muestra representativa. Procedimiento probabilístico para evitar sesgos Muestreo en bietápico (centros y alumnos). Estratos. Estratificación explícita: diferentes subpoblaciones o estratos definidos por una variable de estratificación (CC.AA., titularidad de los centros, etc.) Estratificación implícita: asociada a un muestreo sistemático. Se ordenan las unidades de muestreo según un cierto criterio para que la muestra reproduzca la distribución de los porcentajes de la población. Selección sistemática de centros dentro de cada estrato 1. Selección de centros (Primary Sampling Unit) Muestreo proporcional al tamaño PISA: 35 alumnos al azar o todos 2. Selección de alumnos dentro del centro (Secondary Sampling Unit) Muestreo en dos etapas 2. Selección de la muestra: características generales

2. Selección y tamaño de la muestra Precisión de los estimadores Tamaño de la muestra Tiempo Presupuesto Sencillez del diseño del muestreo y del trabajo de campo 7

2. Selección de la muestra. Individuos frente a centros Selección sistemática de centros Muestreo por individuos (alumnos) Muestreo por conglomerados (centros educativos) 8

2-Selección de la muestra Exclusiones y ampliaciones de la muestra Ampliación de muestras (por algún aspecto de especial interés) ¡Cuidado con las exclusiones! ¡Algunas pueden ser importantes! 9

15 alumnos 30 alumnos 45 alumnos Probabilidad del centro Probabilidad del alumno en el centro Probabilidad final del alumno Peso base del alumno Población. N =180 Muestra n= 9 Elegir 3 centros / 3 alumnos por centro La suma de pesos de los alumnos es el tamaño de la población Ejemplo 10

Tamaño del centro Titularidad PequeñoMedianoGrandeTOTAL Nº centros Nº alumnos Nº centros Nº alumnos Nº centros Nº alumnos Nº centros Nº alumnos Pública Privada TOTAL Tamaño del centro Titularidad PequeñoMedianoGrandeTOTAL Nº centros Nº alumnos Nº centros Nº alumnos Nº centros Nº alumnos Nº centros Nº alumnos Pública Privada TOTAL Muestra de Aragón Población de Aragón

3. Algunos resultados PISA 2012

13 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Posición de España entre los 34 países de la OCDE España obtiene 484 puntos en matemáticas, 10 puntos menos que el promedio de la OCDE (494), siendo esta diferencia significativa estadísticamente. 3. Resultados en matemáticas Aragón obtiene 496 puntos en matemáticas, 2 puntos más que el promedio de la OCDE (494), no siendo esta diferencia estadísticamente significativa. Aragón

14 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 3. Resultados en matemáticas Evolución de los resultados en matemáticas Aragón-España-Promedio OCDE Se observa una evolución negativa en la comunidad de Aragón y también en la OCDE. Ninguna de ellas es significativa. Tampoco es significativo el ligero aumento observado en las puntuaciones de España. En 2012, no hay diferencias significativas en los resultados de Aragón con respecto al conjunto de España y al promedio OCDE

15 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Porcentaje de alumnos en los niveles más bajos (<1 y 1) 3. Resultados en matemáticas El porcentaje de alumnos en los niveles bajos y el porcentaje de alumnos en los niveles altos no experimentan cambios significativos en PISA La proporción de alumnos situados en los niveles bajos de rendimiento es similar al de la OCDE. Porcentaje de alumnos excelentes (niveles 5 y 6)

16 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Posición de España entre los 34 países de la OCDE 3. Resultados en ciencias En ciencias España obtiene 496 puntos. Se sitúa 5 puntos por debajo del promedio OCDE (501), siendo esta diferencia significativa estadísticamente Por su parte, Aragón obtiene 504 puntos, 3 puntos por encima del promedio OCDE (501), aunque esta diferencia no es estadísticamente significativa. Aragón

17 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 3. Resultados en ciencias Evolución de los resultados en ciencias Aragón-España-Promedio OCDE Evolución negativa en la comunidad de Aragón y estable en el promedio OCDE, ambos no significativos Aumento significativo en el conjunto de España. En 2012, no hay diferencias significativas en los resultados de Aragón con respecto al conjunto de España y al promedio OCDE

18 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Posición de España entre los 34 países de la OCDE En lectura España alcanza 488 puntos, una puntuación significativamente inferior al promedio de la OCDE (496). 3. Resultados en lectura En lectura Aragón alcanza 493 puntos, una puntuación no significativamente inferior al promedio de la OCDE (496). Aragón

19 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 3. Resultados en lectura Evolución de los resultados en lectura Aragón-España-Promedio OCDE Los resultados de Aragón en lectura no han variado significativamente en los últimos años En 2012, no hay diferencias significativas en los resultados de Aragón con respecto al conjunto de España y al promedio OCDE

4. Preguntas liberadas matemáticas

Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 4. Preguntas liberadas. Matemáticas

Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 4. Preguntas liberadas. Matemáticas

5. Calidad y equidad del sistema educativo

24 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 5. Calidad y equidad del sistema educativo español El rendimiento del alumnado y la varianza explicada por el ESCS España 2003 España 2012 Menos calidad: El rendimiento del alumnado español es significativamente inferior a la media de la OCDE. El de los alumnos de Aragón se encuentra en la media OCDE Algo menos de equidad: El impacto del entorno socioeconómico y cultural en España es algo mayor que en la OCDE en su conjunto, como lo es también en Aragón Aragón 2012

25 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Media OCDE Diferencias entre centros Diferencias dentro del centro Variación en el rendimiento de los alumnos entre y dentro de los centros educativos 5. Calidad y equidad del sistema educativo español España 17,1% Aragón 15,6% España 17,1% Aragón 15,6% España 73,8% Aragón 85,1% España 73,8% Aragón 85,1%

6. Algunas informaciones extraídas de los cuestionarios

27 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) En España el número de horas lectivas es mayor que en la mayoría de los países de la OCDE. 6. Tiempo dedicado a la instrucción Sin embargo, el tiempo de instrucción en cada una de las áreas de conocimiento evaluadas en PISA es menor

28 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Relación entre la autonomía de los centros en el currículo*, la evaluación y el rendimiento 6. Autonomía de los centros educativos Una mayor autonomía de los centros en el currículo y evaluación parece estar asociada a mejores resultados educativos * La autonomía de los centros se estima a partir de las respuestas de los directores de los centros educativos a los cuestionarios de contexto en PISA y = 27,83x + 495,17 R² = 0,34

29 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Se observa una clara tendencia hacía el uso de los resultados académicos para comparar los centros educativos con la media nacional en la OCDE. En la OCDE se llevan a cabo más prácticas de monitorización de la actividad docente que en España. 6. Evaluaciones externas y estandarizadas

Datos de Relación en matemáticas: PISA y PIAAC Los resultados PISA explican el 56,7% de la variabilidad de los resultados en PIAAC Hay una clara relación positiva entre ambas puntuaciones, más fuerte que en lectura Los estudios PISA y PIAAC: una evolución comparada 30

7. Actitud y disposición de los estudiantes frente a rendimiento en matemáticas

32 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) En Aragón el 25% de los alumnos declara haber faltado a uno o más días de clase sin justificar. En España, el 27% En la OCDE este porcentaje es significativamente inferior, un 15% Absentismo escolar no justificado Faltar a clase influye en el rendimiento

 El sentido de pertenencia evalúa el grado de satisfacción de los alumnos con el centro educativo y en qué medida este se aproxima a su ideal.  La relación profesor-alumno mide la percepción de los alumnos acerca de la dedicación y el interés de los profesores hacia los estudiantes.  El clima de disciplina escolar mide la percepción que los alumnos tienen en cuanto al orden y la atención en la clase de matemáticas. Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Sentido de pertenencia, clima escolar y motivación 33

7. Motivación intrínseca para aprender matemáticas  Me interesan las cosas que aprendo en matemáticas  Estudio matemáticas porque me gusta  Estoy deseando tener clase de matemáticas  Me gusta leer libros sobre matemáticas 34

7. Motivación intrínseca para aprender matemáticas 47 puntos 44 puntos 48 puntos puntos Mayor nivel de interés por las matemáticas, por sí mismas, se asocia con mejores resultados.

7. Motivación extrínseca para aprender matemáticas  Aprenderé muchas cosas en matemáticas que me ayudarán a conseguir trabajo  Las matemáticas las necesito para lo que quiero estudiar más adelante  Me merece la pena estudiar matemáticas porque tendré mejores perspectivas en mi carrera profesional  Merece la pena hacer un esfuerzo porque me ayudará en el trabajo que haré más adelante 36

7. Motivación extrínseca para aprender matemáticas 53 puntos 36 puntos 42 puntos puntos Los estudiantes que valoran en mayor medida la utilidad futura del aprendizaje de las matemáticas, obtienen mejores resultados.

 Me preocupo cuando pienso que sacaré malas notas en matemáticas  Me siento incapaz cuando hago un problema de matemáticas  Me pongo muy nervioso al hacer problemas de matemáticas  Me pongo muy tenso cuando tengo que hacer deberes de matemáticas  A menudo me preocupo pensando que tendré dificultades en las clases de matemáticas 7. Ansiedad hacia las matemáticas 38 En España los estudiantes muestran mayor índice de ansiedad que los de la OCDE y la UE Las alumnas muestran índices de ansiedad superiores a los de los chicos

La ansiedad hacia las matemáticas influye en los resultados La capacidad explicativa de los resultados por este índice es menor en España que en la OCDE. OCDE: 14% de la varianza explicada. España: 8,4%. Disminuir en un punto el índice de ansiedad supondría un aumento de 34 puntos en PISA en OCDE (en España 28) 65 puntos 88 puntos 86 puntos puntos

 En mi clase de matemáticas entiendo incluso lo más difícil  Siempre he creído que las matemáticas es una de las asignaturas en que soy mejor  Saco buenas notas en matemáticas  Aprendo matemáticas rápidamente  No se me dan bien las matemáticas 7. En Autoconcepto en las matemáticas En España los alumnos tienen menor concepto sobre sí mismos en las matemáticas que los de la OCDE y la UE Las alumnas muestran índices de autoconcepto en matemáticas inferiores a los de los alumnos

La percepción del alumno sobre sus habilidades en matemáticas influye en sus resultados La capacidad explicativa de los resultados por este índice es menor en España que en la OCDE. OCDE: 17% de la varianza explicada. España: 13,8%. Aumentar en un punto el índice de autoconcepto supondría un aumento de 36,5 puntos en PISA en OCDE (en España 31) 85 puntos 89 puntos 92 puntos puntos

Relación entre rendimiento en matemáticas y exposición de los alumnos a las matemáticas aplicadas Programa para la Evaluación Internacional de los Alumnos (PISA 2012) 42

8. Informes de centros educativos

Puntuación media con intervalo de confianza al 95% El gráfico muestra la puntuación estimada para el centro, la comunidad autónoma, España y la OCDE. Cualquier puntuación dentro de este intervalo puede considerarse una estimación de la media del centro 44 La amplitud (grande) del intervalo de confianza para el centro se debe a que los errores en la estimación de las puntuaciones medias para los centros son muy grandes. PISA no está diseñado para evaluar centros educativos..

Si el intervalo correspondiente al centro tiene intersección no vacía con el de la comunidad/España/OCDE, no existen diferencias significativas entre sus puntuaciones medias En este ejemplo la puntuación media del centro no puede considerarse superior a la de la comunidad, España ni OCDE 45

Aquí no hay diferencia significativa entre la media de la comunidad y la de España. Ni entre la media de la comunidad y OCDE. La puntuación media del centro es inferior a la de la comunidad, España y OCDE de forma significativa Ahora, la puntuación media de la comunidad es superior a la de España y a la de la OCDE. Y la puntuación media del centro es superior a la de la comunidad, España y OCDE de forma significativa 46

Distribución por niveles (agrupando niveles 5 y 6)-Porcentajes Los niveles describen la dificultad progresiva en las actividades propuestas. El número indicado entre paréntesis representa el error de la estimación del porcentaje. La magnitud de los errores en los porcentajes de centro se deben a que la muestra PISA no se diseña para estimar puntuaciones de los centros, sino de países o comunidades autónomas con muestra ampliada. 47

Puntuaciones medias por procesos con intervalo de confianza al 95% Puntuaciones medias por sub-áreas con intervalo de confianza al 95% Se puede consultar el marco de evaluación PISA 2012 para una correcta definición de los procesos y sub-áreas. marco de evaluación PISA 2012 La interpretación de los intervalos de confianza se ha descrito con anterioridad. 48

Resultados de chicos y chicas El gráfico muestra la puntuación estimada para chicos y chicas en el centro, la comunidad autónoma, España y la OCDE No se muestran los intervalos de confianza para cada una de las puntuaciones, pero debe tenerse en cuenta los errores de estas estimaciones, A nivel de centro, en general no se podrá afirmar que las diferencias entre las puntuaciones de chicos y chicas sean significativas.

Resultados de los centros frente a su nivel socioeconómico Cada punto representa un centro participante en PISA 2012 de la comunidad autónoma. También aparece el valor medio de la comunidad. Los puntos sobre la recta de regresión corresponden al valor medio estimado para la puntuación del centro, según el índice socioeconómico de su alumnado. El método de cálculo del índice socioeconómico y cultural se puede consultar en el Capítulo 3 del Volumen I del Informe Español. Un tercio del alumnado de la comunidad autónoma se sitúa en cada uno de los tramos del ISEC Mayor índice ISEC Mayor puntuación

En este caso, el punto correspondiente al centro se encuentra por encima de la recta roja. El rendimiento medio de sus alumnos es superior a lo esperado para su nivel socio-económico, aunque para esta valoración debe tenerse en cuenta el error cometido en la estimación. El nivel socioeconómico medio de este centro se encuentra en el tramo medio en relación con su comunidad. 51

52 En este caso, el punto correspondiente al centro se encuentra por debajo de la recta roja. El rendimiento medio de sus alumnos es inferior a lo esperado para su nivel socio-económico, aunque para esta valoración debe tenerse en cuenta el error cometido en la estimación. El nivel socio-económico medio de este centro se encuentra en el tramo alto en relación con su comunidad.

53 En este caso, el punto correspondiente al centro se encuentra por encima de la recta roja. El rendimiento medio de sus alumnos es superior a lo esperado para su nivel socio-económico, aunque para esta valoración debe tenerse en cuenta el error cometido en la estimación. El nivel socio-económico medio de este centro se encuentra en el tramo bajo en relación con su comunidad.

54 Como valor medio de cada uno de los índices se tomó como origen el valor cero para OCDE. Valores superiores a cero indican una mejor percepción de los alumnos en los aspectos medidos que la media de la OCDE, Los valores menores que cero indican peor percepción de los alumnos en los aspectos medidos que la media de la OCDE.

Blog: Slideshare: GRACIAS