El estudio PISA Programa para la Evaluación Internacional de Alumnos

2 ¿Qué es PISA? Un estudio: –del rendimiento educativo de los alumnos de 15 años, –de comparación internacional entre países, –cíclico realizado con una periodicidad trienal, –orientado a la política educativa, –organizado y gestionado por la OCDE.

3 Materias evaluadas por PISA Las materias son Lectura, Matemáticas y Ciencias. En PISA 2003 también Solución de problemas. En cada estudio hay una materia principal: En PISA 2000: LECTURA, Matemáticas, Ciencias. En PISA 2003: Lectura, MATEMÁTICAS, Ciencias, Problemas. En PISA 2006: Lectura, Matemáticas, CIENCIAS. –De las otras sólo se hace un sondeo. –En PISA 2000, la materia principal ocupó 66% del tiempo, cada una de las dos secundarias 17%. –En PISA 2003, La materia principal ocupó el 55% del estudio, cada una de las tres secundarias, el 15%.

4 Cobertura geográfica de PISA Países participantes: Entre PISA 2000 y 2003 han participado 48 países. PISA 2006 participan 58 países. En España: –En 2000, participaron alumnos y 185 centros. –En 2003, alumnos y 383 centros. Ampliaron muestra Castilla y León, Cataluña y País Vasco. –En 2006, unos alumnos y 707 centros. Ampliarán muestra 10 Comunidades Autónomas: Andalucía, Aragón, Asturias, Cantabria, Castilla y León, Cataluña, Galicia, La Rioja, Navarra, País Vasco.

5 Enfoque no-curricular de PISA PISA no evalúa un curso determinado o contenidos previamente definidos en el currículo. PISA evalúa los conocimientos y destrezas acumulados por los alumnos hasta los 15 años. –En esta edad se suele terminar la educación obligatoria en la mayoría de los países. El objetivo específico de evaluación de PISA es la literacy necesaria para la vida adulta. –El término literacy es muy difícil de traducir, pero no de explicar.

6 PISA evalúa la literacy El concepto de literacy: –No es equivalente a alfabetización. Se supone que los alumnos saben ya leer. –No consiste sólo en conocimientos sino en capacidad de aplicación en la vida diaria. –La mejor traducción sería preparación. Como componentes de esta preparación, PISA enfatiza: –el dominio de los procesos, –la comprensión de los conceptos, –la capacidad de operar en situaciones reales.

7 Organización de la evaluación PISA Pruebas de papel y lápiz. Incluye preguntas: –cerradas, –abiertas de respuesta corta, –abiertas de respuesta larga. Las preguntas se agrupan en unidades, bajo estímulos comunes cercanos a la vida real. Ventajas: –no se cambia continuamente el contexto de cada pregunta, –permiten que las preguntas profundicen más en la materia. Habrá 13 cuadernos de prueba, parcialmente solapados (muestreo matricial). Habrá también un cuestionario de contexto para alumnos y otro para directores (pero no para profesores).

8 Ejemplo de pregunta 1

9 Ejemplo de pregunta 2

10 Ejemplo de pregunta 3

11 Ejemplo de pregunta 4

12 Ejemplo de pregunta 5

Resultados de PISA 2003

14 Puntuaciones en Matemáticas En total 85 preguntas agrupadas en 4 dimensiones: –Espacio y forma, Cambio y relaciones, Cantidad e Incertidumbre Las puntuaciones: –se calculan según el modelo de Rasch (TRI de un parámetro), –se extrapolan a la población mediante 5 valores plausibles, –se expresan en una escala de 500 puntos de media (OCDE) y 100 de desviación típica, Las puntuaciones describen: –la capacidad de los alumnos, –la dificultad de las preguntas.

15 Resultados en Matemáticas I España queda: por debajo de Suecia, Francia, Alemania a la altura de Polonia, Hungría y Estados Unidos por encima de Portugal, Italia y Grecia Con respecto a PISA 2000 mejoría en: Espacio y forma (geometría): + 4 puntos Cambio y relaciones (álgebra) + 13 puntos

16 Resultados en Matemáticas II

17 Resultados en Matemáticas III

18 Sub-áreas en Matemáticas I

19 Sub-áreas en Matemáticas II

20 Niveles de rendimiento en Matemáticas Puntos de corte: –Nivel 6668 puntos. –Nivel 5606 puntos. –Nivel 4544 puntos. –Nivel 3482 puntos. –Nivel 2420 puntos. –Nivel 1358 puntos. –Nivel <1hasta 358 p. Propiedades estadísticas: –Los niveles están separados por 62 puntos de la escala. –Un alumno con una determinada puntuación tiene una probabilidad de 62% de contestar correctamente cualquier pregunta de esa misma puntuación. –Un alumno en el extremo inferior de un nivel tiene una probabilidad de 50% de contestar cualquier pregunta de ese nivel.

21 Porcentajes de alumnos por niveles de rendimiento I

22 Porcentajes de alumnos por niveles de competencia España 8·15·25·27·18·7·1 OCDE 8·13·21·24·19·11·4

23 Porcentajes de alumnos en los niveles intermedios de competencia

Dispersión de los resultados en Matemáticas

25 Resultados en Lectura, Ciencias y Solución de problemas

26 Comparación entre PISA 2000 Y PISA 2003 en las restantes materias PISA 2000PISA 2003Evolución Lectura V Ciencias Solución de problemas

27 Correlaciones entre las materias Matemáticas con Lectura0,699 Matemáticas con Ciencias0,748 Matemáticas con Problemas0,848 Lectura con Ciencias0,796 Lectura con Problemas0,784 Ciencias con Problemas0,706

28 Valoración de los resultados I Producto Interior Bruto per capita

29 Valoración de los resultados II Índice PISA de estatus socio-económico y cultural

30 Valoración de los resultados III Excelencia y equidad (medias y coeficiente de variación)

31 Distribución de la varianza inter- e intra- centros

32 Diferencias por titularidad de los centros I

33 Diferencias por titularidad de los centros II Porcentaje de alumnos en centros privados

34 Diferencias por titularidad de los centros III

35 Diferencias por titularidad de los centros IV

36 Diferencias de género en Matemáticas

37 Diferencias de género de los resultados de Lectura, Ciencias y Solución de problemas

38 Entrega, motivación y auto-imagen

39 Factores emocionales y estrategias de estudio

40 Resultados por libros en casa

41 Resultados por estudios que desea terminar

42 Resultados por estudios de la madre y del padre

43 Resultados por actividad de la madre y del padre

44 Resultados por profesiones de los padres

45 Papel del entorno socio-económico y cultural Estudios de mayor nivel alcanzado por las madres

46 Papel del entorno socio-económico y cultural Resultados en función del mayor nivel educativo alcanzado por las madres

47 Papel del entorno socio-económico y cultural (SEC) Impacto del entorno SEC en los resultados

48 Resultados por haber cursado Educación Infantil

49 Resultados por repetición de curso

50 Repetición de curso: ninguno

51 Repetición de curso: uno

52 Repetición de curso: dos

53 Distribución de repetidores por centros

La prueba final de PISA 2006

55 PISA 2006 Trabajo de campo de la prueba final a) Obtención de la cooperación de los centros b) Realización del muestreo de alumnos c) Aplicación de las pruebas y cuestionarios Tareas

56 a) Obtención de la cooperación de los centros La empresa aplicadora se pondrá en contacto con las autoridades educativas de la CA. Las autoridades educativas de la CA presentarán a la empresa ante los centros. La empresa pedirá que en cada centro haya una persona de contacto. Con ayuda de esta persona, la empresa comenzará las labores encaminadas al muestreo de alumnos.

57 b)Muestreo de alumnos En cada centro se selecciona un máximo de 35 alumnos de 15 años. La empresa pide la lista completa de alumnos nacidos en 1990, con nombre, apellidos, sexo, fecha de nacimiento, curso, grupo y estatus de NEE. Con ayuda de un software específico, la empresa selecciona de modo aleatorio a los 35 alumnos. Los incluye en el Formulario de seguimiento de alumnos.

58 c)Aplicación de pruebas y cuestionarios Instrumentos de evaluación: –13 cuadernos distintos de prueba: se utilizan todos en cada centro. –1 único modelo de cuestionario de alumnos. –1 único modelo de cuestionario de centro. La prueba dura dos horas, con un breve descanso a la mitad. El cuestionario de alumnos necesita una media hora más, tras un nuevo descanso más largo. El cuestionario de centro unos 20 minutos.

59 La empresa pedirá al centro: –la fijación de una fecha adecuada, –un aula de capacidad suficiente, –que no haya preaviso a los alumnos. Debe maximizarse el número de alumnos que asisten: –Si pueden, los alumnos con NEE deben realizar la prueba. –Si faltan más de un 15% de los alumnos previstos, ha de celebrarse una nueva sesión. El contenido de los cuadernos de prueba es confidencial antes y después de la sesión. –pero el contenido de los cuestionarios no es confidencial.

Muchas gracias Ramón Pajares Box