El estudio PISA de la OCDE Ramón Pajares Box Consejero Técnico Instituto Nacional de Calidad y Evaluación (INCE)

El estudio PISA de la OCDE Descripción Características Objetivos Muestra Historia Coordinación de PISA Resultados Globales Lectura Diferencias de género Factores asociados con el rendimiento Del alumno y la familia Del aula y del centro

Características (I) PISA: Programme for International Student Assessment (Programa de evaluación internacional de alumnos) Es un estudio de literacy a los 15 años Es un estudio comparativo entre países y entre ciclos Como todo proyecto de la OCDE, es un estudio “policy oriented” Participación en PISA 2000: 28 países OCDE y 4 países no miembros En 2002 se añaden 13 nuevos países no miembros y en 2003 dos más

Países participantes * Paises no miembros de la OCDE

Características (y II) PISA evalúa tres materias: Lectura, Matemáticas, Ciencias Hay un nuevo estudio (ciclo) cada tres años En cada ciclo una de las tres materias es estudiada con más profundidad: En 2000: Lectura En 2003: Matemáticas En 2006: Ciencias La materia principal ocupa el 66% del estudio, cada una de las secundarias, el 17%

Objetivos El enfoque específico de PISA son los conocimientos y destrezas necesarios para integrarse en la vida adulta PISA evalúa los conocimientos y destrezas acumulados por los alumnos hasta los 15 años En esta edad se suele terminar la educación obligatoria en la mayoría de los países La evaluación se basó en situaciones reales y no en el dominio de un currículo específico PISA no es, pues, un estudio curricular, al estilo TIMSS

Muestra Muestra bi-etápica: primero se seleccionan centros y luego, al azar, 35 (40 en España) alumnos de 15 años Los alumnos son elegidos con independencia de su grado de aprovechamiento escolar No se seleccionan clases intactas y, por tanto, no hay profesores de referencia Esta ausencia de datos suministrados por profesores se echa de menos al analizar los factores asociados a los rendimientos

Historia PISA surge de la necesidad de datos de rendimiento para el sistema de indicadores INES de la OCDE La IEA se negó, en un determinado momento, a facilitar los datos de TIMSS para esos indicadores La OCDE se propuso entonces montar su propia toma de datos Resultado inesperado: simultaneidad de dos estudios muy similares, con desafortunados efectos en la participación

Coordinación de PISA Secretariado de la OCDE Consorcio técnico: ACER, Australia Coordinación y análisis CITO, Holanda Producción y selección de ítems ETS, EE.UU. Escalamiento de resultados NIER, Japón Westat, EE.UU. Muestreo Coordinadores Nacionales en cada país (en España, 19)

Principales resultados de PISA 2000 Puntuaciones de rendimientos expresadas, como en TIMSS, en una escala con media de 500 y desviación típica de 100 En Lectura, materia principal, tres sub-escalas: Recuperación de información Interpretación de textos Reflexión sobre los textos Sólo en Lectura, cinco niveles de rendimiento: Nivel 5: más de 625 puntos Nivel 4: de 553 a 625 Nivel 3: de 481 a 552 Nivel 2: de 408 a 480 Nivel 1: de 335 a 407 (Nivel 0): por debajo de 335 puntos

Resultados globales (I) España

Resultados globales (II) España Entre los 32 países participantes, España está situada: Lectura: ente las posiciones 17 y 21 Matemáticas: entre las posiciones 23 y 25 Ciencias: entre las posiciones 16 y 22

Resultados globales (y III)

Lectura: escala global y sub-escalas

Lectura: niveles de rendimiento (I) 23 16 14 13 9 10 7 8 5 6 4 3 2 1 33 28 21 18 17 15 11 12 30 27 26 29 25 24 22 20 19 31 39 32 Brasil* México Luxemburgo Letonia* Rusia* Portugal Grecia Finlandia Corea Canadá Japón Irlanda Nueva Zelanda Australia Reino Unido Suecia Bélgica Austria Islandia Noruega Francia Lectura: niveles de rendimiento (I) Estados Unidos Países OCDE Dinamarca Suiza España Chequia Italia Alemania Liechtenstein* Polonia Hungría

Lectura: niveles de rendimiento (y II)

Dispersión de los resultados Ciencias Matemáticas Lectura 200 300 400 500 600 700 800

Resultados obtenidos y esperados El rendimiento promedio se acerca notablemente a lo que es esperable del PIB per cápita de España De mismo modo, el rendimiento es acorde con el gasto acumulado en educación hasta los 15 años En el conjunto de los países de la OCDE, España está entre los primeros de la Segunda División por nivel económico No es de extrañar que España esté también entre los primeros de la Segunda División por sus resultados educativos

Diferencias de género (I) Lectura Matemáticas Ciencias España Hombres 481 487 492 Mujeres 505 469 491 -24 18 1 OCDE 485 504 503 514 493 -29 11

Diferencias de género (y II)

Factores asociados con el rendimiento en Lectura Factores del alumno y la familia Sin ISEC (índice socio-económico y cultural) Con ISEC Factores del aula y del centro

Factores del alumno y la familia (sin ISEC)

Origen extranjero (I)

Origen extranjero (y II)

Repetidores (I)

Repetidores (y II)

Factores del alumno y la familia (con ISEC)

Gradientes ISEC en Lectura Comparan España con una selección de países Relacionan rendimiento en lectura y status socio-económico Los gradientes se extienden entre los percentiles 5 y 95 En los gradientes hay que observar: Posición horizontal: a la derecha, mayor índice ISEC Posición vertical: arriba, mejores resultados en Lectura Longitud: corta, mayor homogeneidad Pendiente o inclinación: más horizontal, mayor equidad Curvatura: convexa, las diferencias tienden a disminuir Convergencia o divergencia entre países

Gradientes, global

Gradientes, países americanos

Gradientes, países mediterráneos

Gradientes, resto de Europa

Factores del aula y del centro

Variabilidad entre centros en Lectura España: Entre centros: 15,9 Intra centros: 60,9 OCDE Entre centros: 36,2 Intra centros: 65,1

Titularidad del centro y Lectura (I)

Titularidad del centro y Lectura (II)

Titularidad del centro y Lectura (y III)

“Valor añadido” educativo Rendimiento diferencial del rendimiento en Lectura de los centros privados con relación a los centros públicos “Valor añadido” educativo

Esto es todo Muchas gracias Más información en: www.pisa.oecd.org Esto es todo Muchas gracias