Competencias básicas y evaluaciones generales de diagnóstico: los retos técnicos y políticos para la contribución a la mejora educativa. 22 nov 07 Enrique Roca

Competencias básicas y evaluaciones de OCDE, IEA y UE Evaluación general de diagnóstico

Unión Europea: ¿qué educación para el siglo XXI? Los pilares de la educación (Informe Delors): Aprender a conocer Aprender a hacer Aprender a ser Aprender a convivir competencias, ciudadanía

LOE: aprender, participar, evaluar Currículo Competencias básicas/ Autonomía/ participación Evaluación: OCDE, IEA, UE Diagnóstico

Evaluaciones ¿para qué? CONOCER COMPARAR RENDIR CUENTAS MEJORAR

Participación española en estudios internacionales de evaluación OCDE PISA (Comprensión lectora, matemáticas, ciencias): resultados dic 2007 TALIS (Estudio internacional de enseñanza y aprendizaje - profesores) Liderazgo en los centros educativos Valor añadido en los sistemas educativos RNFIL (Reconocimiento de los aprendizajes no formales e informales) IEA PIRLS (comprensión lectora 9 años): resultados, nov 2007 ICCS (estudio internacional sobre educación cívica y ciudadana) TEDS-M (Est. Int. sobre formación inicial del profesorado de matemáticas) Unión Europea Aprender a aprender EBAFLS (Banco de items para la evaluación de lenguas extranjeras) Indicador europeo de competencia lingüística

PISA (Programme for International Student Assessment): Programa para la Evaluación Internacional de Alumnos Es un estudio internacional de evaluación educativa de las competencias de los alumnos de 15 años: PISA 2000, competencia principal Lectura PISA 2003, competencia principal Matemáticas PISA 2006, competencia principal Ciencias El Informe PISA 2006 se publicará el 4 de diciembre de 2007 Se está trabajando ya en PISA 2009, que volverá a tener la Lectura como objeto principal de estudio Elaboración y revisión de ítems de lectura, con el GIP (Grupo Iberoamericano de PISA) para el estudio piloto y el principal

Estudio Internacional sobre el progreso en comprensión lectora PIRLS Estudio Internacional sobre el progreso en comprensión lectora Evalúa el rendimiento en comprensión lectora de los niños y niñas de 4º de primaria (9-10 años) La recogida de datos se realiza mediante una prueba escrita y cuatro cuestionarios de contexto: alumnado, familias, centros y profesorado En España el estudio final se realizó entre abril y mayo de 2006, con la participación de todas las comunidades autónomas y en las 5 lenguas oficiales del Estado El Informe Internacional PIRLS 2006 se publicará en noviembre de 2007. En la misma fecha se presentará un informe español

España y UE en ICCS Primer estudio internacional sobre educación cívica y ciudadana en el que participa España Dirigido a alumnos de 2º de la ESO Instrumentos de medición Alumnos: pruebas cognitivas y cuestionarios sobre actitudes y contexto Cuestionario del profesor Cuestionario a los directores Informe sobre el contexto nacional Calendario Prueba piloto nov 2007 Estudio principal febrero - abril 2008 Informe final septiembre 2010 Módulo europeo

Indicador Europeo de Competencia Lingüística Propuesta de la Comisión Europea en 2005 El objetivo del indicador es medir periódicamente el conocimiento de idiomas entre los jóvenes europeos Se espera la aplicación de la prueba piloto en 2008 y la realización de estudio definitivo en 2010 En esta primera fase se evaluarán cinco lenguas y tres destrezas (comprensión oral y escrita, y expresión escrita Países participantes:UE

Aprender a aprender Tiene por objeto valorar la adquisición de la competencia clave “aprender a aprender” (learning to learn) por parte de los jóvenes, que para la comisión juega un papel crucial El CRELL (Centre for Research on Lifelong Learning) y un grupo de expertos elaboran la pruebas para el estudio piloto que hoy está en fase de revisión Estudio piloto en la primavera de 2008

Evaluaciones de diagnóstico LOE (LOE, art. 144) El Instituto de Evaluación y …las administraciones educativas (...) colaborarán en la realización de evaluaciones generales de diagnóstico de las competencias básicas (LOE, art. 21, 29) Al finalizar 4º de primaria y 2º de ESO ... todos los centros realizarán una evaluación de diagnóstico de las competencias básicas alcanzadas por sus alumnos. Esta evaluación, competencia de las administraciones educativas, tendrá carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa, (...) Tendrán como marco de referencia las evaluaciones generales de diagnóstico(...)

Propuesta de calendario Competencias 2008 2009 2010 2011 2012 2013 2014 2015 2016 4º EP Principal Piloto 1 2 y 3 4 y 5 2 1 y 3 6 y 7 3 1 y 2 4 y 8 2º ESO 4 y 6 7 y 8 PISA Lect Matemat Cienc 1: Competencia en comunicación lingüística. 2: Competencia matemática. 3: Competencia en el conocimiento y la interacción con el mundo físico. 4: Tratamiento de la información y competencia digital. 5: Competencia social y ciudadana. 6: Competencia cultural y artística. 7: Competencia para aprender a aprender. 8: Autonomía e iniciativa personal.

Poblaciones Poblaciones Información Proporcionada Evaluación 4º de EP    Poblaciones Poblaciones Información Proporcionada Evaluación 4º de EP Evaluación 2º de ESO Alumnado 4º EP Alumnado 2º ESO - Rendimiento. - Contexto y procesos Profesorado - Recursos y procesos Dirección - Contexto y recursos

Muestras: Primera etapa: . Selección aleatoria de centros en cada una de las comunidades autónomas. . A efectos de la estratificación de la población, se consideran las 17 CCAA Segunda etapa: . En cada uno de los centros seleccionados, se elegirá aleatoriamente un grupo de alumnos de 4º de primaria (centros con más de una línea). . En 2º de ESO, un número determinado de alumnos (entre los de 2º). Tamaño de la muestra: . Que permita una confianza no inferior al 95,5% y un error de estimación inferior al 5%. . Diseño matricial para aplicación de diferentes cuadernillos

Contextos Indice socioeconómico y cultural (ISC) de los alumnos,   Indice socioeconómico y cultural (ISC) de los alumnos, . Construido a partir de variables relativas a nivel de estudios y situación laboral de padre y madre, recursos culturales del hogar... . ISC tipificado. Mismo tipo de escalas que la de puntuaciones de resultados (PISA) . Dos niveles de ISC: de cada alumno y de cada centro Uso de otras variables e índices de contextos Uso de variables de recursos y de procesos

Relación entre índice socioeconómico y cultural y rendimiento en matemáticas

Relación entre índice socioeconómico y cultural y rendimiento en matemáticas

Influencia del entorno socioeconómico y cultural en los resultados: Resultados en función del mayor nivel educativo alcanzado por las madres

Resultados en función del número de libros en la casa Influencia del entorno socioeconómico y cultural en los resultados Resultados en función del número de libros en la casa

  Pruebas:   Pruebas de lápiz y papel y registros en audio para la comprensión oral Pruebas escritas: basadas en situaciones-problema (estímulo) con cuestiones en distintos formatos: . Preguntas de respuesta cerrada. . Preguntas que exigen procedimientos y obtención de resultados. . Preguntas abiertas Diferentes cuadernillos (muestreo matricial) Longitud de las pruebas: una sesión de 45 m en primaria y 60m es ESO, o dos sesiones con un descanso intermedio de 20m. Aplicación precedida de una fase de sensibilización de la comunidad educativa Cuestionarios de contexto, de procesos y de recursos destinados al alumnado, al profesorado, a la dirección y a las familias.

Evaluación de las competencias básicas.    Se parte de la descripción que realizan los Reales Decretos por los que se establecen las enseñanzas mínimas y se tienen en cuenta los criterios adoptados por la OCDE, la IEA y las evaluaciones españolas. Tres fases para el desglose de las competencias: Ejemplos de despliegue de las competencias: Definición y descripción de la competencia Dimensiones y componentes de cada dimensión. Grado de relación entre las competencias y las distintas áreas o materias (matriz de relaciones)

Análisis de resultados Puntuación directa, en un primer momento, a partir de las puntuaciones otorgadas a cada item (0-1, valores intermedios). . Instrumento para aplicación de la teoría de respuesta al item (TRI) Puntuación transformada a partir de un modelo e TRI (Rash, dos parámetros): construcción de una escala común con una media global de 500 y una desviación típica de 100 puntos (modelo PISA) Utilización de distintos niveles de rendimiento (puntuaciones de corte) Presentación de resultados: datos sobre los niveles de adquisición de cada competencia. Medidas de tendencia central y dispersión de las puntuaciones. Información sobre la precisión de las medidas (error estándar, intervalos de confianza …). Análisis de excelencia y equidad.

Resultados en matemáticas PISA 2003 1 2 3 Hong Kong: 550 Media OCDE: 500 España :485

Rendimiento de los alumnos en matemáticas PISA (2003).

Porcentaje de alumnos en cada nivel de matemáticas (2003).

Porcentajes de alumnado por niveles de competencia

Porcentajes por niveles de competencia: comparación con Finlandia Situación figurada: (se realiza una traslación a la derecha equivalente a un nivel) Situación real

Resultados por repetición de curso

Relación entre resultados en matemáticas y equidad:

Diferencias por titularidad de los centros Si se detrae el efecto del nivel socio-económico y cultural de estudiantes y centros, los resultados son muy parecidos

Informes y difusión de los resultados  Modelos de informe en función de las distintas audiencias. INFORME AUDIENCIA CONTENIDO Marco e informe técnico de las EGD Profesionales de la educación Marco y descripción de las EGD Resumen ejecutivo Responsables de la educación (Estado y CCAA) Resumen de resultados principales Informe de resultados de 4º EP y 2º ESO Ciudadanos Datos y análisis de resultados, contextos y recursos. Estado y CCAA Estrategias para la difusión de los resultados.

Rendir cuentas para mejorar la educación española Publicidad de los resultados y rendición de cuentas ante el Parlamento: Evaluaciones generales de diagnóstico Evaluaciones nacionales e internacionales. Indicadores educativos .

Políticas de mejora Escasos recursos Recursos suficientes Propuestas de mejora Bajo rendimiento Mejoras de carácter particular Mejora del rendimiento Mejora sistemática Escasa exigencia y control Elevada exigencia. Evaluación Bajo rendimiento Estancamiento Conflicto Desmoralización Escasos recursos

Cuando puedes medir aquello de lo que hablas, y expresarlo con números, sabes algo acerca de ello; pero cuando no lo puedes medir … tu conocimiento es pobre e insatisfactorio: puede ser el principio del conocimiento, pero apenas has avanzado con tus pensamientos hacia la ciencia Lord Kelvin Muchas gracias Enrique Roca