El marco PISA para la evaluación lingüística Eduardo Vidal-Abarca Catedrático Universidad de Valencia Miembro del Grupo de Expertos de PISA-Lectura

Contenidos PISA: Una visión general PISA-Lectura TCL-PISA De la evaluación al currículum

PISA Una visión general

Mapa de PISA Países OCDE Países fuera OCDE en PISA 2006 Países fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA DEL MUNDO

Evolución de PISA Países OCDE Países fuera OCDE en PISA 2006 Países fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA DEL MUNDO

La evaluación de PISA Competencias complejas Lectura, Matemáticas, Ciencias Evaluadas cada 3 años 2000 Lectura, Matemáticas, Ciencias 2003 Lectura, Matemáticas, Ciencias 2006 Lectura, Matemáticas, Ciencias 2009 Lectura, Matemáticas, Ciencias Recomendaciones de política educativa

Tipos de evaluación En común: Definir un campo de evaluación Diseñar tareas representativas (modelos teóricos, currículum) Graduar tareas por dificultad Desarrollar instrumentos de medida (fiabilidad, validez, etc)

Tipos de evaluación Diferencias: Muestras vs. Totalidades Cantidad de ítems de las pruebas Uso de los datos

PISA: Lectura

Evaluación de sistemas: PISA Marco internacional de evaluación Consenso (definición, marco, medidas) Conexión: políticas públicas – evaluación - investigación Evaluar capacidades lectoras: Más allá de lo escolar (Curriculum vs. Capacidades) Ampliar lo textual (desarrollo personal y social) Conectar con procesos (investigación cognitiva) La competencia en lectura se define como comprender, usar y reflexionar sobre textos escritos a fin de lograr metas personales, desarrollar el conocimiento y las potencialidades personales, y participar en la sociedad

Organización de PISA Lectura Situaciones: ¿En qué situaciones se lee? Textos: ¿Qué textos se leen? Aspectos (tareas): ¿En qué tareas hay que ser un competente lector?

Situaciones Publicas (38 %) – participar en la sociedad Documentos oficiales, periódicos, folletos públicos, etc Educativas (28%) - información y conocimiento Libros de texto, enciclopedias educativas, etc Personal (19 %) – intereses personales Novelas, biografías, cartas, textos informativos, etc Ocupacionales (15 %) – tareas laborales Leer para hacer (p. ej., qué hacer en caso de …)

Textos Continuos (64 %) No-continuos (36%) Expositivos Narrativos Argumentativos Descriptivos Instrucciones No-continuos (36%) Gráficos Tablas Diagramas Mapas Anuncios

Artículo periodístico Público Continuo-Expositivo

Folleto informativo Ocupacional Continuo-Descriptivo

Figura de Enciclopedia Educativo No-Continuo - Gráfico

Informe de resultados Público No-Continuo Tabla

2009 Textos Continuos No-continuos Mixtos Múltiples Medio: Impreso Electrónicos 2009

Aspectos (tareas) COMPRENDER USAR REFLEXIONAR SOBRE Textos escritos Preguntas de INTRUCCIONES: Consulta la tabla para contestar a las preguntas siguientes

Aspectos (estructura de tareas) LECTURA Información en texto Fuera del texto

Partes independientes Aspectos (estructura de tareas) LECTURA Información en texto Fuera del texto Partes independientes Relaciones en el texto Todo el texto Partes del texto

Aspectos (estructura de tareas) LECTURA Información en texto Fuera del texto Partes independientes Relaciones en el texto Todo el texto Partes del texto Recuperar Comprensión global Interpretar

Reflexionar y Evaluar Contenido Reflexionar y Evaluar Forma Aspectos (estructura de tareas) LECTURA Información en texto Fuera del texto Partes independientes Relaciones en el texto Contenido Estructura Todo el texto Partes del texto Reflexionar y Evaluar Contenido Reflexionar y Evaluar Forma Recuperar Comprensión global Interpretar

Escalas (Capacidades) LECTURA Información en texto Fuera del texto Recuperar información Interpretar Reflexionar Comprensión global Contenido Recuperar Interpretar Forma

PROCESOS DE COMPRENSION Comprender un texto: Operaciones -> representación mental Intra-texto: (ciclos) Formar ideas Relacionar ideas: partes, globalmente Auto-regular Más allá: contenidos, forma Responder preguntas: Comprender pregunta (Auto-regular) Activar representación Construir Respuesta (Auto-regular) Decisiones (¿releer?)

OPERACIONES MENTALES Formar ideas Relacionar ideas: Elementos textuales Relación global Párrafo Texto Auto-regular

CONOCIMIENTO PREVIO + TEXTO REPRESENTACION FINAL CONOCIMIENTO PREVIO + TEXTO Representación mental COHERENTE Representación mental INCOHERENTE (y errónea)

PROCESO PREGUNTA-RESPUESTA … … …… …. .. TEXTO Xxx xxx xx xxx xxx xx x xxx xxx x xxx xx xx x xx xx xx PREGUNTA ¿Cuál de las …? Ciclos: pregunta – (texto) - respuesta Auto-regulación 2 CAMBIOS EN LA REPRESENTACIÓN

Fuentes de Dificultad Texto: longitud, complejidad, familiaridad Pregunta -Texto: cantidad de información para buscar o relacionar superposición pregunta-texto (inferencias) información textual en competición (contexto de ideas) cantidad conocimiento previo para activar (transferencia) Formato de pregunta: seleccionar vs. producir

EJEMPLOS

EJEMPLO

EJEMPLO

Niveles de competencia (Integrar) 5 Comprensión completa y detallada del texto 4 Inferencias basadas-en-el-texto en contexto poco familiar Integrar partes del texto para entender una idea importante 3 2 Identificar la idea esencial de un texto 1 Reconocer el tema esencial del texto cuando el tema es familiar

Conclusiones Esquema de competencias amplio pero específico Más allá de lo escolar Tareas variadas y ajustadas a competencias

Test (Individual) de Competencias en Lectura para ESO (TCL)

TCL-PISA (Lápiz y papel) Modelo PISA de Capacidades Recuperar Interpretar Reflexionar Objetivos: Evaluar capacidades a comienzos de ESO Conectar con intervención educativa

Procedimiento de elaboración Decidir el esquema de competencias (PISA) Seleccionar/Elaborar Textos Pertinentes Atractivos Elaborar preguntas Formulación clara Dificultad variada Criterios de corrección claros Pruebas piloto previas

Contenido Textos: Preguntas (20) Tarea: Continuos 3 No continuos 2 Recuperar Integrar Reflexionar Tarea: Contestar preguntas usando información textual

Ejemplo 1

Ejemplo 2 Accidentes de tráfico

El calentamiento global Ejemplo 3 El calentamiento global Variación de la temperatura de La Tierra (1000-2000) Aumento de Emisiones de CO2 (1800-2000)

Ejemplo 4 Energía nuclear

Aplicación Muestra 603 niños y niñas de 1º, 2º, 3º ESO (204, 200, 199 alumnos respectivamente) Control de variables demográficas y educativas

Puntuación por curso Diferencias significativas entre cursos

Relación TCL y Rendimiento Ciencias: .481** Ciencias Sociales: .298** Matemáticas: .223* Valenciano: .187* Lengua Española: .121

Conclusiones Evaluación individual basada en PISA Adecuada para niveles ESO Base para intervención educativa Relación variada con Rendimiento

De la evaluación de competencias al currículum escolar Evaluación de competencias en centros y aulas De la evaluación de competencias al currículum escolar

Enseñanza/Evaluación de competencias en centros ¿Qué competencias enseñar/evaluar? POCAS competencias Competencias CLAVE Contextos REALES Conexión TRANSVERSAL y LONGITUDINAL ¿Qué tareas utilizar? Alineadas con las competencias Variadas (en dificultad y representatividad) Con criterios de corrección claros Amenas

Evaluación de competencias en centros Procedimiento para evaluación sumativa Elaborar un esquema coherente (competencias – situaciones – conocimientos) Seleccionar/Elaborar materiales de evaluación a partir del esquema y elaborar criterios de corrección Probar materiales (textos, preguntas, etc …): dificultad, adecuación, facilidad de corrección Desarrollar prueba final Tomar criterios externos de validez

Enseñanza de competencias Alinear enseñanza y evaluación (pero no confundir) Enseñar a comprender: ¿Qué enseñar? Captar ideas Relacionar ideas Sintetizar Aplicar Reflexionar y evaluar Cómo enseñar Guiar el aprendizaje Atender diferencias individuales Evaluar periódicamente

¡Gracias por la atención!