Características prueba TERCE Catalina Covacevich Seminario internacional de elaboración de ítems para TERCE, UNESCO Bogotá, 25 al 27 de mayo del 2011

Contexto y objetivos de TERCE El propósito del Tercer Estudio Regional Comparativo y Explicativo (TERCE) es evaluar y comparar el desempeño de estudiantes latinoamericanos de primaria en las áreas de Lenguaje, Matemática y Ciencias naturales. El estudio también considera el análisis de estos resultados en función de factores del alumno, aula, escuela y contexto. TERCE está basado en el Segundo Estudio Regional Comparativo y Explicativo (SERCE) y sus resultados en lectura, matemáticas y ciencias naturales serán comparables con los de SERCE. UNESCO ha contratado a MIDE UC para la tarea de construir los instrumentos de la aplicación piloto.

Agenda de TERCE

Marco de evaluación  Las pruebas de TERCE se basan en los currículum de los países participantes y en las habilidades para la vida, modelo presente en los currículum, que considera que la escuela debe promover conocimientos, habilidades, valores y actitudes que sirvan a los estudiantes para participar activamente en la sociedad, como individuos y como ciudadanos. Para TERCE, ICFES realizó una revisión al análisis curricular elaborado para SERCE, analizando qué cambios curriculares han transcurrido desde entonces e incorporando en el análisis los curriculum de los países que no participaron del análisis curricular previo. ICFES desarrolló un documento de ajuste al análisis curricular SERCE (presentado ayer), a partir del se elaboraron las tablas de especificaciones para las pruebas TERCE.  Estas tablas se revisarán por área disciplinaria  

Cantidad y tipos de ítems  Al igual que en SERCE, los ítems serán de dos tipos: selección múltiple y producción de respuestas. El tipo de ítem se escoge en función de la naturaleza del aprendizaje que se desea medir. En la prueba TERCE definitiva se aplicarán la misma cantidad de ítems que en SERCE en las pruebas de lectura, ciencia y matemáticas, y además se conservará la proporción de ítems de respuesta cerrada y de producción de respuesta. Los ítems aplicados en SERCE se distribuyeron de la siguiente manera:

Estructura de la prueba definitiva Para TERCE (al igual que en SERCE) se utilizarán seis formas de prueba, utilizando un sistema de bloques rotados. Cada prueba TERCE tendrá seis bloques, compuestos por un determinado número de ítems, que varía según el grado y la materia. Se armarán seis formas de prueba: cada forma tiene dos bloques y cada bloque aparece en dos formas, una vez al principio y otra vez al final. Por lo tanto, cada estudiante responde dos bloques.

Estructura de la prueba piloto Para la prueba piloto, se pretende probar aproximadamente un 75% más de ítems nuevos de los que se utilizarán en la aplicación definitiva.

Tiempo de aplicación   El tiempo de aplicación asignado para las pruebas en SERCE se mantendrá para TERCE. Esta información debe ser tomada en cuenta al construir los ítems.

La evaluación de escritura en TERCE A partir del análisis curricular se ha optado por el uso de una evaluación auténtica, centrada en tareas comunicativas concretas, según la orientación predominante actualmente en la enseñanza de la lengua materna en la región: el enfoque comunicativo. Este implica considerar diferentes aspectos de la situación de comunicación y a partir de ello proponer un texto, que recurra a las estructuras y formas de organización internas más adecuadas para resolver la tarea comunicativa.  Se solicitará la realización de una única tarea de escritura por estudiante, la que será evaluada con rúbricas que definirán niveles de desempeño bien delimitados en cada uno de los dominios descritos. La propuesta se describe en el documento “Propuesta de la evaluación de la escritura” y se profundizará en este tema en la sesión dedicada a escritura.

Proceso de construcción de los ítems Los ítems serán construidos por: los países participantes en el estudio equipos técnicos de MIDE UC. Cada prueba será coordinada un profesional experto (profesor y experto en la disciplina, con conocimientos en evaluación), quien capacitará en la elaboración de ítems y supervisará la elaboración. Los ítems pasarán por varias instancias de revisión: el encargado de cada prueba el equipo de constructores de MIDE UC un profesional experto en la disciplina un profesional experto en evaluación  Los ítems seleccionados serán editados y diagramados. Esta selección final de ítems es sometida al visto bueno de un grupo de expertos de UNESCO.

Pre piloto (1) Las preguntas abiertas serán sometidas a un pre piloto con el objetivo de probar las pautas de corrección y de obtener respuestas reales para generar los manuales de corrección. Este pre piloto tendrá un carácter exploratorio y se realizará con una muestra pequeña e intencionada.  Cada país podría escoger la muestra, pero se solicita que por favor sean colegios de rendimiento promedio, o rendimiento bajo.

Pre piloto (2)

Bibliografía necesaria para la elaboración de ítems Manual de elaboración de ítems TERCE Análisis curricular TERCE Aportes para la enseñanza de la lectura/ la matemática/ las ciencias naturales Habilidades para la vida

Características formales del envío de ítems Fechas de envío: Ítems de escritura, 3 de junio Ítems de respuesta abierta de matemática y ciencias naturales, 8 de julio Ítems de respuesta cerrada, 22 julio Cantidad de ítems: cada país construirá la cantidad de ítems que pueda. En las sesiones por área disciplinaria se les pedirá una estimación. Estándares de calidad: los especificados en el manual, que serán revisados en la siguiente presentación y ejercitados en la tarde Formato de entrega: cada ítem debe enviarse utilizando las fichas de envío de ítems disponibles en el manual. Se revisará cómo completarlas en las sesiones. A continuación se destacan algunos elementos de la ficha.

Código del ítem Los códigos de envío de ítems constan de 7 caracteres: Por ejemplo, el primer ítem construido por Brasil para lectura en 6º grado tendría el código BRSL601

Modo de envío de los ítems Los ítems se deben enviar a través de una aplicación de la web, disponible en el link: http://146.155.36.92/unesco/ Cada país tendrá un nombre de usuario y clave Los ítems no deben enviarse por correo electrónico, ya que arriesga la confidencialidad del proceso Cada ítem debe ir en un archivo word independiente y tener como nombre el código del ítem Cada imagen debe ir en un archivo separado y tener como nombre el código del ítem

Aplicación web para envío de ítems

Requisitos formales de envío de las imágenes Todas las imágenes (dibujos, tablas, gráficos, etc.) deben enviarse como archivos TIFF o JPG. Las imágenes utilizadas deben ser escaneadas de la imagen original (libro, folleto, lámina, etc.) en resolución mínima de 200 DPI e idealmente 300 DPI. No se deben escanear fotocopias, sino imágenes originales. Si se utilizan imágenes de Internet, estas deben tener un mínimo de 400 pixeles y deben ser guardadas directamente en formato JPG o TIFF. No deben escanearse imágenes impresas de Internet. Dentro de lo posible, las imágenes deben ser a escala real.

Referencias Toda fuente debe citarse, incluyendo las imágenes, tablas y gráficos. Escribir la referencia completa del estímulo o contexto donde se indique: autor, título, editorial, país, año de edición y página. Si el estímulo fue adaptado, señalarlo. Se solicita que las fuentes se citen utilizando los criterios APA, disponibles en el anexo II. Al momento de diagramar las pruebas, estas citas se simplificarán.

Datos de contacto equipo MIDE UC

Fin