Probas de certificación Formación CFR. Formación CFR. Los ítems de respuesta breve. José Ramos. Dpto Italiano. EOI de Vigo Formación CFR. Ourense 10 mayo.

Presentación del tema: "Probas de certificación Formación CFR. Formación CFR. Los ítems de respuesta breve. José Ramos. Dpto Italiano. EOI de Vigo Formación CFR. Ourense 10 mayo."— Transcripción de la presentación:

1 Probas de certificación Formación CFR. Formación CFR. Los ítems de respuesta breve. José Ramos. Dpto Italiano. EOI de Vigo Formación CFR. Ourense 10 mayo 2014. José Ramos

2 Probas de certificación  Ejercicio práctico: la familia Smith (ejercicio de C.O.)  La tarea de respuesta abierta: ¿qué es?  Antes de redactar ítems: el trabajo previo  La tarea: ¿por dónde empezar?  La redacción de ítems.  El control de calidad. T2 C.O. La tarea de respuesta abierta. Índice. Formación CFR. Ourense 10 mayo 2014. José Ramos

3 Probas de certificación Ok.  ¿Tema del nivel? > Ok. > Información personal y familia. Ok.  ¿Nivel lingüístico del texto? > Ok. > (A2+ -B1) Ok.  ¿Calidad del audio? > Ok. > lo escucho bien en mi casa. Ok.  ¿Velocidad del audio> Ok. > yo lo entiendo. Ok.  ¿Cantidad de información del texto? > Ok. > suficiente sì  ¿Nº ítems suficientes? sì >  selección items mejores Ok. >  ¿Objetivo del nivel?> Ok. > sì requiere informaciones simples  Instrucciones: completar la celdas posibles con informaciones. La familia Smith: tarea en fase de construcción Formación CFR. Ourense 10 mayo 2014. José Ramos

4 Pruebas de certificación La tarea. Completar un diagrama/tabla/gráfico. Respuesta abierta.  Comprensión auditiva: Formación CFR. Ourense 10 mayo 2014. José Ramos

5 Pruebas de certificación EOI Lo que está en juego. “Las tareas basadas en ítems de respuesta abierta plantean la resolución de una cuestión o pregunta concreta a partir de un reactivo determinado. El candidato debe producir su propia respuesta a preguntas abiertas (preguntas que no pueden contestarse con un sí o un no) El candidato deberá realizar la transformación que se le propone de una estructura gramatical. En la elaboración de este tipo de ítem es muy importante clarificar en las instrucciones en qué términos se espera que el candidato responda o resuelva el ítem. ”  Formación CFR. Ourense 10 mayo 2014. José Ramos

6 Probas de certificación El ítem de respuesta breve tiende a limitar tanto el contenido como la forma de la respuesta del estudiante. El CONTENIDO se limita por la especificación y restricción del reactor. La FORMA de las respuestas del estudiante está limitada por el modo en que se redacta el reactor que explicita las especificaciones de requerimiento. Este tipo de ejercicio pone en juego estrategias de comprensión que hay que practicar con el alumno en el aula. La importancia de la fase de pre-audición Formación CFR. Ourense 10 mayo 2014. José Ramos

7 Probas de certificación  Actores y acciones> qué quien  Circunstancias > dónde / cuando  Explicar relaciones de causa efecto> por qué / para qué  Describir aplicaciones de principios> qué / cuándo  Presentar argumentos pertinentes > por qué  Hipótesis sostenibles > si / cuándo  Conclusiones válidas :> qué  Supuestos necesarios > si  Limitaciones de los datos > excepto / si / cuándo  Explicar métodos y procedimientos > qué / cómo Algunos ejemplos de lo que puede preguntarse con ítems de respuesta breve (Gronlund 1965): Formación CFR. Ourense 10 mayo 2014. José Ramos

8 Probas de certificación EOI  nivel de la prueba.  especificaciones del ejercicio.  ¿qué queremos medir? comprensión de detalle. estrategias de lectura el trabajo en el aula El trabajo previo. Formación CFR. Ourense 10 mayo 2014. José Ramos

9 Probas de certificación La redacción de ítems El reactivo Formación CFR. Ourense 10 mayo 2014. José Ramos

10 Probas de certificación  debe ser conciso y proporcionar al candidato sólo la información necesaria. Evitar verborrea innecesaria: que el candidato capte inmediatamente el objetivo de la pregunta minimizando el tiempo necesario para su lectura.  debe estar muy bien redactado para que el estudiante pueda contestar solo lo que el docente espera en la forma breve que se espera. Solo hay una respuesta.  debe ser claro, no debe presentar ambigüedades para evitar que el candidato lo interprete mal El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

11 Probas de certificación  debe estar redactado en un lenguaje sencillo apropiado al nivel, fácilmente comprensible, gramaticalmente correcto y apropiado al nivel.  debe estar preferentemente, en forma interrogativa directa: para intermedio son más fáciles las preguntas con: qué, cuánto, cuántos, quién, quiénes, cuándo. Reserva para avanzado: cuál, cuáles, dónde, por qué, para que o cualquier pregunta introducida por una preposición. Suelen generar al candidato mayores dificultades en la transformación sintáctica necesaria para generar la respuesta. El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

12 Probas de certificación  se pueden redactar ítems en forma de enunciado: siempre que vaya precedido de un verbo que demande una acción concreta: Indique…..  evitar preguntas generales. No pedir a los estudiantes que respondan a aspectos NO IMPORTANTES> No pedir respuestas detalladas, sino precisas, respecto al conocimiento.  Preguntar por información no por conocimiento.  Ojo al uso de los formatos (comillas, etc) pueden inducir a errores y se usan incorrectamente El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

13 Probas de certificación  Evitar las reactivos capciosos. Las preguntas deben ser representativas de los conocimientos del nivel que queremos medir y no deben jugar con el candidato al gato y al ratón  Evitar peguntas obvias, vacías de contenido, que no necesiten de la lectura del texto para ser respondidas o que se respondan por conocimientos o mecanismos ajenos a la comprensión.  Evitar las preguntas con varias opciones de respuesta, por ejemplo, de 5 responder 3 a elección.  La creación de ítems usando ‘partes literales del audio’ facilita la identificación de la información. Escuchan solo 2 veces el texto El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

14 Probas de certificación  Evitar preguntas sobre temas ‘discutibles’ y preguntas basadas en meras opiniones: preguntar por información, concreta y fácilmente identificable en el texto. Preguntar por hechos, conceptos, datos concretos, leyes, principios teorías y generalizaciones.  Controlar que el nivel de dificultad y la longitud de las ítems sea homogéneo.  Preguntar por ‘todo’ el texto y distribuir las preguntas de manera que el candidato tenga tiempo para poder responder teniendo en cuenta el proceso de la prueba. El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

15 Probas de certificación  Redactar un número suficiente de preguntas para representar los aspectos principales de los contenidos que son objeto de examen. Seleccionar las mejores. Comprobar la relevancia de todas las preguntas: ¿son todas las que están? Comprobar la representatividad de todos los contenidos importantes del dominio: ¿están todas las que son?  Nunca redactes ítems partiendo de la transcripción del audio y asegúrate de que lo que tu entiendes es lo que dice el texto antes de redactar el ítem.  Limitar el espacio para la respuesta (el doble de lo previsto)  Realizar todos los cambios derivados de todos los procesos de comprobación. El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

16 Probas de certificación  Para terminar recuerda que el trabajo duro está en la búsqueda y selección del texto. De un buen texto, de un texto apropiado siempre se pueden sacar buenos ítems y además resulta más fácil hacerlo. Redactar un buen ítem es un trabajo de paciencia, de revisar y de mejorar. Nunca sale el ítem a la primera como tampoco existe el ítem definitivo, siempre se puede mejorar. Escucha a quien pilota tu trabajo y no trates de justificar los comentarios que te hagan. Trabaja el ítem hasta que no dé que hablar. El reactivo… Formación CFR. Ourense 10 mayo 2014. José Ramos

17 Probas de certificación  Aspectos formales: como la redacción, la precisión de las instrucciones, la claridad en la presentación de la tarea, adecuación del lenguaje al nivel de la población y otros dependiendo del tipo de prueba.  Pertinencia : entendida como la relación del ítem con lo que la prueba pretende medir.  Importancia o relevancia: hace referencia al contenido específico de la pregunta en relación con la estructura de prueba. El constructor de los ítems tiene la responsabilidad de seleccionar aquellos aspectos específicos que considere importantes, de acuerdo con el dominio o atributo que se pretenda medir.  Dificultad: entendida como una apreciación subjetiva y a priori del nivel de maestría necesario para responder el ítem.  Probable poder discriminativo: La discriminación de un ítem es el grado en que, como unidad, permite diferenciar algunos grupos de interés, por ejemplo, quienes tienen alta maestría en el dominio de quienes no. El control de calidad Formación CFR. Ourense 10 mayo 2014. José Ramos

18 Probas de certificación Nota: Los ejemplos con * son traducciones de transcripciones de audios e ítems redactados en italiano. Dejo sin traducir los términos en inglés que se usan en italiano y que formaban parte del texto o de las preguntas. La traducción de las preguntas intentan reproducir ‘literalmente’ la estructura usada en la pregunta L2 Prueba a señalar porqué son buenos o no los ítems de los ejemplos que vienen a continuación Observa los ejemplos Formación CFR. Ourense 10 mayo 2014. José Ramos

19 Probas de certificación MEJOR NO ¿Cuál es la petición de las asociaciones del mercado milanés de la fruta y la verdura al ayuntamiento? MEJOR: ¿Qué piden al ayuntamiento los manifestantes? Ejemplo*: Exigir al Pleno del Ayuntamiento la aprobación del plan de recalificación del mercado de Milán. Esta es la causa de la manifestación que ha visto desfilar, desde la calle Lombroso hasta la plaza de la Scala, con una parada delante del Palacio del Marino, sede del ayuntamiento de Milán, a los trabajadores de la Asociación de mayoristas milaneses de la fruta y la verdura, al Consocio de productores locales, a los representantes de SOGEMI y a los trabajadores de las mayores cooperativas de los Mercados Generales. Formación CFR. Ourense 10 mayo 2014. José Ramos

20 Probas de certificación MEJOR NO: ¿Cuál es la causa derivada del mal tiempo que provoca continuos blackout ? MEJOR: ¿Por qué se va la luz cuando llueve mucho en verano? Ahora se está eliminando el amianto. Cada vez que cae una tormenta durante el periodo estivo, tenemos que soportar continuas interrupciones del servicio eléctrico porque las centrales eléctricas se inundan sistemáticamente. Nosotros, fundamentalmente, pedimos que llegue de una vez el dinero para… eh …para empezar de una vez con las obras (porque) así no podemos estar. Ejemplo*: Formación CFR. Ourense 10 mayo 2014. José Ramos

21 Probas de certificación MEJOR NO: ¿En cuánto estima el texto la fortuna de Bill Gates? Ejemplo: Ejemplo: Plantear la pregunta de manera clara, asegurándose de que sólo una respuesta. Evitar usar aseveraciones recogidas directamente del libro que puedan, fuera de su contexto, convertirse en ambiguas. El empresario y filántropo estadounidense, cofundador de la empresa de software Microsoft, William Henry Gates, -más conocido como Bill Gates- vio la luz en Seattle, Washington, USA el 28 de octubre de 1955). En 2013 su fortuna se estimaba en 15.8 mil de dólares y actualmente se acerca a los 78.5 mil millones de dólares, convirtiéndolo así en el hombre más rico del mundo superando al mexicano Carlos Slim. Formación CFR. Ourense 10 mayo 2014. José Ramos

22 Probas de certificación MEJOR NO: ¿Qué estaba en manos de Carlos Slim? ¿En qué ciudad vio la luz Bill Gates? Ejemplo: Ejemplo: evitar reactores basados en juegos de palabras o frases hechas o sinónimos descontextualizados. Evitar usar aseveraciones recogidas directamente del libro que puedan, fuera de su contexto, convertirse en ambiguas El empresario y filántropo estadounidense, cofundador de la empresa de software Microsoft, William Henry Gates, -más conocido como Bill Gates- vio la luz en Seattle, Washington, USA el 28 de octubre de 1955). Su fortuna está estimada en 78.5 mil millones de dólares, la cual en 2013 ascendió a 15.8 mil millones de dólares, convirtiéndolo así en el hombre más rico del mundo y recuperando el título que anteriormente estaba en manos del mexicano Carlos Slim. Formación CFR. Ourense 10 mayo 2014. José Ramos

23 Probas de certificación MEJOR NO: ¿Cuántos años tiene Bill Gates? ¿En cuánto ha aumentado la fortuna de Bill Gates desde 2003? Ejemplo: Ejemplo: evitar reactores en los que el candidato tenga que hacer cálculos, elucubraciones o deducciones complejas. El empresario y filántropo estadounidense, cofundador de la empresa de software Microsoft, William Henry Gates, -más conocido como Bill Gates- vio la luz en Seattle, Washington, USA el 28 de octubre de 1955). Su fortuna está estimada en 78.5 mil millones de dólares, la cual en 2013 ascendió a 15.8 mil millones de dólares, convirtiéndolo así en el hombre más rico del mundo y recuperando el título que anteriormente estaba en manos del mexicano Carlos Slim. Formación CFR. Ourense 10 mayo 2014. José Ramos

24 Probas de certificación MEJOR NO: Según Garko, los del signo de Virgo, ya que tendrán una semana complicada ¿qué deberían evitar siguiendo el consejo de la Luna? MEJOR NO: Según la luna, ¿qué no deben hacer los del signo de Virgo? EN TODO CASO: ¿Qué deben evitar los Virgo?  Ejemplo*: Ejemplo*: evitar en el reactivo información innecesaria: al no ser indispensable, dificulta comprender el problema planteado. Se deben exceptuar los casos en que la especificación del reactivo requiera discriminar información. Y pasemos ahora al signo de Virgo. Se presenta una semana bastante complicada, prestad atención a la salud. La Luna aconseja que no os dejéis acompañar en coche. Yo os deseo lo mejor y espero vernos de nuevo pronto. Nota: Garko es el vidente que protagoniza el audio y del que se habla al principio del mismo Formación CFR. Ourense 10 mayo 2014. José Ramos

25 Probas de certificación MEJOR NO: ¿Qué deben evitar los Virgo? Que los acompañen en coche/ ser acompañados en coche Ejemplo*: Ejemplo*: atención cuando usamos sinónimos en la redacción del reactor. La respuesta puede provocar procesos de reelaboración sintácticos complejos Y pasemos ahora al signo de Virgo. Se presenta una semana bastante complicada, prestad atención a la salud. La Luna aconseja que no os dejéis acompañar en coche. Yo os deseo lo mejor y espero vernos de nuevo pronto.. Formación CFR. Ourense 10 mayo 2014. José Ramos

26 Probas de certificación MEJOR NO: ¿Qué es exactamente lo que, en el nuevo zapato, consigue favorecer el drenaje? ¿Qué es lo que ayudaría a eliminar el llamado “efecto pie desnudo”? MEJOR : ¿Qué ayuda a eliminar el “ efecto pie desnudo ”? ¿Qué ayuda a eliminar el “ efecto pie desnudo ”? Ejemplo*: Ejemplo*: evitar en el reactor palabras poco comunes y tecnicismos innecesarios. Ojo al uso de sinónimos a la hora de redactar los ítems. El efecto pie desnudo, de hecho, estimula la circulación linfática y ayudaría a eliminar, según dicen, la celulitis. Quien se ha probado las zapatos anticelulitis afirma haber perdido en un mes el 50% de los tejidos adiposos. Se verificaría, por tanto, una gradual, reabsorción de la celulitis. Claramente la noticia ha sido acogida por el público femenino de Los Ángeles con entu... enorme entusiasmo. De hecho, los zapatos anticelulitis han desaparecido prácticamente de los estantes en tiempo record y no se repondrán hasta mayo o incluso junio. Formación CFR. Ourense 10 mayo 2014. José Ramos

27 Probas de certificación MEJOR NO: Persitirán las nubes y, ¿qué es lo que será, solo en Trentino Alto Adige, amplio? MEJOR : ¿Cuál es la previsión para Trentino Alto Adige? Ejemplo*: Ejemplo*: los ítems deben estar bien redactados, sin errores sintácticos, ortográficos etc. La base del reactivo es confusa debido al uso de lenguaje sofisticado, estructura gramatical compleja, o a su mala formulación. Atención a las transcripciones Insisteranno ancora molte nuvole, le schiarite saranno ampie soltanto in Trentino Alto Adige. Per quando riguarda, poi, le temperature saranno decisamente miti con punti anche di 16, 17 gradi sulle Venezia. Persistirán todavía las nubes, se abrirán amplios claros solo en Trentino Alto Adige. Por lo que se refiere a las temperaturas, serán claramente suaves llegando a los 16 y 17 grados en la zona de Venecia Nota: esta transcripción necesita dos aclaraciones. La estructura ‘Insisteranno ancora molte nuvole’ es lenguaje específico de la meteorología. Si no se escucha el texto audio se puede pensar en un error de transcripción. En el item original hay un error en el verbo similar al de la traducción. Algo parecido, sucede con la estructura ’16 17 gradi sulle Venezie’ donde se usa Venezie al plural para indicar ‘la zona de Venecia’. Hay un error en la transcripción que deja el artículo en plural y el sustantivo en singular Formación CFR. Ourense 10 mayo 2014. José Ramos

28 Probas de certificación MEJOR NO: ¿Bajo qué premisa no se puede modificar la preceptiva de la compañía? MEJOR NO: ¿Por qué los niños de más de 2 años deben tener un billete> EN TODO CASO: ¿Por qué los niños de más de 2 anos deben ocupar un asiento? Ejemplo*: Ejemplo*: los reactores deben estar bien redactados, sin errores sintácticos, ortográficos etc. La base del reactivo es confusa debido al uso de lenguaje sofisticado, estructura gramatical compleja, o a su mala formulación. Por su parte, Easyjet responde: en referencia a los hechos acaecidos el 22 de agosto en el vuelo Bari- Milano Malpensa la compañía, aun lamentando profundamente lo acaecido, afirma que el propio reglamento, claramente visible en su página web, como, por otro lado, el del resto de las compañías aéreas, estipula que los niños de dos años cumplidos deben pagar un billete y por tanto ocupar un asiento. El reglamento, sintiéndolo mucho y por razones de seguridad del menor, no puede ser incumplido. En este caso concreto, ni siquiera hubiese sido posible acomodar al menor ya que la aeronave estaba al completo. Nota: en la versión original el redactor, intentando evitar en la pregunta la palabra ‘reglamento’, usa un sinónimo imposible ‘precettistica’ traducido aquí por ‘preceptiva’ Formación CFR. Ourense 10 mayo 2014. José Ramos

29 Probas de certificación MEJOR NO: ¿Cuál es la característica del clima tropical? Respuesta> tener una temperatura elevada durante todo el año. MEJOR: ¿Qué clima se caracteriza por tener una temperatura elevada todo el año? Respuesta> el tropical. Ejemplo: Ejemplo: la respuesta debe ser breve y única. La redacción del reactivo facilitará por tanto que así sea El clima tropical es un tipo de clima habitual de la zona intertropical, en una banda que rodea al Ecuador desde los 23º latitud norte hasta los 23º latitud sur. La clasificación ampliamente reconocida de Wladimir Peter Köppen lo define como clima en el que los doce meses tienen temperaturas medias altas, superiores a los 18ºC. Formación CFR. Ourense 10 mayo 2014. José Ramos

30 Probas de certificación MEJOR NO: ¿A qué categoría pertenece la compañía que se ha visto envuelta en el accidente señalado anteriormente? EN TODO CASO: ¿Qué tipo de compañía aérea es Easyjet en función de sus tarifas ? Ejemplo*: Ejemplo*: Evitar ítems que se responden sin leer o que favorezcan el conocimiento enciclopédico del alumno. Todas los reactores deben ser independientes. ¿No tiene billete? El niño no embarca. De nuevo hablamos de vuelos y de nuevo el punto de mira está en la compañía low cost Easyjet. Después del percance, desmentido por la compañía aérea, acaecido a una cinquentañera romana, obligada a renunciar a volar, porque a causa de su peso habría debido comprar dos billetes, esta vez el desventurado, si así lo queremos llamar, es un señor de Como. Formación CFR. Ourense 10 mayo 2014. José Ramos

31 Probas de certificación MEJOR NO: ¿Qué edad tiene la señora que ha tenido que renunciar a volar? MEJOR NO: ¿Por qué motivo ha tenido que renunciar a volar la señora romana? EN TODO CASO: ¿Por qué la pasajera romana no ha podido volar como los otros pasajeros? ¿Por qué la pasajera debería haber comprado 2 billetes para volar con Easyjet ? Ejemplo*: Ejemplo*: No pedir a los estudiantes que respondan a aspectos no importantes. Antes de realizar el reactivo, analiza cuál es la idea más importante del párrafo o del tema y piensa si en realidad es evaluable. Ojo, algunas preguntas pueden tener respuestas que no esperamos. ¿No tiene billete? El niño no embarca. De nuevo hablamos de vuelos y de nuevo el punto de mira está en la compañía low cost Easyjet. Después del percance, desmentido por la compañía aérea, acaecido a una cinquentañera romana, obligada a renunciar a volar, porque a causa de su peso habría debido comprar dos billetes, esta vez el desventurado, si así lo queremos llamar, es un señor de Como. Formación de redactores de pruebas. Santiago de Compostela 20 enero 2014 A Coruña 24 enero 2014 José Ramos

32 Probas de certificación MEJOR NO: ¿Qué profesiones pone en contacto l’idea del cavolo ? >MEJOR: ¿Qué finalidad tiene (la iniciativa) “L’idea del cavolo”? ¿Cual es el objetivo de (la iniciativa) “L’idea del cavolo”? Ejemplo*: Ejemplo*: No pedir a los estudiantes que respondan a aspectos no importantes. Antes de realizar el reactivo, analiza cuál es la idea más importante del párrafo o del tema y piensa si en realidad es evaluable. Atención al formato cuando se juega con nombres propios A Milano nasce ' L’idea del cavolo', un’iniziativa promossa nell’ambito di ' Golosaria' dal Club Papillon, con il suo presidente, Paolo Massobrio, per avvicinare gli agricoltori del territorio ai commercianti milanesi. En Milan nace ‘L’idea del cavolo’ una iniciativa promovida dentro de la manifestación ‘Golosaria’ por el Club Paillon y su presidente Paolo Massobrio, con el fin para acercar a los agricultores de la zona a los comerciantes milaneses. “L’idea del cavolo” es un juego de palabras, por un lado significa literalmente “la idea de Perogrullo” y al mismo tiempo contiene la palabra ‘cavolo’ que significa ‘col’ muy adecuada a una iniciativa que intenta implicar a agricultores y comerciantes Ojo: redactado sin comillas, Formación CFR. Ourense 10 mayo 2014. José Ramos

33 Probas de certificación MEJOR NO: Una de las asociaciones que participa en la manifestación es… (1 nombre) EN TODO CASO: (admitiendo que la información es relevante? ¿Qué asociación ha participado en la manifestación? Ejemplo*: Ejemplo*: evitar reactores con respuesta múltiples y con redacción confusa o ambigua. Exigir al Pleno del Ayuntamiento la aprobación del plan de recalificación del mercado de Milán. Esta es la causa de la manifestación que ha visto desfilar, desde la calle Lombroso hasta la plaza de la Scala, con una parada delante del Palacio del Marino, sede del ayuntamiento de Milán, a los trabajadores de la Asociación de mayoristas milaneses de la fruta y la verdura, al Consocio de productores locales, a los representantes de SOGEMI y a los trabajadores de las mayores cooperativas de los Mercados Generales. Nota: en realidad el audio habla de una sola asociación pero al redactor le vale como repuesta cualquiera de los participantes. Formación CFR. Ourense 10 mayo 2014. José Ramos

34 Probas de certificación  ¿Coincides con los redactores en anclar tanto textos como ítems en el nivel intermedio?  La información sobre la que interrogan los ítems ¿es en todos los casos información IMPORTANTE o RELEVANTE que merezca la pena el esfuerzo de la comprensión? PARA LA REFLEXIÓN… Formación CFR. Ourense 10 mayo 2014. José Ramos

35 Probas de certificación Gracias Si necesitas ayuda o cualquier aclaración escríbeme un mail a jramos@edu.xunta.es Formación CFR. Ourense 10 mayo 2014. José Ramos