Ana Maria Ducasse 1 Taller de evaluación para español como lengua extranjera Sesión 1ª introducción Dr Ana Maria Ducasse Spanish Program Convenor, Senior Lecturer La Trobe University, Melbourne

colaboración. Cervantes de Manila Ambajada de España en Filipinas International Language Testing Association La Trobe University Ana Maria Ducasse 2

3 Objetivos del curso Desarrollar una comprensión de las bases de la teoría de la evaluación Aprender a escribir especificaciones para una prueba Empezar a desarrollar una comprensión de lo que evalúan diferentes tareas y así empezar a desarrollar la habilidad de reconocer un buen examen de uno malo Aprender a evaluar a los estudiantes con pruebas apropiadas Considerar como esta información puede usarse para que mejoren los estudiantes Tener un impacto positivo en la forma de enseñar y aprender en clase de ELE

Ana Maria Ducasse 4 Agenda 1er día  Introducción  Teoría I  Modelo de la lengua  La evaluación  Práctica I evaluación  El habla y la interacción comunicativa evaluada  La comprensión auditiva evaluada

Ana Maria Ducasse 5 Agenda cont.  Teoría II  Modelo adquisición  Métodos de enseñanza  Práctica II evaluación  La expresión escrita evaluada  La comprension lectora evaluada  Conclusión  Project part 2 Rating procedure  Project part 3 Candidates  Conclusions and implications

Presentación personal  ¿Qué lenguas ha aprendido?  ¿Cómo y qué le evaluaron?  ¿Fue justa la evaluación y representativa de lo que sabía?  ¿Cuánto tiempo hace que habla español?  ¿Cuánto hace que enseña español y en qué niveles?  ¿Qué tipo de formación ha tenido para la enseñanza general?  ¿Qué tipo de formación ha tenido para la enseñanza de lenguas?  ¿Qué le interesa saber sobre la evaluación? Ana Maria Ducasse 6

Actividad diagnóstica  Cada grupo de mesas debe discutir y apuntar las respuestas en papeles que se colgarán en la sala.  El último grupo en cada mesa presenta a una puesta en común lo que se ha reunido de cuatro grupos sobre el tema.  Se cuelgan los poster en la sala para referirnos a ellos durante las próximas sesiones. Ana Maria Ducasse 7

8 actividad  ¿Qué entendemos por lengua? ¿Qué hacemos realmente cuando hablamos unos con otros cuando nos escribimos ¿Qué nos capacita para actuar de esta manera? ¿Cuáles de estas capacidades tenemos que aprender cuando intentamos utilizar una nueva lengua  ¿Cómo se aprenden mejor los idiomas? ¿Cómo se realiza el aprendizaje de una lengua?  ¿ Cómo enseñamos para cumplir con los objetivos del curso 3/ 4? ¿Qué podemos hacer para ayudarnos a nosotros mismos y ayudar a otras persona a aprender mejor un idioma?  ¿Cómo evaluamos lo que saben los estudiantes? ¿Cómo establecemos nuestros objetivos y evaluamos nuestro progreso de total ignorancia a dominio eficaz de una lengua?

Objetivos personales  Los principios para hacer exámenes  Si los están haciendo bien  Los resultados de las evaluaciones  Y los niveles que indican  Nuevas maneras y tecnologías aplicables a las clases  Si los principios aplicables a evaluar en inglés son los mismos en castellano Ana Maria Ducasse 9

10 Taller de evaluación para español como lengua extranjera Sesión 2ª teoría 1:modelo de lengua Dr Ana Maria Ducasse Spanish Program Convener La Trobe University, Melbourne

Ana Maria Ducasse 11 ¿Qué entendemos por lengua?..... Los carteles.  ¿Qué dice la teoría sobre los componentes del modelo de lengua que usamos al enseñar y evaluar el éxito del aprendizaje? Teoría I Modelo de lengua y evaluación

Según la teoría..  ¿Qué tienen que aprender o adquirir los alumnos? 1.Las competencias necesarias.. 2.La capacidad de poner en práctica estas competencias 3.La capacidad de emplear las estrategias necesarias para poner en práctica las competencias Ana Maria Ducasse 12

 ¿Qué serían las Las competencias necesarias.. Ana Maria Ducasse 13

1 Las competencias necesarias…  Las competencias necesarias..  Las competencias generales conocimiento declarativo -saber las destrezas y las habilidades -saber hacer la competencia existencial saber -ser la capacidad de aprender -saber aprender  las competencias comunicativas de la lengua las competencias lingüísticas la competencia sociolingüística las competencias pragmáticas  La capacidad de poner en práctica estas competencias usando estrategias apropiadas Ana Maria Ducasse 14

2 La práctica de las competencias  La capacidad de poner en práctica estas competencias El contexto y el ámbito Ana Maria Ducasse 15

Las competencias necesarias cont.  Tenemos el contexto del uso de la lengua El uso de la lengua varía mucho según las necesidades del contexto en que se utiliza. La lengua no es ‘’neutral’. La necesidad y el deseo de comunicarse surge de una situación concreta y tanto la forma como el contenido de la comunicación son una respuesta a la situación. ¿ qué se puede hacer en clase para que quieran comunicarse los estudiantes? Ana Maria Ducasse 16

La práctica de estas competencias cont Los ámbitos Cada acto de uso de lengua se inscribe en el contexto de una situación específica dentro de uno de los ámbitos y esferas de acción en que se organiza la vida social: 1.El ámbito personal 2.El ámbito público 3.El ámbito profesional 4.El ámbito educativo ¿Ustedes en qué ámbito usan el español? ¿Y los estudiantes? Ana Maria Ducasse 17

La práctica de estas competencias cont. la interculturalidad. La nueva lengua no se mantiene separada totalmente de la lengua y cultura materna. No se adquieren formas paralelas de actuar. El estudiante se convierte en plurilingüe y desarrolla a o interculturalidad. La competencia cultural y lingüística se modifica mediante el conocimiento de la otra lengua y contribuyen a crea una conciencia y una destreza y unas capacidades culturales. Comentarios sobre este punto teórico de los profesores Ana Maria Ducasse 18

Las competencias  las condiciones y restricciones que afectan a los estudiantes las condiciones externas imponen distintas restricciones en la comunicación entre el alumno y sus interlocutores  hay condiciones físicas para el habla: ruido, interferencias, distorsiones, condiciones atmosféricas, claridad de pronunciación para la escritura : impresión de mala calidad, mala letra, iluminación deficiente  hay condiciones sociales -número de interlocutores y familiaridad entre ellos -estatus de participantes -presencia de público o de observadores -naturaleza de las relaciones personales entre los participantes -cooperación hostilidad -presión de tiempo o ansiedad ¿COMENTARIOS? -tiempo de preparación -limitaciones de tiempo Ana Maria Ducasse 19

Las competencias  el contexto mental del alumno y el interlocutor:  el contexto externo es filtrado o interpretado a través de los siguientes elementos  el aparato perceptivo los mecanismos de atención la experiencia a largo plazo que afecta la memoria, las asociaciones y las connotaciones  la categorizacion lingüística y todos estos factores influyen la percepción que tiene el alumno del contexto   Tenemos temas de comunicación y propósitos comunicativos y actividades y procesos comunicativos en la lengua cuales son los temas que dan en sus cursos? Ana Maria Ducasse 20

3 Emplear las estrategias necesarias  La capacidad de emplear las estrategias necesarias para poner en práctica las competencias.. ¿Qué son estas estrategias? Ana Maria Ducasse 21

Las estrategias son la aplicación de los principios meta cognitivos: -planificación (planificar los intercambios/ ejecución tomar la palabra /cooperación - interpersonal/ petición de ayuda) -expresión -interacción -mediación -corrección (petición de aclaración/reparación de la comunicación/ ofrecimiento de aclaración Ana Maria Ducasse 22

Contexto local  ¿En torno a qué temas tendrán que desenvolverse los estudiantes? ¿ cuales son más importantes de evaluar?  ¿Qué destrezas tendrán que desarrollar para el examen?  ¿Cómo pueden seguir siendo ellos mismos sin ser malinterpretados en la nueva lengua? ¿Se puede evaluar?  ¿Cómo puede contribuir mejor al aprendizaje de la lengua y a al desarrollo personal y cultural del estudiante?  ¿de cuánto nos podemos responsabilizar como profesores? Ana Maria Ducasse Final de sección 23

El modelo de la lengua que evaluamos incluye: 1.Las competencias necesarias.. (-lingüísticas -sociolingüísticas - pragmáticas) 2.La capacidad de poner en práctica estas competencias (-condiciones físicas - sociales) 3.La capacidad de emplear las estrategias necesarias para poner en práctica las competencias (-planificación -expresión -interacción -mediación-corrección) Ana Maria Ducasse 24

Ana Maria Ducasse 25 Taller de evaluación para español como lengua extranjera Sesión 3ª teoría 1:modelo de la evaluación Dr Ana Maria Ducasse Spanish Program Convener La Trobe University, Melbourne

 La evaluación Componentes Especificaciones Ana Maria Ducasse 26

Ana Maria Ducasse 27 componentes la validez se puede demostrar que lo que la prueba evalúa realmente es lo que debería evaluar la viabilidad Una prueba debe ser viable o práctica porque se ve una muestra limitada de la actuación y hay límites de tiempo y límites de categorías que se pueden manejar como criterios a la vez la fiabilidad si al mismo alumno se le corrige dos veces en la prueba con la misma o diferente calificadora el resultado es el mismo

Tipos de evaluación ¿qué usan? Ana Maria Ducasse 28 1Evaluación del aprovechamientoEvaluación del dominio 2 Con referencia a la normaCon referencia a un criterio 3 Maestría referencia a un criterioContinuum referencia a un criterio 4 Evaluación continuaEvaluación en momento concreto 5 Evaluación formativaEvaluación sumativa 6 Evaluación directaEvaluación indirecta 7 Evaluación de la actuaciónEvaluación de los conocimientos 8 Evaluación subjetivaEvaluación objetiva 9 Valoración mediante lista de controlValoración mediante escala 10 Evaluación globalEvaluación analítica 11 Evaluación en serieEvaluación por categorías 12 ImpresiónValoración guiada 13 Evaluación por otras personasautoevaluación

La evaluación auténtica.  La evaluación auténtica requiere el muestreo de una serie de tipos de discurso oral o escrito relevantes al tema que se evalúa Ana Maria Ducasse 29 Interacción: espontanea turnos breves Expresión: preparada, turnos largos Ejemplo oralConversación Debate informal Cooperación centrada en el objetivo Descripción de su especialidad académica o interés personal

especificaciones Uno de los pasos importantes para elaborar una prueba adecuada, es la construcción de una tabla de especificaciones. El propósito de la prueba es evaluar ¿qué? Ana Maria Ducasse 30 ….

En una tabla de este tipo se señalan los distintos objetivos de un curso, una asignatura, un parcial, etc.objetivos Se asigna un peso o puntuación a cada objetivo dependiendo objetivo de la importancia que tenga, del tiempo dedicado o de cualquier otra consideración que estime relevante el profesor. Ana Maria Ducasse 31

Tabla especificaciones Ana Maria Ducasse 32 ejemploPesopregunta Objetivo 145 %1,3,5 Objetivo 235%2,6 Objetivo 320%4 Producción escrita Producción oral Comprensión escrita Comprensión auditiva Tema 1 Tema 2 Tema 3

Asignaciones de puntajes  La asignación de puntaje delimita desde la misma pregunta el grado de dificultad que se estima para ella. Ana Maria Ducasse 33 Indicadores de evaluación Peso porcentual Nota mínima Duración mins/horas Contenido.. elaborar?? Estructura.. elaborar? Lengua.. elaborar? total?

Producción de especificaciones Para la próxima evaluación que tienen sus estudiantes prepare unas tablas de especificaciones. Año/ Curso/ Tema Tarea de evaluación Aprendizaje esperado a evaluar Indicadores de evaluación Peso porcentual Ana Maria Ducasse Final de sección 34

Ana Maria Ducasse 35 Taller de evaluación para español como lengua extranjera Sesión 4ª práctica1: El habla y la interacción comunicativa Dr Ana Maria Ducasse Spanish Program Convener La Trobe University, Melbourne

el acto comunicativo  4 El habla y la interacción comunicativa La tarea Los criterios La fiabilidad La expresión  Para llevar a cabo una tarea comunicativa los estudiantes necesitan realizar actividades de lengua de tipo comunicativo usando estrategias de comunicación.  Las estrategias son un medio que utiliza el usuario de la lengua para movilizar y equilibrar sus recursos con el fin de satisfacer las demandas de comunicación en el contexto. Ana Maria Ducasse 36

el acto comunicativo  ¿Qué es hablar?  ¿Cómo se evalúa mejor?  ¿Qué criterios usamos? Ana Maria Ducasse 37

el acto comunicativo Muchas actividades de comunicación son interactivas  Los participantes si están cara a cara alternan como productores y receptores con varios turnos al hablar.  En las actividades de interacción oral el usuario actúa con sus interlocutores para construir conjuntamente una conversación mediante negociación de significados siguiendo el principio de cooperación. Ana Maria Ducasse 38

el acto comunicativo la comprensión y la expresión se emplean constantemente  hay estrategias del discurso  estrategias de cooperación (como controlar la colaboración)  estrategias de la interacción (como tomar/ceder el turno; formular un tema) Ana Maria Ducasse 39

el acto comunicativo Ejemplos de expresión oral..  ¿Qué serie de actividades de expresión oral tendrá que aprender el alumno?  ¿Cómo se le capacitará para ello?  ¿Qué se le exigirá? Ana Maria Ducasse 40

el acto comunicativo  Si escriben sincrónicamente se comunican por escrito también con turnos.  Si trasmiten el habla o escriben un texto y los emisores están alejados de los receptores entonces el acto comunicativo se trata de hablar escribir escuchar o leer Ana Maria Ducasse 41

el acto comunicativo Los gestos y acciones y las acciones paralingüísticas forman parte de la comunicación no verbal señalar demostración con deícticos acciones observables con claridad NO hagas eso! la paralingüísticas expresión facial posturas contacto visual prosémica contacto corporal sonido extralingüísticos Chsss uuuuh agh ay bah Cualidades prosódicas tono volumen cualidad de voz Ana Maria Ducasse 42

A ¿qué propone evaluar cuando hay examen oral? ¿cuánto debe valer? ¿cómo debe ser de largo? escribimos especificaciones para el próximo examen oral de su programa B Qué evalúan diferentes tareas orales.  Cada mesa pone lista de ejemplos de tareas orales que hacen con sus estudiantes y tareas orales que han hecho ellos en el pasado. Ana Maria Ducasse 43

el acto comunicativo ¿cómo se puede adaptar el contenido del libro para hacer más tareas comunicativas? ¿cómo desarrollar una escala de criterios?  A Qué evalúan diferentes tareas orales.  BUn ´´buen´´ examen de uno malo Ana Maria Ducasse 44

el acto comunicativo BUn ´´buen´´ examen de uno malo para discutir -El estudiante lee un texto escrito -Aprender un texto de memoria y repetirlo solo -Aprender un texto con un compañero y repetirlo en pareja aprender un tema y el profesor hace preguntas -el profesor tiene una foto y el estudiante lo describe -preparar un debate sobre un tema -escuchar a hablar a su compañero y hacerle preguntas y luego cambiar -tener cada uno un ejercicio con información personal que falta y pedírselo al otro en pareja -el profesor hace una pregunta y el estudiante daun arepuesta larga no preparada. Que se discute después. -dos estudiantes hablan sobre temas conocidos pero no preparados Ana Maria Ducasse 45

Ana Maria Ducasse 46 Taller de evaluación para español como lengua extranjera Sesión 5ª práctica2: La comprensión auditiva Dr Ana Maria Ducasse Spanish Program Convener La Trobe University, Melbourne

 ¿Qué es hablar?  ¿Con qué tareas se evalúa mejor?  ¿Qué criterios usamos? Ana Maria Ducasse 47

Comprension auditiva  El usuario de la lengua como oyente recibe y procesa una información de entrada input en forma de enunciado por uno o más hablantes  Cuando es audio visual recibe simultáneamente una información de entrada auditiva y visual a la vez.  Ejemplos de esto   Canales de comunicación audio visual voz teléfono película ordenador video DVD CD  para escuchar el alumno debe saber percibir el enunciado.. destrezas fonéticas auditivas identificar el mensaje lingüístico comprender el mensaje ) semántica interpretar el mensaje ) cognitivas   durante este proceso de comprensión el alumno dene a la vez usar las siguientes destrezas la memoria la inferencia la predicción la decodificación y destrezas perceptivas, la imaginación,la referencia a lo anterior o posterior  Que actividades se incluyen en comprensión auditiva  Diálogos conversaciones telefónicas discursos comentarios deportivos instrucciones publicas clases… pruebas..  Qué serie de información tendrá que aprender a escuchar el alumno  Como se capacitara para ello  Que se le exigirá al respecto  Cómo preparar tareas y evaluación adecuadas al nivel Ana Maria Ducasse 48

Comprension auditiva Canales de comunicación audio visual voz -teléfono -película -ordenador -video -DVD -CD para escuchar el alumno debe saber percibir el enunciado tener destrezas fonéticas auditivas identificar el mensaje lingüístico comprender el mensaje - semántica interpretar el mensaje – destrezas cognitivas durante este proceso de comprensión el alumno debe a la vez usar las siguientes destrezas: la memoria, la inferencia, la predicción, la decodificación y destrezas perceptivas, la imaginación, la referencia a lo anterior o posterior -Comentar- Ana Maria Ducasse 49

Comprensión auditiva ¿Qué actividades se incluyen en comprensión auditiva? Ana Maria Ducasse 50

Comprensión auditiva actividades como: Diálogos conversaciones telefónicas discursos comentarios deportivos instrucciones publicas clases… pruebas.. Ana Maria Ducasse 51

Comprensión auditiva ¿Qué serie de información tendrá que aprender a escuchar el alumno ¿Cómo se le capacitará para ello? ¿Qué se le exigirá al respecto? ¿Cómo preparar tareas y evaluación adecuadas al nivel? Ana Maria Ducasse 52

 A ¿Qué evalúan diferentes tareas auditivas?. ¿qué propone evaluar cuando hay examen auditivo? ¿cuánto debe valer? ¿cómo debe ser de largo? escribimos especificaciones para el próximo examen oral de su programa ¿cómo se puede adaptar el contenido del libro de texto para hacer más tareas auditivas? ¿cómo desarrollar una escala de criterios? Ana Maria Ducasse 53

Comprensión auditiva  BUn ´´buen´´ examen de uno malo para discutir Escuchan un texto 1 vez, 2 o 3? ¿Con qué aparato? Responden a preguntas abiertas… o cerradas Tienen que terminar frases… Tienen que escoger la respuestas correcta Tienen que rellenar huecos con información Tienen que marcar dibujos que corresponden Tienen que poner frases en orden cronológico Tienen que escribir un resumen de lo que han oído. Tienen que hacer inferencias sobre el texto. Ana Maria Ducasse 54

Comprension auditiva para escuchar el alumno debe saber percibir el enunciado tener destrezas fonéticas auditivas identificar el mensaje lingüístico comprender el mensaje - semántica interpretar el mensaje – destrezas cognitivas durante este proceso de comprensión el alumno debe a la vez usar las siguientes destrezas: la memoria, la inferencia, la predicción, la decodificación y destrezas perceptivas, la imaginación, la referencia a lo anterior o posterior ¿Habría algo que cambiar en la forma que se evalúa la comprensión auditiva por lo general? Ana Maria Ducasse 55

Ana Maria Ducasse 56 Gracias ¿?

Ana Maria Ducasse 57 references  Brown, A. (2000). An investigation of rater's orientation in awarding scores in the IELTS interview (Vol. 3). Canberra, Australia: Cambridge ESOL publications.  Dimitrova-Galaczi, E. (2004). Peer-peer Interaction in a paired speaking test: the case of the First Certificate in English. Unpublished PhD dissertation, Teachers College, Columbia University, New York.Orr, M. (2002). The FCE Speaking test: Using rater reports to help interpret test scores. System, 30(2),  Lazaraton, A. (2002). A qualitative approach to the validation of oral language tests. Cambridge: UCLES/Cambridge University Press.  Meiron, B. E. (1998). Rating oral proficiency tests: A triangulated study of rater thought processes. Unpublished master's thesis. University of California Los Angeles.  North, B. (1995). The development of a common framework scale of descriptors of language proficiency based on a theory of measurement. System, 23(4),  Orr, M. (2002). The FCE Speaking test: Using rater reports to help interpret test scores. System, 30(2),  Politt, A., & Murray, N. L. (1996). What do raters really pay attention to? In M. Milanovic & N. Saville (Eds.), Performance testing, cognition and assessment: selected papers from the15thTesting Research Colloquium (pp ). Cambridge Cambridge University Press. Language