Pruebas de nivel: validez y fiabilidad Adriana Pérez Vieira

Wall, D. , Clapham, C. and Alderson, J. C. (1994) Wall, D., Clapham, C. and Alderson, J.C. (1994). Evaluating a placement test. Language Testing 11, 321- 344. Fulcher, G. (1997). An English language placement test: Issues in reliability and validity. Language Testing, J 4(2), 113-138.

Objetivos Evaluar las pruebas de nivel Comprobar la validez Comprobar la fiabilidad Posibles modificaciones

Evaluating a placement test Lancaster Unversity Determinar las dificultades lingüísticas de inglés en alumnos internacionales Recomendar clases de refuerzo apropiadas a estos alumnos ¿Es esta prueba válida y fiable?

Validez Fiabilidad Si mide o no lo que tiene por objetivo medir Qué tan bien lo mide. Si se obtiene el mismo resultado al realizar la prueba en diferentes ocasiones

La prueba de nivel Al inicio del curso Alumnos internacionales con diferentes experiencias académicas Prueba modificada en varias ocasiones hasta la actual.

Estructura Gramática Escritura (40’) Primera parte: se considera que el contenido y el formato le es familiar al alumno y le da seguridad 32 preguntas Escritura (40’) Resumen de 200 palabras de un artículo académico Criterio de evaluación: adecuación del contenido, relevancia, cohesión,vocabulario, gramática, puntuación…

Estructura Lectura (35’) Escucha Mismo artículo que para el ejercicio de escritura 13 preguntas cortas Unir párrafos con titulares Ordenar el texto Microdestrezas: identificar definiciones y ejemplos, ideas principales, cohesión y coherencia Escucha Texto leído por un profesor Texto sobre assignment Escriben información dictada

Resultados Se les asigna una nota (letra) Se les recomienda las clases en función a sus dificultades Las clases corresponden a las cuatro destrezas de la prueba Los alumnos con peor nota son a los que se les recomienda asistir.

Validez Opinión de los estudiantes El contenido del examen Las destrezas Correspondencia con pruebas previas

Fiabilidad El alumno obtiene el mismo resultado si su prueba es corregida por dos examinadores diferentes?

Instrumentos Cuestionarios a los alumnos Cuestionarios a tutores de distintas materias Cuestionarios a profesores de lengua

Resultados Validez Estudiantes satisfechos Contenido apropiado excepto escucha (palabra por palabra) Lectura y gramática más altos que escritura. Poca relación entre otras medidas de evaluación

Fiabilidad En las partes subjetivas como escritura la fiabilidad es muy baja No hay acuerdo en criterios de evaluación entre examinadores

Conclusiones El examen cumple, en general, su propósito Pueden hacerse mejoras en la prueba de escucha y escritura. Muy poca correspondencia con otros métodos de evaluación (autoevaluación, otras pruebas…) Clases apropiadas porque se adaptan Dificultad de evaluar las pruebas de nivel: falta criterio externo

Prueba de nivel en Surrey La prueba: Determinar que estudiantes necesitan clases de apoyo Estudio inspirado en el de 1994 Mejoras Incluir criterios comunes para evaluación Más datos estadísticos Cuestionarios de estudiantes Desarrollar formas paralelas

La prueba Examen de 45’ total Cinco días para los resultados Sólo los peores pasan por una entrevista oral Los cursos son opcionales

Estructura Sección I Sección II Sección III Ensayo descriptivo Ensayo argumentativo (tres opciones) Sección II Estructura del inglés (10 preguntas) Sección III Comprensión lectora (8 preguntas)

Fiabilidad El test es lo suficiente fiable, pero no alcanza un grado alto de fiabilidad Es demasiado largo La población sujeta a examen demasiado numerosa

Validez La nota de corte puede no ser la adecuada (referrals/nonreferrals) No hay relación ninguna con el TOEFL Problemas en el contenido (especializado) Alumnos opinan: Justo Problemas de tiempo y de espacio

Resultados Existen limitaciones administrativas y logísticas Necesidad de poner a prueba las preguntas con rigurosidad antes del examen Para comparar pruebas estas tienen que tener una estructura similar Hace falta más investigación

Conclusiones Los test de nivel sirven su propósito No son precisos Sujetos a limitaciones Heterogeneidad de los estudiantes Limitaciones administrativas /logísticas

Opinión personal Caso diferente: EOI /niveles Pueden servir de forma orientativa Speaking? Diferencia destrezas pero no niveles Están sujetas a limitaciones Ignoran diferencias culturales/academic background/ diversidad/inteligencias múltiples Deberían reevaluarse tras 2 semanas de clase

Debate ¿Cómo mejoraríais las pruebas de nivel? ¿Es factible?

谢谢 ¡GRACIAS!