Pruebas de nivel: validez y fiabilidad

Presentación del tema: "Pruebas de nivel: validez y fiabilidad"— Transcripción de la presentación:

1 Pruebas de nivel: validez y fiabilidad
Adriana Pérez Vieira

2 Wall, D. , Clapham, C. and Alderson, J. C. (1994)
Wall, D., Clapham, C. and Alderson, J.C. (1994). Evaluating a placement test. Language Testing 11, Fulcher, G. (1997). An English language placement test: Issues in reliability and validity. Language Testing, J 4(2),

3 Objetivos Evaluar las pruebas de nivel Comprobar la validez
Comprobar la fiabilidad Posibles modificaciones

4 Evaluating a placement test
Lancaster Unversity Determinar las dificultades lingüísticas de inglés en alumnos internacionales Recomendar clases de refuerzo apropiadas a estos alumnos ¿Es esta prueba válida y fiable?

5 Validez Fiabilidad Si mide o no lo que tiene por objetivo medir
Qué tan bien lo mide. Si se obtiene el mismo resultado al realizar la prueba en diferentes ocasiones

6 La prueba de nivel Al inicio del curso
Alumnos internacionales con diferentes experiencias académicas Prueba modificada en varias ocasiones hasta la actual.

7 Estructura Gramática Escritura (40’)
Primera parte: se considera que el contenido y el formato le es familiar al alumno y le da seguridad 32 preguntas Escritura (40’) Resumen de 200 palabras de un artículo académico Criterio de evaluación: adecuación del contenido, relevancia, cohesión,vocabulario, gramática, puntuación…

8 Estructura Lectura (35’) Escucha
Mismo artículo que para el ejercicio de escritura 13 preguntas cortas Unir párrafos con titulares Ordenar el texto Microdestrezas: identificar definiciones y ejemplos, ideas principales, cohesión y coherencia Escucha Texto leído por un profesor Texto sobre assignment Escriben información dictada

9 Resultados Se les asigna una nota (letra)
Se les recomienda las clases en función a sus dificultades Las clases corresponden a las cuatro destrezas de la prueba Los alumnos con peor nota son a los que se les recomienda asistir.

10 Validez Opinión de los estudiantes El contenido del examen
Las destrezas Correspondencia con pruebas previas

11 Fiabilidad El alumno obtiene el mismo resultado si su prueba es corregida por dos examinadores diferentes?

12 Instrumentos Cuestionarios a los alumnos
Cuestionarios a tutores de distintas materias Cuestionarios a profesores de lengua

13 Resultados Validez Estudiantes satisfechos
Contenido apropiado excepto escucha (palabra por palabra) Lectura y gramática más altos que escritura. Poca relación entre otras medidas de evaluación

14 Fiabilidad En las partes subjetivas como escritura la fiabilidad es muy baja No hay acuerdo en criterios de evaluación entre examinadores

15 Conclusiones El examen cumple, en general, su propósito
Pueden hacerse mejoras en la prueba de escucha y escritura. Muy poca correspondencia con otros métodos de evaluación (autoevaluación, otras pruebas…) Clases apropiadas porque se adaptan Dificultad de evaluar las pruebas de nivel: falta criterio externo

16 Prueba de nivel en Surrey
La prueba: Determinar que estudiantes necesitan clases de apoyo Estudio inspirado en el de 1994 Mejoras Incluir criterios comunes para evaluación Más datos estadísticos Cuestionarios de estudiantes Desarrollar formas paralelas

17 La prueba Examen de 45’ total Cinco días para los resultados
Sólo los peores pasan por una entrevista oral Los cursos son opcionales

18 Estructura Sección I Sección II Sección III Ensayo descriptivo
Ensayo argumentativo (tres opciones) Sección II Estructura del inglés (10 preguntas) Sección III Comprensión lectora (8 preguntas)

19 Fiabilidad El test es lo suficiente fiable, pero no alcanza un grado alto de fiabilidad Es demasiado largo La población sujeta a examen demasiado numerosa

20 Validez La nota de corte puede no ser la adecuada (referrals/nonreferrals) No hay relación ninguna con el TOEFL Problemas en el contenido (especializado) Alumnos opinan: Justo Problemas de tiempo y de espacio

21 Resultados Existen limitaciones administrativas y logísticas
Necesidad de poner a prueba las preguntas con rigurosidad antes del examen Para comparar pruebas estas tienen que tener una estructura similar Hace falta más investigación

22 Conclusiones Los test de nivel sirven su propósito No son precisos
Sujetos a limitaciones Heterogeneidad de los estudiantes Limitaciones administrativas /logísticas

23 Opinión personal Caso diferente: EOI /niveles
Pueden servir de forma orientativa Speaking? Diferencia destrezas pero no niveles Están sujetas a limitaciones Ignoran diferencias culturales/academic background/ diversidad/inteligencias múltiples Deberían reevaluarse tras 2 semanas de clase

24 Debate ¿Cómo mejoraríais las pruebas de nivel? ¿Es factible?

25 谢谢 ¡GRACIAS!