Euiparación horizontal en ENLACE Media Superior 2009

Presentación del tema: "Euiparación horizontal en ENLACE Media Superior 2009"— Transcripción de la presentación:

1 Euiparación horizontal en ENLACE Media Superior 2009

2 Recordatorio de esquema de equiparación
Necesidad imperiosa de mantener invariantes los ítems de pretest Fuentes de error en 2008 y 2009 Reactivos invariantes Opciones

3 2008 Pretest

4 2009 Pretest

5 2008 Pretest 2009 Pretest

6 2008 Pretest 2009 Pretest

7 2008 Pretest 2009 Pretest

8 2008 Pretest 2009 Pretest

9 2009 Pretest 2010 Pretest

10 2009 Pretest 2010 Pretest

11 2009 Pretest 2010 Pretest

12 2009 Pretest 2010 Pretest

13 Matematicas nqpt = 50 ligada
Equiparación (vertical) en 2008

14 Español 2009 Sólo 21 reactivos del pretest permanecen invariantes
El resto de los reactivos han cambiado en distintos grados, algunos mucho

15 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 21 ítems invariantes de Español

16 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre

17 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de todos los ítems de Español

18 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de todos los ítems de Español

19 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

20 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

21 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

22 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

23 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

24 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

25 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

26 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los ítems de Español cuando se eliminan los ítems outliers

27 Español Scores

28 Scorel = Scores con los ítems calibrados en estimación libre
Scoref= Scores con los 21 ítems invariantes fijos Score871= Scores con los 40 ítems seleccionados fijos ScoreLIG= Scores con todos los ítems fijos

29 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 21 ítems invariantes fijos

30 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 21 ítems invariantes fijos

31 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 40 ítems seleccionados fijos

32 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 40 ítems seleccionados fijos

33 Matemáticas Sólo 26 reactivos del pretest permanecen invariantes
El resto de los reactivos han cambiado en distintos grados, algunos mucho

34 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 87 ítems seleccionados

35 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 87 ítems seleccionados

36 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 77 ítems seleccionados de Matemáticas

37 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 77 ítems seleccionados de Matemáticas

38 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 76 ítems seleccionados de Matemáticas

39 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 76 ítems seleccionados de Matemáticas

40 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 73 ítems seleccionados de Matemáticas

41 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 73 ítems seleccionados de Matemáticas

42 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 72 ítems seleccionados de Matemáticas

43 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 72 ítems seleccionados de Matemáticas

44 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 61 ítems seleccionados de Matemáticas

45 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 61 ítems seleccionados de Matemáticas

46 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 55 ítems seleccionados de Matemáticas

47 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 55 ítems seleccionados de Matemáticas

48 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 54 ítems seleccionados de Matemáticas

49 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 54 ítems seleccionados de Matemáticas

50 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de 23 de los 26 ítems invariantes de Matemáticas

51 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de 23 de los 26 ítems invariantes de Matemáticas

52 PISA Reading Comprehension
PISA Reading Comprehension. Correlación entre las estimaciones de los parámetros de dificultad en los ítems comunes.

53 PISA Reading Comprehension
PISA Reading Comprehension. Correlación entre las estimaciones de los parámetros de dificultad en los ítems comunes.

54 Correlación entre las estimaciones de los parámetros de dificultad en pretest y en estimación libre de los 54 ítems seleccionados de Matemáticas

55 Matemáticas Scores

56 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 55 ítems seleccionados fijos

57 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 55 ítems seleccionados fijos

58 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 54 ítems seleccionados fijos

59 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 55 ítems seleccionados fijos

60 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 26 ítems invariantes fijos

61 Correlación entre las estimaciones de los Scores obtenidos por libre y con los 26 ítems invariantes fijos

62 Scorel = Scores con los ítems calibrados en estimación libre
Scoref= Scores con los 26 ítems invariantes fijos Score55= Scores con los 55 ítems seleccionados fijos Score54= Scores con los 55 ítems seleccionados fijos

63 Fuentes de error Fuentes de error en 2008 Fuentes de error en 2009
Error Muestral Error de medida Fuentes de error en 2009 Error de equiparación

64 Fuentes de error en 2008 Error Muestral Error de medida
El error muestral no existe conceptualmente, ya que se trata de una aplicación censal Error de medida Se debe a la incertidumbre en la estimación de los scores de cada individuo

65 Fuentes de error en 2008 Error Muestral (igual a cero)
Error de medida (También extremadamente pequeño, dado el enorme tamaño de la población)

66 Fuentes de error en 2009 Error Muestral Error de medida
El error muestral no existe conceptualmente, ya que se trata de una aplicación censal Error de medida Se debe a la incertidumbre en la estimación de los scores de cada individuo Error de equiparación Los ítems seleccionados se consideran una muestra aleatoria del conjunto posible

67 Fuentes de error en 2009 Error de equiparación
Obtenemos una estimación realizando un Bootstraping sobre los ítems de pretest (Brennan, 1998, APM, 22;307. Monseur & Berezner, 2007, JAM, 8(3), P. e. para los 26 reactivos fijos realizamos un remuetreo de 26 elementos con reemplazamiento

68 Resultados Bootstrap

69 Matemáticas 23

70 Matemáticas 53

71 Matemáticas 90

72

73 Español 21

74 Español 40

75 Español 50

76

77

78 Error de equiparacion EMS 2009
Español (40) 0,0453 Matemáticas (53) 0,0422 PISA Reading Comp. (2003) 0,041, (Método estándar, PISA Technical Report 2003) PISA Reading Comp. (2003) 0,062 (Monseur & Berezner, 2007, JAM, 8(3), )

79 Conclusiones Mantener invariantes los ítems de pretest
Combinar nº de ítems con correlación y menos error de equiparación Utilizar el subconjunto de 40 reactivos en Español y el de 53 reactivos en Matemáticas

80 Conclusiones Los resultados están, en lo que se refiere a equiparación, perfectamente alineados con los resultados internacionales