Resultados de ENLACE escala vertical Primera cohorte escalada tercero a sexto ( )

Presentación del tema: "Resultados de ENLACE escala vertical Primera cohorte escalada tercero a sexto ( )"— Transcripción de la presentación:

1 Resultados de ENLACE escala vertical Primera cohorte escalada tercero a sexto (2007-2010)

2

3

4

5

6

7

8

9

10

11 Para el estudio de viabilidad de la escala vertical, se comenzó un estudio piloto con la cohorte de alumnos que en 2007 se encontraban en tercero de Educación Primaria Se utilizó una versión modificada del diseño de equiparación horizontal

12

13

14

15

16

17

18

19

20

21

22

23 El diseño de equiparación se complementa con el método de estimación de parámetros
En la equiparación horizontal hemos utilizado lo que denominamos el ‘método de arrastre’

24 En el método de arrastre los parámetros de los ítems de vínculo se ‘arrastran’ al año siguiente y se fijan

25 En el método de arrastre los parámetros de los ítems de vínculo se ‘arrastran’ al año siguiente y se fijan Los demás parámetros se calibran libremente para que se adapten a la escala de los ítems de vínculo Este método ha funcionado muy bien para la equiparación horizontal

26 Otra alternativa es el método de la transformación lineal.
Los dos conjuntos de parámetros se calibran por libre y luego se obtiene la transformación lineal que iguala los valores

27 El problema es que no sabemos qué método es mejor para la equiparación vertical

28 En la equiparación vertical no tenemos un referente para comprobar si nuestras estimaciones son correctas

29 Podemos encontrar un incremento pequeño entre dos años consecutivos

30 Podemos encontrar un incremento pequeño entre dos años consecutivos
1,5 O un incremento grande, y no tenemos un criterio para determinar cuál es la estimación correcta En los dos casos la correlación entre las puntuaciones de los años consecutivos es la misma. Sólo cambia la escala.

31 Podemos encontrar un incremento pequeño entre dos años consecutivos
1,5 O un incremento grande, y no tenemos un criterio para determinar cuál es la estimación correcta Es un problema común cuando se estudia la propia metodología. Por eso en estos casos se acude a los estudios de simulación

32 Estudio de simulación En un estudio de simulación se generan respuestas de sujetos hipotéticos a ítems hipotéticos. La particularidad de estos sujetos es que nosotros generamos su puntuación latente

33 Estudio de simulación Es como si pudiésemos ver en el ‘interior’ de estos sujetos hipotéticos

34 Estudio de simulación Por tanto sabemos cuales son los valores ‘verdaderos’, porque nosotros los hemos generado

35 Estudio de simulación Con estos valores de Theta y con los parámetros de los ítems, generamos los patrones de 0’s y 1’s que constituyen los datos simulados Son las respuestas observables de los sujetos hipotéticos a los ítems

36 Luego analizamos los patrones de respuesta y obtenemos las estimaciones de las thetas.
Comparando las estimaciones con los valores ‘verdaderos’ podemos saber si el método funciona.

37

38

39

40

41

42 Error de equiparación horizontal método de arrastre, cálculo por Bootstrap de reactivos
La magnitud de estos errores de equiparación es igual que la de PISA

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74 Posibles problemas Puntos de Corte Patrones aberrantes
Niveles de agregación Al utilizar ENLACE para un programa de incentivos, eso introduce una modificación en el objetivo original de la prueba que puede producir algunas distorsiones. En primer lugar habría que establecer una escala vertical

75 800 200 3º EP 4º EP 5º EP 6º EP 3º ES

76 2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

77 2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

78 2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

79

80

81

82

83

84

85

86

87

88

89

90 Otros problemas La estabilidad en la identificación por CURP
La simultaneidad de dos escalas numéricas distintas La inconveniencia de los resultados individuales La dificultad para explicar las aparentes incongruencias (¿Se ‘desaprende’?

91 Recomendaciones Mantener las escalas horizontales como medio habitual de comunicación de resultados Utilizar las escalas verticales para audiencias técnicas Mantener la métrica logit original para las escalas verticales Analizar sólo cohortes completas

92 Recomendaciones Continuar con el estudio de viabilidad en los cursos consecutivos de secundaria Estudiar coherencia de escalas inter cohortes Estudiar a fondo las posibilidades de comunicación de los resultados en las escalas verticales (audiencias, formatos, etc.)