Características técnicas de la prueba ENLACE

Presentación del tema: "Características técnicas de la prueba ENLACE"— Transcripción de la presentación:

1 Características técnicas de la prueba ENLACE
José Luis Gaviria Universidad Complutense de Madrid

2 ¿Por qué son importantes las características técnicas de ENLACE?
¿Cómo es el diseño de evaluación de ENLACE? ¿Cómo son esas características técnicas y cómo podemos interpretarlas? Si se piensa en apoyar un sistema de incentivos en la prueba ENLACE, es necesario saber cómo es ENLACE como instrumento de medida.

3 AÑO 1 AÑO 2

4 AÑO 1 AÑO 2 AÑO 3 AÑO 4 3º Primaria AÑO 1 AÑO 2 AÑO 3 AÑO 4 4º Primaria 5º Primaria

5 Total de reactivos aplicados en ENLACE (desde 2006 hasta 2009):
3.175

6 Las dos características técnicas más importantes de un test son la fiabilidad y la validez

7 En esta presentación analizaremos la evidencia empírica respecto a estas dos importantes dimensiones de ENLACE

8 Comenzaremos con la presentación de los datos relativos a fiabilidad

9 Para hablar de la validez, presentaremos los resultados de un estudio llevado a cabo en 2008 en el que se ponen en relación las pruebas PISA y ENLACE

10

11

12

13

14

15

16

17 La fiabilidad tiene que ver con la precisión
La validez tiene que ver con la exactitud

18

19

20

21

22

23

24 Un test no puede ser válido si no es fiable

25 Hay muchas maneras de estimar la fiabilidad
La más utilizada es el Alfa de Cronbach

26 El Alfa de Cronbach es una medida de ‘consistencia interna’
Tiene que ver con la proporción de varianza del test que se debe a la covarianza entre los reactivos

27 Los valores de la fiabilidad varían entre cero y uno

28 ¿Qué valores de fiabilidad son aceptables?
Lo veremos un poco más adelante

29 Estudio de validez En junio de 2008 se evaluó a una muestra de alumnos de 292 escuelas. Se les aplicó un test (SEP-ISA) desarrollado por ACER. Contenía ítems liberados de OCDE PISA e ítems de International Schools Assessment

30 Se seleccionaron alumnos de 2º y 3º de Secundaria de todo México.
La muestra estratificada era de representación nacional. En la inmensa mayoría de las escuelas la participación fue del 100%.

31 La prueba fue codificada en México por personal entrenado por ACER.
A cada alumno además se le aplicó una versión de la prueba ENLACE correspondiente a la forma operativa de 2009.

32

33 “Item Statistics: Mathematics
The internal consistency is 0.78, which is very good. “ Sheldon Rothman and Van Nguyen (2008 Dec.) México SEP ISA Summary Report 2008 Australian Council for Educational Research

34

35 “Item Statistics: Reading
The internal consistency is 0.79, which is very good. “ Sheldon Rothman and Van Nguyen (2008 Dec.) México SEP ISA Summary Report 2008 Australian Council for Educational Research

36 Table 41: Reliability if the Three Domains Based Upon Unconditioned Unidimensional Scaling
Scale Reliability Mathematics 0.81 Reading 0.89 Science 0.78 PISA 2000 technical report R. J. Adams, M. Wu, Programme for International Student Assessment, Organisation for Economic Co-operation and Development. P 152

37 Datos de fiabilidad de ENLACE

38

39

40

41

42

43

44

45

46

47

48

49 Es muy importante la evolución
Es muy importante la evolución. Éstas son las fiabilidades del último año.

50

51

52

53 Datos de validez de ENLACE
Mientras que en el tiro al blanco la diana está claramente definida, en psicometría la dificultad está en determinar precisamente dónde está la diana. Una práctica habitual consiste en considerar que un test previamente establecido es el ‘marcador’ hacia el que hay que dirigirse. Dado el alto prestigio de la prueba PISA, se decidió utilizar una versión de la misma como criterio.

54

55 FIABILIDAD DE LAS PRUEBAS UTILIZADAS PARA EL ESTUDIO DE RELACIÓN ENLACE PISA
TEST: ESPAÑOL MATES EMPIRICAL RELIABILITY ENLACE: SEP ISA:

56 ¿Y cómo es la relación entre ENLACE y PISA?

57

58 ENLACE SEP ISA

59 ENLACE

60 ENLACE

61 ENLACE SEP ISA

62 SEP ISA

63 SEP ISA

64 ENLACE SEP ISA

65 ENLACE SEP ISA

66

67 Correlaciones entre las escalas de ENLACE y SEP ISA corregidas por atenuación

68

69 ¿Cuál fue el valor del jugo de fruta que exportó Zedlandia en 2000?
EXPORTACIONES (Reactivo PISA) En las gráficas siguientes se muestra información sobre las exportaciones de Zedlandia, un país que utiliza el zed como moneda. ¿Cuál fue el valor del jugo de fruta que exportó Zedlandia en 2000? A 1.8 millones de zeds. B 2.3 millones de zeds. C 2.4 millones de zeds. D 3.4 millones de zeds. E 3.8 millones de zeds.

70 ENLACE_2008 3° SEC reac. 148 La siguiente gráfica presenta los resultados de la evaluación bimestral del total de alumnos de tercer grado de una escuela secundaria. ¿En cuál de las siguientes parejas de asignaturas hay menor diferencia entre los alumnos reprobados? Biología y Física. Español y Biología. Matemáticas y Física. Biología y Matemáticas.

71 ENLACE_2008 5° reac. 132 La siguiente gráfica muestra la cantidad de botones de cada color que produce diariamente una fábrica: ¿Qué color de botones, al duplicar su producción, igualaría a los de color blanco? ROJO AZUL VERDE AMARILLO

72 MATEMÁTICAS EL CARPINTERO PREGUNTA 31: EL CARPINTERO M266Q01 Un carpintero tiene la madera necesaria para hacer una cerca de 32 metros de largo y quiere colocarla alrededor de un jardín. Está considerando los siguientes diseños para ese jardín. Encierra en un círculo “Sí” o “No” para cada diseño, dependiendo si se puede realizar

73 ENLACE_2008 5° reac. 120 Observa la siguiente figura: ¿Cuál es su perímetro? A) 26 cm B) 72 cm C) 108 cm D) 144 cm

74 Posibles problemas Al utilizar ENLACE para un programa de incentivos, eso introduce una modificación en el objetivo original de la prueba que puede producir algunas distorsiones. En primer lugar habría que establecer una escala vertical

75 800 200 3º EP 4º EP 5º EP 6º EP 3º ES

76 2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

77 2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

78 2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

79 EVOLUCIÓN DE LAS CIFRAS DE DETECCIÓN DE COPIA

80 Conclusiones La prueba ENLACE en su conjunto presenta valores extraordinariamente altos de confiabilidad Tomando como criterio de validez la concurrencia con PISA, ENLACE tiene también valores extraordinariamente satisfactorios respecto a la validez

81 Conclusiones La construcción de una escala vertical supone un importante desafío metodológico al que hay que prestar especial atención Implica la redefinición de los niveles de logro Implica la definición de las tasas de crecimiento esperadas condicionadas a los valores de partida Es más difícil de explicar a la población en general Hay fenómenos como las escuelas que rinden menos al final que al principio. Los mismos número en distintos grados realmente no significan lo mismo, etc.

82 Conclusiones Dado el cada vez mayor impacto de la prueba ENLACE se aprecia una tendencia al crecimiento de los valores detectados de copia Es preciso hacer un esfuerzo para garantizar las correctas condiciones de aplicación en todo el territorio de la prueba ENLACE, especialmente si se llega a utilizar como factor para un programa de incentivos