Características técnicas de la prueba ENLACE José Luis Gaviria Universidad Complutense de Madrid

¿Por qué son importantes las características técnicas de ENLACE? ¿Cómo es el diseño de evaluación de ENLACE? ¿Cómo son esas características técnicas y cómo podemos interpretarlas? Si se piensa en apoyar un sistema de incentivos en la prueba ENLACE, es necesario saber cómo es ENLACE como instrumento de medida.

AÑO 1 AÑO 2

AÑO 1 AÑO 2 AÑO 3 AÑO 4 3º Primaria AÑO 1 AÑO 2 AÑO 3 AÑO 4 4º Primaria 5º Primaria

Total de reactivos aplicados en ENLACE (desde 2006 hasta 2009): 3.175

Las dos características técnicas más importantes de un test son la fiabilidad y la validez

En esta presentación analizaremos la evidencia empírica respecto a estas dos importantes dimensiones de ENLACE

Comenzaremos con la presentación de los datos relativos a fiabilidad

Para hablar de la validez, presentaremos los resultados de un estudio llevado a cabo en 2008 en el que se ponen en relación las pruebas PISA y ENLACE

La fiabilidad tiene que ver con la precisión La validez tiene que ver con la exactitud

Un test no puede ser válido si no es fiable

Hay muchas maneras de estimar la fiabilidad La más utilizada es el Alfa de Cronbach

El Alfa de Cronbach es una medida de ‘consistencia interna’ Tiene que ver con la proporción de varianza del test que se debe a la covarianza entre los reactivos

Los valores de la fiabilidad varían entre cero y uno

¿Qué valores de fiabilidad son aceptables? Lo veremos un poco más adelante

Estudio de validez En junio de 2008 se evaluó a una muestra de 11.393 alumnos de 292 escuelas. Se les aplicó un test (SEP-ISA) desarrollado por ACER. Contenía ítems liberados de OCDE PISA e ítems de International Schools Assessment

Se seleccionaron alumnos de 2º y 3º de Secundaria de todo México. La muestra estratificada era de representación nacional. En la inmensa mayoría de las escuelas la participación fue del 100%.

La prueba fue codificada en México por personal entrenado por ACER. A cada alumno además se le aplicó una versión de la prueba ENLACE correspondiente a la forma operativa de 2009.

“Item Statistics: Mathematics The internal consistency is 0.78, which is very good. “ Sheldon Rothman and Van Nguyen (2008 Dec.) México SEP ISA 2008. Summary Report 2008 Australian Council for Educational Research

“Item Statistics: Reading The internal consistency is 0.79, which is very good. “ Sheldon Rothman and Van Nguyen (2008 Dec.) México SEP ISA 2008. Summary Report 2008 Australian Council for Educational Research

Table 41: Reliability if the Three Domains Based Upon Unconditioned Unidimensional Scaling Scale Reliability Mathematics 0.81 Reading 0.89 Science 0.78 PISA 2000 technical report R. J. Adams, M. Wu, Programme for International Student Assessment, Organisation for Economic Co-operation and Development. P 152

Datos de fiabilidad de ENLACE

Es muy importante la evolución Es muy importante la evolución. Éstas son las fiabilidades del último año.

Datos de validez de ENLACE Mientras que en el tiro al blanco la diana está claramente definida, en psicometría la dificultad está en determinar precisamente dónde está la diana. Una práctica habitual consiste en considerar que un test previamente establecido es el ‘marcador’ hacia el que hay que dirigirse. Dado el alto prestigio de la prueba PISA, se decidió utilizar una versión de la misma como criterio.

FIABILIDAD DE LAS PRUEBAS UTILIZADAS PARA EL ESTUDIO DE RELACIÓN ENLACE PISA TEST: ESPAÑOL MATES EMPIRICAL RELIABILITY ENLACE: 0.8517 0.9241 SEP ISA: 0.7900 0.7800

¿Y cómo es la relación entre ENLACE y PISA?

ENLACE SEP ISA

ENLACE

ENLACE

ENLACE SEP ISA

SEP ISA

SEP ISA

ENLACE SEP ISA

ENLACE SEP ISA

Correlaciones entre las escalas de ENLACE y SEP ISA corregidas por atenuación

¿Cuál fue el valor del jugo de fruta que exportó Zedlandia en 2000? EXPORTACIONES (Reactivo PISA) En las gráficas siguientes se muestra información sobre las exportaciones de Zedlandia, un país que utiliza el zed como moneda. ¿Cuál fue el valor del jugo de fruta que exportó Zedlandia en 2000? A 1.8 millones de zeds. B 2.3 millones de zeds. C 2.4 millones de zeds. D 3.4 millones de zeds. E 3.8 millones de zeds.

ENLACE_2008 3° SEC reac. 148 La siguiente gráfica presenta los resultados de la evaluación bimestral del total de alumnos de tercer grado de una escuela secundaria. ¿En cuál de las siguientes parejas de asignaturas hay menor diferencia entre los alumnos reprobados? Biología y Física. Español y Biología. Matemáticas y Física. Biología y Matemáticas.

ENLACE_2008 5° reac. 132 La siguiente gráfica muestra la cantidad de botones de cada color que produce diariamente una fábrica: ¿Qué color de botones, al duplicar su producción, igualaría a los de color blanco? ROJO AZUL VERDE AMARILLO

MATEMÁTICAS EL CARPINTERO PREGUNTA 31: EL CARPINTERO M266Q01 Un carpintero tiene la madera necesaria para hacer una cerca de 32 metros de largo y quiere colocarla alrededor de un jardín. Está considerando los siguientes diseños para ese jardín. Encierra en un círculo “Sí” o “No” para cada diseño, dependiendo si se puede realizar

ENLACE_2008 5° reac. 120 Observa la siguiente figura: ¿Cuál es su perímetro? A) 26 cm B) 72 cm C) 108 cm D) 144 cm

Posibles problemas Al utilizar ENLACE para un programa de incentivos, eso introduce una modificación en el objetivo original de la prueba que puede producir algunas distorsiones. En primer lugar habría que establecer una escala vertical

800 200 3º EP 4º EP 5º EP 6º EP 3º ES

2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

EVOLUCIÓN DE LAS CIFRAS DE DETECCIÓN DE COPIA

Conclusiones La prueba ENLACE en su conjunto presenta valores extraordinariamente altos de confiabilidad Tomando como criterio de validez la concurrencia con PISA, ENLACE tiene también valores extraordinariamente satisfactorios respecto a la validez

Conclusiones La construcción de una escala vertical supone un importante desafío metodológico al que hay que prestar especial atención Implica la redefinición de los niveles de logro Implica la definición de las tasas de crecimiento esperadas condicionadas a los valores de partida Es más difícil de explicar a la población en general Hay fenómenos como las escuelas que rinden menos al final que al principio. Los mismos número en distintos grados realmente no significan lo mismo, etc.

Conclusiones Dado el cada vez mayor impacto de la prueba ENLACE se aprecia una tendencia al crecimiento de los valores detectados de copia Es preciso hacer un esfuerzo para garantizar las correctas condiciones de aplicación en todo el territorio de la prueba ENLACE, especialmente si se llega a utilizar como factor para un programa de incentivos