Resultados de ENLACE escala vertical Primera cohorte escalada tercero a sexto (2007-2010)

Para el estudio de viabilidad de la escala vertical, se comenzó un estudio piloto con la cohorte de alumnos que en 2007 se encontraban en tercero de Educación Primaria Se utilizó una versión modificada del diseño de equiparación horizontal

El diseño de equiparación se complementa con el método de estimación de parámetros En la equiparación horizontal hemos utilizado lo que denominamos el ‘método de arrastre’

En el método de arrastre los parámetros de los ítems de vínculo se ‘arrastran’ al año siguiente y se fijan

En el método de arrastre los parámetros de los ítems de vínculo se ‘arrastran’ al año siguiente y se fijan Los demás parámetros se calibran libremente para que se adapten a la escala de los ítems de vínculo Este método ha funcionado muy bien para la equiparación horizontal

Otra alternativa es el método de la transformación lineal. Los dos conjuntos de parámetros se calibran por libre y luego se obtiene la transformación lineal que iguala los valores

El problema es que no sabemos qué método es mejor para la equiparación vertical

En la equiparación vertical no tenemos un referente para comprobar si nuestras estimaciones son correctas

Podemos encontrar un incremento pequeño entre dos años consecutivos

Podemos encontrar un incremento pequeño entre dos años consecutivos 1,5 O un incremento grande, y no tenemos un criterio para determinar cuál es la estimación correcta En los dos casos la correlación entre las puntuaciones de los años consecutivos es la misma. Sólo cambia la escala.

Podemos encontrar un incremento pequeño entre dos años consecutivos 1,5 O un incremento grande, y no tenemos un criterio para determinar cuál es la estimación correcta Es un problema común cuando se estudia la propia metodología. Por eso en estos casos se acude a los estudios de simulación

Estudio de simulación En un estudio de simulación se generan respuestas de sujetos hipotéticos a ítems hipotéticos. La particularidad de estos sujetos es que nosotros generamos su puntuación latente

Estudio de simulación Es como si pudiésemos ver en el ‘interior’ de estos sujetos hipotéticos

Estudio de simulación Por tanto sabemos cuales son los valores ‘verdaderos’, porque nosotros los hemos generado

Estudio de simulación Con estos valores de Theta y con los parámetros de los ítems, generamos los patrones de 0’s y 1’s que constituyen los datos simulados Son las respuestas observables de los sujetos hipotéticos a los ítems

Luego analizamos los patrones de respuesta y obtenemos las estimaciones de las thetas. Comparando las estimaciones con los valores ‘verdaderos’ podemos saber si el método funciona.

Error de equiparación horizontal método de arrastre, cálculo por Bootstrap de reactivos La magnitud de estos errores de equiparación es igual que la de PISA

Posibles problemas Puntos de Corte Patrones aberrantes Niveles de agregación Al utilizar ENLACE para un programa de incentivos, eso introduce una modificación en el objetivo original de la prueba que puede producir algunas distorsiones. En primer lugar habría que establecer una escala vertical

800 200 3º EP 4º EP 5º EP 6º EP 3º ES

2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

2000 200 3º EP 4º EP 5º EP 6º EP 3º ES

Otros problemas La estabilidad en la identificación por CURP La simultaneidad de dos escalas numéricas distintas La inconveniencia de los resultados individuales La dificultad para explicar las aparentes incongruencias (¿Se ‘desaprende’?

Recomendaciones Mantener las escalas horizontales como medio habitual de comunicación de resultados Utilizar las escalas verticales para audiencias técnicas Mantener la métrica logit original para las escalas verticales Analizar sólo cohortes completas

Recomendaciones Continuar con el estudio de viabilidad en los cursos consecutivos de secundaria Estudiar coherencia de escalas inter cohortes Estudiar a fondo las posibilidades de comunicación de los resultados en las escalas verticales (audiencias, formatos, etc.)