EL ESTUDIO DEL SESGO EN LOS TESTS

Presentación del tema: "EL ESTUDIO DEL SESGO EN LOS TESTS"— Transcripción de la presentación:

1 EL ESTUDIO DEL SESGO EN LOS TESTS
DEFINICIÓN DE SESGO SESGO EN LOS TESTS SESGO EN LOS ITEMS 3.1) TIPOS DE SESGO 3.2) MÉTODOS DE DETECCIÓN 3.3) SOFTWARE

2 Tests tienen importantes consecuencias.
LSAT, GRE, SAT, PISA, TIMSS,… Habrá que asegurarse que lo que el test mide es relevante (validez) para lo que se aplica. Supuesto lo anterior, las puntuaciones en el test o ítems no deben depender de otras características (como género, idioma,..) distintas a las que el test mide. Discriminación en grupos minoritarios: Afro-americanos, latinos, indios _americanos, Discriminación por género…

3 Perspectiva Clásica: Validez Predictiva (sesgo en relación a la predicción de un criterio externo)
Y’=AX+B 2 Y Y 1 Falacia Igualitarista? X X 2 2 Y Y 1 1 X X Educational Testing Service…->DIF

4 ALGUNOS CONCEPTOS Funcionamiento Diferencial del ítem (DIF): Existe DIF si la probabilidad de acierto en el ítem es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo. Los estudios de DIF se ocupan de determinar si los ítems tienen o no este problema. Funcionamiento Diferencial del test (DTF): Existe DTF si la suma de las probabilidades de acierto en el test es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo. Impacto es la diferencia en el rasgo entre los dos grupos. Sesgo (bias): Efecto que se produce en las puntuaciones por alguna fuente de varianza irrelevante al constructo (measurement bias) o el efecto de tales fuentes en la covarianza entre las puntuaciones y un criterio (predictive bias). Por tanto, si hay DIF, se requiere un estudio del porqué difiere el rendimiento el grupo de referencia y el grupo focal, o mayoría y minoría. Si un ítem tiene DIF y un panel de expertos determina que la diferencia de puntuaciones no se debe al constructo medido. El DIF es una aproximación para estudiar el sesgo. Grupo de referencia/Grupo focal

5 IMPACTO Y DIF X NRK ARK PRK NFK AFK PFK 0-15 400 40 .1 1000 200 .2
DIF: Diferencias no explicadas por el nivel de rasgo X NRK ARK PRK NFK AFK PFK 0-15 400 40 .1 1000 200 .2 15-30 500 .5 600 .6 30-45 900 .9 1 Total 2400 1440 1200 Dependen TAMBIEN de las diferencias verdaderas en el nivel de rasgo (Impacto) Paradoja de Simpson

6 TIPOS DE DIF DIF uniforme y no uniforme

7 What does alto mean? Again Also Countertenor High In adition (ejemplo extraído de De ayala, 2009)

8 Caso real (Ejemplo 1): Rendimiento
What is the way around this rectangle? Answer:______ ¿Cuál es el contorno del rectángulo? Grupo P(España) P(USA) 2 inches 4 inches

9 Estudio de DIF (Ejemplo 2): Aptitudes
Abad, Colom, Rebollo, Escorial (2003): Sex differential functioning in the Raven’s Advanced Progressive Matrices: evidence for bias. P.and Ind. Diff. La media en Raven suele ser mayor en los hombres, pese a que no es mayor la media en “factor g”

10 Estudio de DIF (Ejemplo 3): personalidad
Reise, S.P., Smith, L. y Furr, R,M. (2001): Invariance of the NEO-PI-R Neuroticism Scale. Multivariate Behavioural Research, 36 (1), Faceta de ansiedad dentro de la escala de Neuroticisimo del NEO-PI-R: Items más fáciles para los hombres: - A menudo me siento tenso e inquieto - Me preocupa con frecuencia por cosas que podrían salir mal Items más fáciles para las mujeres: - Tengo más miedos que la mayoría de la gente - Me asusto con facilidad Funcionamiento Diferencial del test: Ambos se cancelan. ¿Solución? ¿Eliminar ítems? ¿Construir 2 escalas?

11 Aspectos a considerar:
1.) Si el ítem tiene DIF 2.) Si el DIF del ítem es relevante desde el punto de vista práctico 3.) Si el DIF del ítem se traduce en un test con DTF.

12 DIF y multidimensionalidad
Peso en un rasgo secundario alto para el grupo FOCAL Media & SD en el rasgo secundario Iguales en los dos grupos Peso en un rasgo secundario alto para el grupo FOCAL SD en el rasgo secundario Iguales en los dos grupos Media en el rasgo secundario menor en el grupo Focal

13 DIF y multidimensionalidad
Peso en un rasgo secundario alto para el grupo FOCAL Media en el rasgo secundario Iguales en los dos grupos SD en el rasgo secundario menor en el grupo Focal Peso en un rasgo secundario alto para el grupo FOCAL Media & SD en el rasgo secundario menores en el grupo Focal