Estadístico Mantel-Haenszel Estadístico utilizado para determinar cuando dos variables (grupo y acierto) son independientes cuando se condiciona a una tercera variable (nivel de habilidad) 1

Ítems dicotómicos 2

El concepto de Odds Ratio Cociente de Razones (α) 3

¿qué es α? Tendremos “K” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “K” los distintos niveles de rasgo (p.e., intervalos en los que se divide la puntuacion total en el test) En cada una de esas tablas tenemos la siguiente estructura: Grupo 10Total Ref A k B k N Rk Foc C k D k N Fk N 1k N 0k N k α = (A k /B k ) / (C k /D k )= A k D k /B k C k α (Odds ratio) es el Cociente de Razones en el grupo “k”: α indica en qué medida la ratio aciertos/errores es mayor en el grupo de referencia que en el grupo focal 4

Mantel - Haenszel En cada una de las “K” tablas nos podemos encontrar en una de estas tres situaciones: a) No DIF Grupo 1 0 Total Ref /80=0.25 Foc /160 = (160)/40(80)=1 b) DIF a favor grupo focal Grupo 1 0 Total Ref /80=0.25 Foc /120 = (120)/80(80)=0.375 c) DIF a favor grupo referencia Grupo 1 0 Total Ref /80=0.25 Foc /180 = (180)/20(80)=2.25 5

El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno. Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR. Difícil de interpretar…. α 6

El Logaritmo del Cociente de Razones: Ln(α) 7

¿Que es Ln(α)? Asumamos un modelo dicotómico para cada grupo: 8

Si a difiere en los dos grupos, la Odds Ratio depende de Si asumimos a iguales en los dos grupos: Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos 9

Si a difiere en los dos grupos, la Odds Ratio depende de Si asumimos el modelo de Rasch: Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos 10

El logaritmo del cociente de razones común toma valores entre -  e . Si no hay DIF, dará valores cercanos a cero. Si da valores menores que 0, más probabilidad de acierto en GF. Si da valores mayores que 0, más probabilidad de acierto en GR. Más fácil de interpretar…. Ln(α) 11

Hasta ahora… Hemos calculado los valores en cada grupo k… … ahora vamos a calcular los valores en el grupo completo. 12

Estimación de α: Cociente de razones común 13

Si se asume el modelo anterior (no hay efecto del estrato de habilidad), puede calcularse un cociente de razones común (como una suma ponderada de los cocientes de razones obtenidos en los grupos): El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno. Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR. 14

En el caso dicotómico: 15

Cociente de razones común Otros indicador de DIF es el cociente de razones común: Alpha para un grupo: α= (A k /B k )/(C k /D k ) α = (A k D k )/(B k C k ) El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno. Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR. Asumiendo que no hay efecto del estrato 16

Interpretación: Valores negativos indica probabilidad de acierto mayor en el grupo Focal. Valores positivos indica probabilidad de acierto mayor en el grupo de Referencia. Asumiendo un modelo de Rasch con a = 1 y D = 1 Criterios del ETS: A: Está entre y 0.43 C: mayor que 0.64 ó menor que B: El resto. El Logaritmo del Cociente de Razones común: 17

Dificultad en la Escala Delta (ETS) p zRzR Delta R = 13+z R *4 18

Dificultad en la Escala Delta (ETS) p zFzF Delta F = 13+z F *4 19

Diferencia de dificultad en la Escala Delta (ETS) 20

Interpretación de MH-Delta: Valores positivos indica probabilidad de acierto mayor en el grupo Focal. Valores negativos indica probabilidad de acierto mayor en el grupo de Referencia. El valor del Logaritmo del cociente de razones común está, en este caso, en la escala delta (media 13, DT 4), la ausencia de DIF viene indicada por valores cercanos a cero. Criterios del ETS: A: Está entre -1 y 1 (1-> 0.25 en la escala z) C: mayor que 1.5 ó menor que -1.5 (1.5 ->.375 en la escala z) B: El resto. Asumiendo un modelo de Rasch con a=1 y D=1 MH-Delta: Asumiendo un modelo de Rasch con a = 1 y D = 1 El Logaritmo del Cociente de Razones común: 21

1.0/2.35= /2.35=0.64 Se interpretan al revés con distintos puntos de corte 22

Estadístico de contraste para contrastar si α = 1 23

Estadístico de contraste Mantel – Haenszel (Datos dicotómicos): Tendremos “k” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “k” los distintos niveles de rasgo desde 1 hasta I-1 (p.e., intervalos en los que se divide la puntuacion total en el test) Grupo 10Total Ref A k B k N Rk Foc C k D k N Fk N 1k N 0k N k H 0 : α=1 para todo “k” H 1 : α≠1 para algún “k” NUMERO DE ACIERTOS EN EL GRUPO DE REFERENCIA NUMERO ESPERADO DE ACIERTOS EN EL GRUPO DE REFERENCIA SI NO HAY ASOCIACIÓN ENTRE LA PERTENENCIA AL GRUPO Y LA PROBABILIDAD DE ACIERTO (AISLADO EL NIVEL DE RASGO) El estadístico  2 MH sigue la distribución  2 con 1 grado de libertad 24

25

Ejemplo (datos simulados) 26

Generación de datos con IRTLAB 27 20,2 1,1,2PL,0,1.2,-2,,,,, 1,2,2PL,0,1.2,-2,,,,, 2,1,2PL,0,1.2,-1,,,,, 2,2,2PL,0,1.2,-1,,,,, 3,1,2PL,0,1.2, 0,,,,, 3,2,2PL,0,1.2, 0,,,,, 4,1,2PL,0,1.2, 1,,,,, 4,2,2PL,0,1.2, 1,,,,, 5,1,2PL,0,1.2, 2,,,,, 5,2,2PL,0,1.2, 2,,,,, 6,1,2PL,0,1,-2,,,,, 6,2,2PL,0,1,-2,,,,, 7,1,2PL,0,1,-1,,,,, 7,2,2PL,0,1,-1,,,,, 8,1,2PL,0,1, 0,,,,, 8,2,2PL,0,1, 0,,,,, 9,1,2PL,0,1, 1,,,,, 9,2,2PL,0,1, 1,,,,, 10,1,2PL,0,1, 2,,,,, 10,2,2PL,0,1, 2,,,,,

Generación de datos con IRTLAB 28 11,1,2PL,0,0.8,-2,,,,, 11,2,2PL,0,0.8,-2,,,,, 12,1,2PL,0,0.8,-1,,,,, 12,2,2PL,0,0.8,-1,,,,, 13,1,2PL,0,0.8, 0,,,,, 13,2,2PL,0,0.8, 0,,,,, 14,1,2PL,0,0.8, 1,,,,, 14,2,2PL,0,0.8, 1,,,,, 15,1,2PL,0,0.8, 2,,,,, 15,2,2PL,0,0.8, 2,,,,, 16,1,2PL,0,0.8,-2,,,,, 16,2,2PL,0,0.8,-2.5,,,,, 17,1,2PL,0,0.8,-1,,,,, 17,2,2PL,0,0.8,-1.25,,,,, 18,1,2PL,0,0.8, 0,,,,, 18,2,2PL,0,0.8,-0.5,,,,, 19,1,2PL,0,0.8, 1,,,,, 19,2,2PL,0,0.4, 1,,,,, 20,1,2PL,0,0.8, 2,,,,, 20,2,2PL,0,0.4, 1.5,,,,,

Generación de datos con IRTLAB 29

Datos simulados… …

Input file: posmh.dat Output file: posmh.out Examinees: 1000 Items: 20 Total group Focal group Reference group Mean = Std.Dev.= N = Level of significance = The program will collapse the score categories by combining adjacent score categories until the number of examinees in each score group is greater than 1 DIF detection in the initial test Lowest score = 0 Highest score =20

32 MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat. Item01= Item02= Item03= Item04= Item05= Item06= Item07= Item08= Item09= item10= item11= item12= item13= item14= item15= item16= item17= item18= item19= item20= The 25.00% of the items display DIF

33 DIF detection in the purified test Lowest score = 0 Highest score =16 Mean = 6.67 Bounds of score categories score categorie 1=0-0 score categorie 2=1-1 score categorie 3=2-2 score categorie 4=3-3 score categorie 5=4-4 score categorie 6=5-5 score categorie 7=6-6 score categorie 8=7-7 score categorie 9=8-8 score categorie 10=9-9 score categorie 11=10-10 score categorie 12=11-11 score categorie 13=12-12 score categorie 14=13-13 score categorie 15=14-14 score categorie 16=15-15 score categorie 17=16-16

34 MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat. Item01= Item02= Item03= Item04= Item05= Item06= Item07= Item08= Item09= item10= item11= item12= item13= item14= item15= item16= item17= item18= item19= item20= The 20.00% of the items display DIF

Antes Después Coeficiente Alpha=0.86 Diferencia en Puntuaciones típicas =-0.80 Diferencia corregida por atenuación: -0.80/raiz(0.86)= Coeficiente Alpha=0.84 Diferencia en Puntuaciones típicas =-0.89 Diferencia corregida por atenuación: -0.89/raiz(0.84)=-.97