Estadístico Mantel-Haenszel Estadístico utilizado para determinar cuando dos variables (grupo y acierto) son independientes cuando se condiciona a una.

Presentación del tema: "Estadístico Mantel-Haenszel Estadístico utilizado para determinar cuando dos variables (grupo y acierto) son independientes cuando se condiciona a una."— Transcripción de la presentación:

1 Estadístico Mantel-Haenszel Estadístico utilizado para determinar cuando dos variables (grupo y acierto) son independientes cuando se condiciona a una tercera variable (nivel de habilidad) 1

2 Ítems dicotómicos 2

3 El concepto de Odds Ratio Cociente de Razones (α) 3

4 ¿qué es α? Tendremos “K” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “K” los distintos niveles de rasgo (p.e., intervalos en los que se divide la puntuacion total en el test) En cada una de esas tablas tenemos la siguiente estructura: Grupo 10Total Ref A k B k N Rk Foc C k D k N Fk N 1k N 0k N k α = (A k /B k ) / (C k /D k )= A k D k /B k C k α (Odds ratio) es el Cociente de Razones en el grupo “k”: α indica en qué medida la ratio aciertos/errores es mayor en el grupo de referencia que en el grupo focal 4

5 Mantel - Haenszel En cada una de las “K” tablas nos podemos encontrar en una de estas tres situaciones: a) No DIF Grupo 1 0 Total Ref 20 80 100 20/80=0.25 Foc 40 160 200 40/160 = 0.25 60 240 300 20(160)/40(80)=1 b) DIF a favor grupo focal Grupo 1 0 Total Ref 20 80 100 20/80=0.25 Foc 80 120 200 80/120 = 0.67 100 200 300 20(120)/80(80)=0.375 c) DIF a favor grupo referencia Grupo 1 0 Total Ref 20 80 100 20/80=0.25 Foc 20 180 200 20/180 = 0.11 40 260 300 20(180)/20(80)=2.25 5

6 El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno. Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR. Difícil de interpretar…. α 6

7 El Logaritmo del Cociente de Razones: Ln(α) 7

8 ¿Que es Ln(α)? Asumamos un modelo dicotómico para cada grupo: 8

9 Si a difiere en los dos grupos, la Odds Ratio depende de Si asumimos a iguales en los dos grupos: Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos 9

10 Si a difiere en los dos grupos, la Odds Ratio depende de Si asumimos el modelo de Rasch: Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos 10

11 El logaritmo del cociente de razones común toma valores entre -  e . Si no hay DIF, dará valores cercanos a cero. Si da valores menores que 0, más probabilidad de acierto en GF. Si da valores mayores que 0, más probabilidad de acierto en GR. Más fácil de interpretar…. Ln(α) 11

12 Hasta ahora… Hemos calculado los valores en cada grupo k… … ahora vamos a calcular los valores en el grupo completo. 12

13 Estimación de α: Cociente de razones común 13

14 Si se asume el modelo anterior (no hay efecto del estrato de habilidad), puede calcularse un cociente de razones común (como una suma ponderada de los cocientes de razones obtenidos en los grupos): El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno. Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR. 14

15 En el caso dicotómico: 15

16 Cociente de razones común Otros indicador de DIF es el cociente de razones común: Alpha para un grupo: α= (A k /B k )/(C k /D k ) α = (A k D k )/(B k C k ) El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno. Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR. Asumiendo que no hay efecto del estrato 16

17 Interpretación: Valores negativos indica probabilidad de acierto mayor en el grupo Focal. Valores positivos indica probabilidad de acierto mayor en el grupo de Referencia. Asumiendo un modelo de Rasch con a = 1 y D = 1 Criterios del ETS: A: Está entre -0.43 y 0.43 C: mayor que 0.64 ó menor que -0.64 B: El resto. El Logaritmo del Cociente de Razones común: 17

18 Dificultad en la Escala Delta (ETS) p zRzR Delta R = 13+z R *4 18

19 Dificultad en la Escala Delta (ETS) p zFzF Delta F = 13+z F *4 19

20 Diferencia de dificultad en la Escala Delta (ETS) 20

21 Interpretación de MH-Delta: Valores positivos indica probabilidad de acierto mayor en el grupo Focal. Valores negativos indica probabilidad de acierto mayor en el grupo de Referencia. El valor del Logaritmo del cociente de razones común está, en este caso, en la escala delta (media 13, DT 4), la ausencia de DIF viene indicada por valores cercanos a cero. Criterios del ETS: A: Está entre -1 y 1 (1-> 0.25 en la escala z) C: mayor que 1.5 ó menor que -1.5 (1.5 ->.375 en la escala z) B: El resto. Asumiendo un modelo de Rasch con a=1 y D=1 MH-Delta: Asumiendo un modelo de Rasch con a = 1 y D = 1 El Logaritmo del Cociente de Razones común: 21

22 1.0/2.35=0.43 1.5/2.35=0.64 Se interpretan al revés con distintos puntos de corte 22

23 Estadístico de contraste para contrastar si α = 1 23

24 Estadístico de contraste Mantel – Haenszel (Datos dicotómicos): Tendremos “k” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “k” los distintos niveles de rasgo desde 1 hasta I-1 (p.e., intervalos en los que se divide la puntuacion total en el test) Grupo 10Total Ref A k B k N Rk Foc C k D k N Fk N 1k N 0k N k H 0 : α=1 para todo “k” H 1 : α≠1 para algún “k” NUMERO DE ACIERTOS EN EL GRUPO DE REFERENCIA NUMERO ESPERADO DE ACIERTOS EN EL GRUPO DE REFERENCIA SI NO HAY ASOCIACIÓN ENTRE LA PERTENENCIA AL GRUPO Y LA PROBABILIDAD DE ACIERTO (AISLADO EL NIVEL DE RASGO) El estadístico  2 MH sigue la distribución  2 con 1 grado de libertad 24

25 25

26 Ejemplo (datos simulados) 26

27 Generación de datos con IRTLAB 27 20,2 1,1,2PL,0,1.2,-2,,,,, 1,2,2PL,0,1.2,-2,,,,, 2,1,2PL,0,1.2,-1,,,,, 2,2,2PL,0,1.2,-1,,,,, 3,1,2PL,0,1.2, 0,,,,, 3,2,2PL,0,1.2, 0,,,,, 4,1,2PL,0,1.2, 1,,,,, 4,2,2PL,0,1.2, 1,,,,, 5,1,2PL,0,1.2, 2,,,,, 5,2,2PL,0,1.2, 2,,,,, 6,1,2PL,0,1,-2,,,,, 6,2,2PL,0,1,-2,,,,, 7,1,2PL,0,1,-1,,,,, 7,2,2PL,0,1,-1,,,,, 8,1,2PL,0,1, 0,,,,, 8,2,2PL,0,1, 0,,,,, 9,1,2PL,0,1, 1,,,,, 9,2,2PL,0,1, 1,,,,, 10,1,2PL,0,1, 2,,,,, 10,2,2PL,0,1, 2,,,,,

28 Generación de datos con IRTLAB 28 11,1,2PL,0,0.8,-2,,,,, 11,2,2PL,0,0.8,-2,,,,, 12,1,2PL,0,0.8,-1,,,,, 12,2,2PL,0,0.8,-1,,,,, 13,1,2PL,0,0.8, 0,,,,, 13,2,2PL,0,0.8, 0,,,,, 14,1,2PL,0,0.8, 1,,,,, 14,2,2PL,0,0.8, 1,,,,, 15,1,2PL,0,0.8, 2,,,,, 15,2,2PL,0,0.8, 2,,,,, 16,1,2PL,0,0.8,-2,,,,, 16,2,2PL,0,0.8,-2.5,,,,, 17,1,2PL,0,0.8,-1,,,,, 17,2,2PL,0,0.8,-1.25,,,,, 18,1,2PL,0,0.8, 0,,,,, 18,2,2PL,0,0.8,-0.5,,,,, 19,1,2PL,0,0.8, 1,,,,, 19,2,2PL,0,0.4, 1,,,,, 20,1,2PL,0,0.8, 2,,,,, 20,2,2PL,0,0.4, 1.5,,,,,

29 Generación de datos con IRTLAB 29

30 Datos simulados… 30 1 1 1 1 0 0 1 1 0 1 0 1 1 1 1 0 1 1 1 0 0 1 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 0 0 0 1 1 1 1 0 0 1 1 0 0 0 1 0 1 0 1 1 1 1 0 0 1 1 1 1 0 0 1 1 1 0 1 1 1 0 0 0 1 0 1 0 1 … 2 1 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 1 1 1 2 1 0 0 0 0 1 1 0 0 0 1 1 1 0 0 0 0 1 0 1 2 1 1 1 1 0 1 1 1 0 0 1 1 0 0 0 1 1 1 0 0 2 1 1 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 1 111100110101111011100 111000010000000011000 111100110001010111100 111100111011100010101... 211100111001111011111 210000110001110000101 211110111001100011100 211000110001100011101

31 Input file: posmh.dat Output file: posmh.out Examinees: 1000 Items: 20 Total group Focal group Reference group Mean = 8.75 6.72 10.10 Std.Dev.= 4.21 3.84 3.91 N = 1000 400 600 Level of significance = 0.0100 The program will collapse the score categories by combining adjacent score categories until the number of examinees in each score group is greater than 1 DIF detection in the initial test Lowest score = 0 Highest score =20

32 32 MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat. Item01= 1.68 -1.22 3.97 0 28.57 21 Item02= 1.56 -1.04 5.04 0 23.81 21 Item03= 1.88 -1.48 9.40 1 25.00 21 Item04= 1.40 -0.79 1.28 0 27.38 21 Item05= 1.84 -1.43 0.48 0 41.67 21 Item06= 1.45 -0.87 2.13 0 27.38 21 Item07= 1.35 -0.70 2.34 0 26.19 21 Item08= 1.50 -0.95 4.24 0 23.81 21 Item09= 1.24 -0.51 0.60 0 26.19 21 item10= 1.16 -0.36 0.04 0 33.33 21 item11= 1.08 -0.19 0.08 0 22.62 21 item12= 0.81 0.49 1.13 0 25.00 21 item13= 1.35 -0.71 2.60 0 21.43 21 item14= 1.14 -0.30 0.21 0 26.19 21 item15= 1.16 -0.34 0.11 0 29.76 21 item16= 0.46 1.82 10.15 1 27.38 21 item17= 1.00 -0.00 0.01 0 26.19 21 item18= 0.57 1.30 9.14 1 21.43 21 item19= 0.38 2.26 22.88 1 20.24 21 item20= 0.26 3.18 32.43 1 20.24 21 The 25.00% of the items display DIF

33 33 DIF detection in the purified test Lowest score = 0 Highest score =16 Mean = 6.67 Bounds of score categories score categorie 1=0-0 score categorie 2=1-1 score categorie 3=2-2 score categorie 4=3-3 score categorie 5=4-4 score categorie 6=5-5 score categorie 7=6-6 score categorie 8=7-7 score categorie 9=8-8 score categorie 10=9-9 score categorie 11=10-10 score categorie 12=11-11 score categorie 13=12-12 score categorie 14=13-13 score categorie 15=14-14 score categorie 16=15-15 score categorie 17=16-16

34 34 MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat. Item01= 1.30 -0.63 0.84 0 28.13 16 Item02= 1.25 -0.53 1.13 0 25.00 16 Item03= 1.47 -0.91 3.02 0 20.59 17 Item04= 1.00 0.00 0.02 0 28.13 16 Item05= 1.63 -1.14 0.23 0 39.06 16 Item06= 1.16 -0.35 0.25 0 23.44 16 Item07= 1.05 -0.11 0.03 0 25.00 16 Item08= 1.22 -0.46 0.87 0 23.44 16 Item09= 0.98 0.06 0.00 0 23.44 16 item10= 0.97 0.07 0.02 0 31.25 16 item11= 0.89 0.29 0.21 0 21.88 16 item12= 0.64 1.05 5.19 0 25.00 16 item13= 1.14 -0.30 0.35 0 20.31 16 item14= 0.94 0.14 0.02 0 25.00 16 item15= 0.95 0.12 0.00 0 26.56 16 item16= 0.40 2.15 13.93 1 26.47 17 item17= 0.82 0.46 1.01 0 25.00 16 item18= 0.53 1.51 12.24 1 19.12 17 item19= 0.33 2.58 27.66 1 19.12 17 item20= 0.23 3.50 38.32 1 22.06 17 The 20.00% of the items display DIF

35 Antes Después Coeficiente Alpha=0.86 Diferencia en Puntuaciones típicas =-0.80 Diferencia corregida por atenuación: -0.80/raiz(0.86)=-.86 35 Coeficiente Alpha=0.84 Diferencia en Puntuaciones típicas =-0.89 Diferencia corregida por atenuación: -0.89/raiz(0.84)=-.97