Desarrollos Actuales de la Medición Tema 3 FUNCIONAMIENTODIFERENCIAL DE LOS ÍTEMS Ana Expósito Mingueza.

Presentación del tema: "Desarrollos Actuales de la Medición Tema 3 FUNCIONAMIENTODIFERENCIAL DE LOS ÍTEMS Ana Expósito Mingueza."— Transcripción de la presentación:

1 Desarrollos Actuales de la Medición Tema 3 FUNCIONAMIENTODIFERENCIAL DE LOS ÍTEMS Ana Expósito Mingueza

2 Fundamentación teórica ¿Qué implica la validez de un test?

3 Fundamentación teórica ¿Qué implica la validez de un test? Un test válido proporciona medidas idénticas para sujetos o grupos de sujetos con iguales valores en la variable medida

4 Fundamentación teórica ¿Cuándo no será válido un test?

5 Fundamentación teórica ¿Cuándo no será válido un test? En aquellos casos en que el test ofrezca una puntuación de los sujetos en función del: · nivel en la variable medida y · otras características irrelevantes

6 Fundamentación teórica ¿Cuándo no será válido un test? En aquellos casos en que el test ofrezca una puntuación de los sujetos en función del: · nivel en la variable medida y · otras características irrelevantes Por ejemplo… Grupo étnico, cultural, sexo, etc

7 Fundamentación teórica ¿Cuándo no será válido un test? En aquellos casos en que el test ofrezca una puntuación de los sujetos en función del: · nivel en la variable medida y · otras características irrelevantes Por ejemplo… Grupo étnico, cultural, sexo, etc Funcionamiento Diferencial del Test (FDT)

8 Fundamentación teórica ¿Cuándo no será válido un test? En aquellos casos en que el test ofrezca una puntuación de los sujetos en función del: · nivel en la variable medida y · otras características irrelevantes Por ejemplo… Grupo étnico, cultural, sexo, etc Funcionamiento Diferencial del Test (FDT) INVALIDEZINVALIDEZ

9 Fundamentación teórica NIVELES DE INVALIDEZ

10 Fundamentación teórica NIVELES DE INVALIDEZ MOLAR MOLECULAR

11 Fundamentación teórica NIVELES DE INVALIDEZ MOLAR MOLECULAR En cuanto al TEST (FDT) En cuanto a los ÍTEMS

12 Fundamentación teórica NIVELES DE INVALIDEZ MOLAR MOLECULAR En cuanto al TEST (FDT) En cuanto a los ÍTEMS Funcionamient o Diferencial de los Ítems (FDI ó DIF)

13 Fundamentación teórica NIVELES DE INVALIDEZ MOLAR MOLECULAR En cuanto al TEST (FDT) En cuanto a los ÍTEMS Funcionamient o Diferencial de los Ítems (FDI ó DIF) Ítems que son acertados de manera diferente en grupos poblacionales que tienen el mismo nivel de habilidad en la variable medida DIF

14 Reseña Histórica

15 · Primera investigación sobre el sesgo de los ítems (1951) Eells, Havisghrust, Herrick y Tyler - Sesgo Cultural

16 Reseña Histórica · Auge de la atención a la posiblilidad de sesgo en los test (60’s) - Construidos por la clase económica dominante

17 Reseña Histórica · Jensen, (1980). Bias in Mental Testing - Diferencias de género y raza - Definiciones claras y precisas a) sesgo en estadística b) sesgo en psicometría Confusión semántica · Definición social  concepto ético · Definición técnica  Jensen

18 Reseña Histórica · Angoff (1982). Intento de resolución - “Discrepancia de los ítems” vs vs “ Sesgo”

19 Reseña Histórica · Holland y Thayer (1988). - Funcionamiento Diferencial de Ítems y del Test - Funcionamiento Diferencial de Ítems y del Test

20 Terminología

21 Terminología DIF vs IMPACTO

22 Terminología La diferente probabilidad de responder bien se corresponde con la diferente habilidad entre grupos Por ejemplo: H vs M en habilidad espacial

23 Terminología DIF vs IMPACTO Sujetos con igual nivel de habilidad y diferentes probabilidades de responder con éxito La diferente probabilidad de responder bien se corresponde con la diferente habilidad entre grupos Por ejemplo: H vs M en habilidad espacial

24 Terminología DIF vs IMPACTO Sujetos con igual nivel de habilidad y diferentes probabilidades de responder con éxito La diferente probabilidad de responder bien se corresponde con la diferente habilidad entre grupos Por ejemplo: H vs M en habilidad espacial Tipos de DIF

25 Terminología Tipos de DIF

26 Terminología UNIFORME La probabilidad de responder bien al ítem es mayor para un grupo que para otro en todos los niveles

27 Terminología Tipos de DIF UNIFORME La probabilidad de responder bien al ítem es mayor para un grupo que para otro en todos los niveles NO UNIFORME La diferencia en la probabilidad de responder bien al ítem entre dos grupos no es la misma en todos los niveles de actividad

28 Terminología Tipos de DIF UNIFORME La probabilidad de responder bien al ítem es mayor para un grupo que para otro en todos los niveles NO UNIFORME La diferencia en la probabilidad de responder bien al ítem entre dos grupos no es la misma en todos los niveles de actividad

29 Terminología Tipos de DIF UNIFORME La probabilidad de responder bien al ítem es mayor para un grupo que para otro en todos los niveles NO UNIFORME La diferencia en la probabilidad de responder bien al ítem entre dos grupos no es la misma en todos los niveles de actividad CCI

30 Terminología Tipos de Grupos

31 Terminología GRUPO FOCALGRUPO DE REFERENCIA

32 Terminología Tipos de Grupos GRUPO FOCAL Foco de interés del análisis (Normalmente el minoritario) GRUPO DE REFERENCIA

33 Terminología Tipos de Grupos GRUPO FOCAL Foco de interés del análisis (Normalmente el minoritario) GRUPO DE REFERENCIA Base de comparación (Normalmente el mayoritario)

34 Teoría Multidimensional del DIF

35 -Propone que el DIF se produce cuando bajo determinadas condiciones se incumple el supuesto de unidimensionalidad del test  multidimensionalidad

36 Teoría Multidimensional del DIF HABILIDAD PRINCIPAL vs HABILIDAD ESPURIA

37 Teoría Multidimensional del DIF HABILIDAD PRINCIPAL vs HABILIDAD ESPURIA Lo que trata de medir el test (impacto)

38 Teoría Multidimensional del DIF HABILIDAD PRINCIPAL vs HABILIDAD ESPURIA Lo que trata de medir el test (impacto) Otras variables que no se pretenden medir pero que están siendo medidas y afectan a los resultados, cambiando la probabilidad de acertar el ítem según petenezcana un grupo u a otro

39 Teoría Multidimensional del DIF HABILIDAD PRINCIPAL vs HABILIDAD ESPURIA Lo que trata de medir el test (impacto) Otras variables que no se pretenden medir pero que están siendo medidas y afectan a los resultados, cambiando la probabilidad de acertar el ítem según petenezcana un grupo u a otro DIF depende de ambas habilidades

40 Teoría Multidimensional del DIF DIF depende de ambas habilidades:

41 Teoría Multidimensional del DIF DIF depende de ambas habilidades: - DIF uniforme: grupos tienen… - DIF uniforme: grupos tienen… · diferente media en la HP · correlación significativa entre HP y HE · diferente media en la HE

42 Teoría Multidimensional del DIF DIF depende de ambas habilidades: - DIF uniforme: grupos tienen… - DIF uniforme: grupos tienen… · diferente media en la HP · correlación significativa entre HP y HE · diferente media en la HE - DIF no uniforme: grupos tienen… - DIF no uniforme: grupos tienen… · diferente varianza de la HE · diferente correlación entre HP y HE

43 Teoría Multidimensional del DIF Métodos de detección del DIF:

44 Teoría Multidimensional del DIF Métodos de detección del DIF: · Incondicionales · Incondicionales Ítems Dicotómicos - Invarianza Condicional Observada · Condicionales - Invarianza Condicional No Observada · Condicionales - Invarianza Condicional No Observada · Teoría de respuesta al ítem · Teoría de respuesta al ítem · Generalización del estadístico Mantel-Haenszel · Generalización del estadístico Mantel-Haenszel Ítems Politómicos · Extensión de la regresión logística - Bietápica para Mantel-Haenszel - Bietápica para Mantel-Haenszel · Purificación - Paso a paso a la regresión logística dicotómica · Purificación - Paso a paso a la regresión logística dicotómica - Paso a paso a la regresión logística politómica - Paso a paso a la regresión logística politómica

45 Ejercicio Práctico Supongamos que nos encontramos ante una matriz de datos de 1697 sujetos de un test formado por 12 ítems dicotómicos. Analizaremos uno de los ítems del test mediante el procedimiento Mantel-Haenszel. Grupos01Total GR7035105 GF6059871592 Total67510221697

46 Ejercicio Práctico PASOS: 1º Disponer de las respuestas de los examinados en el ítem 1º Disponer de las respuestas de los examinados en el ítem 2º.- Determinar los ítems que van a ser objeto de estudio. 2º.- Determinar los ítems que van a ser objeto de estudio. 3º Realizar las segmentaciones necesarias en casos de ítems politómicos -Ver más adelante Mantel Haenszel para de Ítems Politómicos-). 3º Realizar las segmentaciones necesarias en casos de ítems politómicos -Ver más adelante Mantel Haenszel para de Ítems Politómicos-). En este caso no son necesarias segmentaciones pues el ítem es dicotómico. 4º Realizar una tabla de contingencia para cada ítem o segmentación, es decir, k tablas 2x2 (siendo k el número de ítems que componen el test tras las posibles segmentaciones). 4º Realizar una tabla de contingencia para cada ítem o segmentación, es decir, k tablas 2x2 (siendo k el número de ítems que componen el test tras las posibles segmentaciones).

47 Ejercicio Práctico 5º Estimar MH 5º Estimar MH AK DK / NK AK DK / NK ^MH = ---------------- BK CK / NK BK CK / NK Varía entre 0 e ∞ si la estimación MH es mayor que 1  el ítem favorece al gr. referencia si la estimación MH es menos que 1  el ítem favorece al grupo focal

48 Ejercicio Práctico 5º Estimar MH 5º Estimar MH AK DK / NK AK DK / NK ^MH = ---------------- BK CK / NK BK CK / NK Varía entre 0 e ∞ si la estimación MH es mayor que 1  el ítem favorece al gr. referencia si la estimación MH es menos que 1  el ítem favorece al grupo focal AK DK / NK 70 · 987 / 169740,71 AK DK / NK 70 · 987 / 169740,71 ^MH = ---------------- = ------------------- = -------- = BK CK / NK 35 · 605 / 169712,48 BK CK / NK 35 · 605 / 169712,48 = 3,26 > 1  el ítem favorece al gr. referencia = 3,26 > 1  el ítem favorece al gr. referencia

49 Ejercicio Práctico 6º Transformación de la Estimación MH de Holland y Thayer a la escala delta de diferencias en la dificultad del ítem: 6º Transformación de la Estimación MH de Holland y Thayer a la escala delta de diferencias en la dificultad del ítem: MH D – DIF = -2,35 ln[Estimación MH] Indicada por valores próximos a 0 valores negativos  el ítem favorece al grupo de referencia valores positivos  el ítem favorece al grupo focal

50 Ejercicio Práctico 6º Transformación de la Estimación MH de Holland y Thayer a la escala delta de diferencias en la dificultad del ítem: 6º Transformación de la Estimación MH de Holland y Thayer a la escala delta de diferencias en la dificultad del ítem: MH D – DIF = -2,35 ln[Estimación MH] Indicada por valores próximos a 0 valores negativos  el ítem favorece al grupo de referencia valores positivos  el ítem favorece al grupo focal MH D – DIF = -2,35 ln[Estimación MH] = = -2,35 ln [3,26] = -2,35 · 1,18 = = - 2,78 (valor negativo)  el ítem favorece al gr. referencia

51 Ejercicio Práctico Hasta aquí ya sabemos que el ítem favorece al grupo de referencia. Ahora tenemos que determinar su posible generalización a la población, es decir, si es estadísticamente significativo ó si se debe a las fluctuaciones aleatorias del muestreo.

52 Ejercicio Práctico 7º Estadístico Mantel-Haenszel para evaluar la hipótesis nula de ausencia de DIF: 7º Estadístico Mantel-Haenszel para evaluar la hipótesis nula de ausencia de DIF: (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- Var (AK) Var (AK)Donde: E (AK) = ( NRK N1k) / NK NRK NFK N1K N0K NRK NFK N1K N0K Var (AK) = ----------------------------- NK al cuadrado (NK -1) NK al cuadrado (NK -1) Sigue una distribución (cuadrado) con un grado de libertad: - si (cuadrado)MH es mayor o igual a (cuadrado)1 -  el ítem exhibe DIF al nivel de significación  - si (cuadrado)MH es menor a (cuadrado)1 -  el ítem no presenta DIF al nivel de significación 

53 Ejercicio Práctico (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- Var (AK) Var (AK)Donde: E (AK) = NRK · N1k / NK NRK NFK N1K N0K NRK NFK N1K N0K Var (AK) = ----------------------------- NK al cuadrado (NK -1) NK al cuadrado (NK -1) Empecemos porE (AK): Empecemos por E (AK):

54 Ejercicio Práctico (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- Var (AK) Var (AK)Donde: E (AK) = NRK · N1k / NK NRK NFK N1K N0K NRK NFK N1K N0K Var (AK) = ----------------------------- NK al cuadrado (NK -1) NK al cuadrado (NK -1) Empecemos porE (AK): Empecemos por E (AK): E (AK) = NRK · N1k / NK = E (AK) = NRK · N1k / NK = = 105 · 675 / 1697 = = 105 · 675 / 1697 = = 41, 76 = 41, 76

55 Ejercicio Práctico (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- Var (AK) Var (AK)Donde: E (AK) = NRK · N1k / NK NRK NFK N1K N0K NRK NFK N1K N0K Var (AK) = ----------------------------- NK al cuadrado (NK -1) NK al cuadrado (NK -1) Sigamos conVar (AK): Sigamos con Var (AK):

56 Ejercicio Práctico (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- Var (AK) Var (AK)Donde: E (AK) = NRK · N1k / NK NRK NFK N1K N0K NRK NFK N1K N0K Var (AK) = ----------------------------- NK al cuadrado (NK -1) NK al cuadrado (NK -1) Sigamos conVar (AK): Sigamos con Var (AK): NRK NFK N1K N0K 105 · 1592 · 1022· 675 NRK NFK N1K N0K 105 · 1592 · 1022· 675 Var (AK) = ----------------------------- = ------------------------------ = Var (AK) = ----------------------------- = ------------------------------ = NK al cuadrado (NK -1) (1697) al cuadrado · 1696 NK al cuadrado (NK -1) (1697) al cuadrado · 1696 = 23,68 = 23,68

57 Ejercicio Práctico (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- Var (AK) Var (AK)Donde: E (AK) = NRK · N1k / NK NRK NFK N1K N0K NRK NFK N1K N0K Var (AK) = ----------------------------- NK al cuadrado (NK -1) NK al cuadrado (NK -1) Sigamos con (cuadrado)MH (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= ------------------------------------------- = Var (AK) Var (AK)

58 Ejercicio Práctico (| AK - E(AK)| - 0,5) al cuadrado (| AK - E(AK)| - 0,5) al cuadrado (cuadrado)MH= -------------------------------------------- = Var (AK) Var (AK) (|70 – 41,76| - 0,5) al cuadrado (28,24 – 0,5) al cuadrado (|70 – 41,76| - 0,5) al cuadrado (28,24 – 0,5) al cuadrado = ---------------------------------------- = ------------------------------- = = ---------------------------------------- = ------------------------------- = 23,68 23,68 23,68 23,68 (27,74) al cuadrado 769,5 (27,74) al cuadrado 769,5 = ------------------------ = ----------- = 32,49 = ------------------------ = ----------- = 32,49 23,68 23,68 23,68 23,68

59 Ejercicio Práctico Sigue una distribución (cuadrado) con un grado de libertad: - si (cuadrado)MH es mayor o igual a (cuadrado)1 -  el ítem exhibe DIF al nivel de significación  -si (cuadrado)MH es menor a (cuadrado)1 -  el ítem no presenta DIF al nivel de significación  Para este caso usamos nivel de significación  = 0,01

60 Ejercicio Práctico Sigue una distribución (cuadrado) con un grado de libertad: - si (cuadrado)MH es mayor o igual a (cuadrado)1 -  el ítem exhibe DIF al nivel de significación  -si (cuadrado)MH es menor a (cuadrado)1 -  el ítem no presenta DIF al nivel de significación  Para este caso usamos nivel de significación  = 0,01 (cuadrado)1 -  = 6,63 (cuadrado)1 -  = 6,63 (cuadrado)MH = 32,49 (cuadrado)MH = 32,49

61 Ejercicio Práctico Sigue una distribución (cuadrado) con un grado de libertad: - si (cuadrado)MH es mayor o igual a (cuadrado)1 -  el ítem exhibe DIF al nivel de significación  -si (cuadrado)MH es menor a (cuadrado)1 -  el ítem no presenta DIF al nivel de significación  Para este caso usamos nivel de significación  = 0,01 (cuadrado)1 -  = 6,63 (cuadrado)1 -  = 6,63 (cuadrado)MH = 32,49 (cuadrado)MH = 32,49 (cuadrado)MH > (cuadrado)1 -   (cuadrado)MH > (cuadrado)1 -   EL ITEM PRESENTA DIF EL ITEM PRESENTA DIF AL NIVEL DE SIGNIFICACIÓN  AL NIVEL DE SIGNIFICACIÓN 