TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014.

Presentación del tema: "TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014."— Transcripción de la presentación:

1 TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014

2 MEDICIÓN Opera sobre un objeto Según reglas (isomorfismo objeto – ud medida) Unidad medida Construir instrumentos (acto medición) Tratamiento datos

3 TEORÍA CLÁSICA TESTS Dificultad Discriminación Análisis distractores Índice fiabilidad Validez Dimensionalidad

4 DIFICULTAD En función número personas que contesten de forma correcta, depende de muestra ID = A / N Si elección múltiple, para corregir efectos azar ID =

5 DIFICULTAD Sentido test o pruebas objetivas medida aptitudes Muy fáciles (ID > 0,75), fáciles (0,55 < ID < 0,75), normales (0,45 < ID < 0,54), difíciles (0,25 < ID < 0,44), muy difíciles (ID < 0,25) Mayor cantidad ítems dificultad media y pequeña cantidad ítems dificultad alta y baja

6 DIFICULTAD 40 alumnos, ítem 2 alternativas, aciertan 25 ID=25/40=0,625 (fácil) 40 alumnos, ítem 2 alternativas, aciertan 15 ID=15/40=0,375 (difícil) 40 alumnos, ítem 3 alternativas, aciertan 15 ID= = 0,4375 (difícil)

7 DISCRIMINACIÓN Selectividad pregunta para discriminar grupo más aciertos vs menos aciertos (correlación item – puntuación test) -1 … +1 Buen índice > 0,30 Muy bien > 0,4 Dos extremos 27% superior y 27% inferior D = p + - p - Correlación: – 2 variables dicotómicas: Tabla de contingencia, X2 – Vbles dicotomizadas: Tetracórica – Vble continua y otra dicotómica: Biserial – Vbles continuas: Pearson

8 DISCRIMINACIÓN Se supone item test 300 estudiantes, de 81 mejores (27%) 40 aciertan ítem, y 81 peores 12 aciertan ítem. – IH = Discrimina bien

9 DISTRACTORES Alternativas falsas o incorrectas ítem Todas alternativas equiprobable elección Item 4 alternativas D correcta 300 individuos, fallan 198 A = 85 B = 40 C = 73 198:3 = 66 esperables para cada distractor Se compara 16,45 con Conclusión: rechazamos independencia

10 FIABILIDAD Modelo X = V + e – Ptuación empírica = verdadera + error – Probabilidad de fallo instrumento Supuestos – E (X) = V Media ptuac empíricas = verdadera – Correlac (V, e) = 0 – Correlac errores medida = 0 Condición necesaria pero no suficiente

11 FIABILIDAD Cuantificación – Coeficiente fiabilidad (fiabilidad relativa) Correlación dos formas paralelas test X y X’ – Error típico medida (fiabilidad absoluta): precisión, desviación típica de las puntuaciones respecto a la media verdadera

12 FIABILIDAD ESTABILIDAD – Dos aplicaciones mismo instrumento tras intervalo – Coeficiente correlación entre aplicaciones – Fiabilidad dos mitades EQUIVALENCIA – Instrumento es muestra representativa cdctas – Dos conjuntos ítems (dos pruebas) CONSISTENCIA INTERNA

13 FIABILIDAD EQUIVALENCIA – Mismo nº elementos – Redacción y estructura elementos similar – Mismo contenido y objetivo apreciado – Índices dificultad similares – No difª medias, varianzas y covarianzas – Mismas consignas presentación – Presentación idéntica

14 CONSISTENCIA INTERNA Índice fiabilidad función índice discriminación y desviación típica ítem Dos mitades, pares – impares Fiabilidad test completo: alfa de Cronbach Relación con número ítems

15 VALIDEZ CONTENIDO – Suficiencia y representatividad muestra cdctas – Lg adecuada PREDICTIVA (inferencia) O CRITERIO – Correlación con medida externa independiente – Correlación ítem – criterio – Predicción éxito CONCURRENTE (variante predictiva) – Medidas simultáneas CONSTRUCTO (consistencia construcción inicial): análisis factorial

16 VALIDEZ Relación con longitud y fiabilidad prueba – Nueva validez Rxy – n = nº ítems iniciales / nº ítems finales

17 TEORIA DE RESPTA AL ITEM Medir constructos latentes mediante fundamentación probabilística vs X = V + e Ítem ud básica medición. Modelos unidimensionales No pretende agregar medida ítems para valorar rasgos Resultado individuo en test depende de rasgos latentes

18 TRI Relación sujeto – rasgo latente función monótona creciente (fción característica ítem, o curva característica ítem) – Modelos CCI responde a función logística Modelo Rasch 1 solo parámetro Estimaciones aptitud iguales y estimaciones parámetros dttas muestras iguales

19 TRI Pi probabilidad acertar ítem i b índice dificultad item i D cte (si D = 1,7 … fción logística normal) rasgo latente no observado vble continua Modelo dos parámetros – A índice discriminación ítem, valor proporcional a pendiente CCI en punto = b

20 TRI ¿Probabilidad estudiantes acierten ítem cuyo índice dificultad b = 2; D = 1?

21 TRI Estimación parámetros modelo = calibración Programas cómputo: LOGIST, R Ndad muestras > 300 Valorar precisión estimaciones – Correlación valores simulados – estimados – Cálculo índice ajustes – Cálculo bondad ajustes curvas característica

22 TRI Ptuación individuo, expresión en función número de ítems del test Curva característica test (CCT) permite transformar valores en puntuaciones verdaderas Información = recíproco precisión en estimación parámetro, error medida D=1,7

23 TRI Función de información de un test, invariante ante cambio de escala, pudiendo comparar dos tests mediante eficacia relativa

24 APLICACIONES TRI Creación banco ítems con propiedades métricas conocidas: unidimensionalidad ítems y características elaboración tests Equiparación puntuaciones tests que miden misma variable y misma fiabilidad Funcionamiento diferencial ítems en función grupos: curva característica por grupos Tests adaptativos informatizados

25 DIFERENCIAS TCT - TRI TCTTRI Estima nivel atributo como sumatoria de respuestas a ítems individuales Se centra en el ítem y su calidad métrica Relación valor esperado y rasgo lineal X = V + e Relaciones funciones de diferentes tipos (Poisson, binomial, exponencial) Características métricas se definen en referencia a un grupo normativo Es posible comparar sujetos que responden a diferentes tests CÁLCULO ERROR AL MEDIR VBLES NATURALEZA SOCIAL, VALOR VERDADERO INOBSERVABLE, HAY QUE ESTIMARLO

26 PROBLEMA Profesor realiza prueba de rendimiento de lengua. Pasa la prueba a 200 alumnos. Índice discriminación, 27% mejores aciertan 30 y 27% peores aciertan 10. 27% de 200 = 54

27 PROBLEMA Índice dificultad corregido ítem 4 alternativas, que acierta 80 estudiantes, suponiendo que lo han respondido todo el colegio.

28 PROBLEMA Análisis distractores, respuesta correcta b, eligen a) 60, c) 20 y d) 40. Grado significación 5%. (60+20+40)/3=40 Como ji cuadrado Se rechaza hipótesis nula igual distribución distractores (valor empírico, al ser mayor que 5,99 está en zona crítica)

29 PROBLEMA Grado dificultad ítem: difícil CONCLUSIÓN – Índice discriminación 0,37 buen índice – Índice dificultad 0,2 muy difícil – Independencia respuestas, NO – Dificultad índice difícil

30 PROBLEMA 5 sujetos 3 ítems 1 2 3 T 1 1 3 4 8 2 5 1 0 6 3 3 4 5 12 4 1 0 1 2 5 4 2 3 9 ¿índice discriminación ítem 1 con total? Cor (1, T) = cov (1, T) / dt 1. dt 2 cor(c(1,5,3,1,4),c(8,6,12,2,9))

31 PROBLEMA Covarianza Media 1: 14:5 = 2,4 Media T: 37:5 = 7,4 (1.8) + (5.6) + (3.12) + (1.2) + (4.9) = 8 + 30 + 36 + 2 + 36 = 112 Cov = 112/5 – 2,4.7,4 = 26 – 17,76 = 8,24 ((1-2,4)^2 + (5-2,4)^2 + (3-2,4)^2 + (1-2,4)^2 + (4-2,4)^2) / 5-1 (1,96 + 6,76 + 0,36 + 1,96 + 2,56) / 4 = 13,6 / 4 = 3,4 ((8-7,4)^2 + (6-7,4)^2 + (12-7,4)^2 + (2-7,4)^2 + (9-7,4)^2) / 5-1 (0,36 + 1,96 + 21,16 + 29,16 + 2,56) / 4 = 55,2 / 4 = 13,8 8,24 / 3,4.13,8 = 8,24 / 46,92 = 0,17

32 PROBLEMA Prueba objetiva, Sara 20 puntos, ¿calificación grupo normativo media = 22,4 y dt = 4,2? ¿Puntuación típica? Z = (20 – 22,4) / 4,2 = -0,5714 Z < - 0,5714 = z < 0,5714 T = 50 + 10z = 50 + 10 (-0,5714) = 44,28 Peor valorado 22,4 – 3.4,2 = 9,8 2,8 es el máximo de las tablas de la normal 0,07 0,5 0,7157 1-0,7157 = 0,2843 = 28% … 29%

33 PROBLEMA Item1 Item2 Item3 Item4 Item5 Juan 0 1 0 0 1 Pedro 1 1 1 0 1 Luis 1 0 1 0 1 Enrique 0 0 1 1 0 ID1 = 2/4 = 0,5 ID2 = 2/4 = 0,5 ID3 = ¾ = 0,75 ID4 = ¼ = 0,25 ID5 = ¾ = 0,75 Indice dificultad Indice discriminación = correlación ítem – test (sin valorar ítem) Fiabilidad ítem = discriminación ítem. Dt Ítem 2 – 5 cor(c(1,1,0,0),c(1,1,1,0))