TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014

MEDICIÓN Opera sobre un objeto Según reglas (isomorfismo objeto – ud medida) Unidad medida Construir instrumentos (acto medición) Tratamiento datos

TEORÍA CLÁSICA TESTS Dificultad Discriminación Análisis distractores Índice fiabilidad Validez Dimensionalidad

DIFICULTAD En función número personas que contesten de forma correcta, depende de muestra ID = A / N Si elección múltiple, para corregir efectos azar ID =

DIFICULTAD Sentido test o pruebas objetivas medida aptitudes Muy fáciles (ID > 0,75), fáciles (0,55 < ID < 0,75), normales (0,45 < ID < 0,54), difíciles (0,25 < ID < 0,44), muy difíciles (ID < 0,25) Mayor cantidad ítems dificultad media y pequeña cantidad ítems dificultad alta y baja

DIFICULTAD 40 alumnos, ítem 2 alternativas, aciertan 25 ID=25/40=0,625 (fácil) 40 alumnos, ítem 2 alternativas, aciertan 15 ID=15/40=0,375 (difícil) 40 alumnos, ítem 3 alternativas, aciertan 15 ID= = 0,4375 (difícil)

DISCRIMINACIÓN Selectividad pregunta para discriminar grupo más aciertos vs menos aciertos (correlación item – puntuación test) -1 … +1 Buen índice > 0,30 Muy bien > 0,4 Dos extremos 27% superior y 27% inferior D = p + - p - Correlación: – 2 variables dicotómicas: Tabla de contingencia, X2 – Vbles dicotomizadas: Tetracórica – Vble continua y otra dicotómica: Biserial – Vbles continuas: Pearson

DISCRIMINACIÓN Se supone item test 300 estudiantes, de 81 mejores (27%) 40 aciertan ítem, y 81 peores 12 aciertan ítem. – IH = Discrimina bien

DISTRACTORES Alternativas falsas o incorrectas ítem Todas alternativas equiprobable elección Item 4 alternativas D correcta 300 individuos, fallan 198 A = 85 B = 40 C = :3 = 66 esperables para cada distractor Se compara 16,45 con Conclusión: rechazamos independencia

FIABILIDAD Modelo X = V + e – Ptuación empírica = verdadera + error – Probabilidad de fallo instrumento Supuestos – E (X) = V Media ptuac empíricas = verdadera – Correlac (V, e) = 0 – Correlac errores medida = 0 Condición necesaria pero no suficiente

FIABILIDAD Cuantificación – Coeficiente fiabilidad (fiabilidad relativa) Correlación dos formas paralelas test X y X’ – Error típico medida (fiabilidad absoluta): precisión, desviación típica de las puntuaciones respecto a la media verdadera

FIABILIDAD ESTABILIDAD – Dos aplicaciones mismo instrumento tras intervalo – Coeficiente correlación entre aplicaciones – Fiabilidad dos mitades EQUIVALENCIA – Instrumento es muestra representativa cdctas – Dos conjuntos ítems (dos pruebas) CONSISTENCIA INTERNA

FIABILIDAD EQUIVALENCIA – Mismo nº elementos – Redacción y estructura elementos similar – Mismo contenido y objetivo apreciado – Índices dificultad similares – No difª medias, varianzas y covarianzas – Mismas consignas presentación – Presentación idéntica

CONSISTENCIA INTERNA Índice fiabilidad función índice discriminación y desviación típica ítem Dos mitades, pares – impares Fiabilidad test completo: alfa de Cronbach Relación con número ítems

VALIDEZ CONTENIDO – Suficiencia y representatividad muestra cdctas – Lg adecuada PREDICTIVA (inferencia) O CRITERIO – Correlación con medida externa independiente – Correlación ítem – criterio – Predicción éxito CONCURRENTE (variante predictiva) – Medidas simultáneas CONSTRUCTO (consistencia construcción inicial): análisis factorial

VALIDEZ Relación con longitud y fiabilidad prueba – Nueva validez Rxy – n = nº ítems iniciales / nº ítems finales

TEORIA DE RESPTA AL ITEM Medir constructos latentes mediante fundamentación probabilística vs X = V + e Ítem ud básica medición. Modelos unidimensionales No pretende agregar medida ítems para valorar rasgos Resultado individuo en test depende de rasgos latentes

TRI Relación sujeto – rasgo latente función monótona creciente (fción característica ítem, o curva característica ítem) – Modelos CCI responde a función logística Modelo Rasch 1 solo parámetro Estimaciones aptitud iguales y estimaciones parámetros dttas muestras iguales

TRI Pi probabilidad acertar ítem i b índice dificultad item i D cte (si D = 1,7 … fción logística normal) rasgo latente no observado vble continua Modelo dos parámetros – A índice discriminación ítem, valor proporcional a pendiente CCI en punto = b

TRI ¿Probabilidad estudiantes acierten ítem cuyo índice dificultad b = 2; D = 1?

TRI Estimación parámetros modelo = calibración Programas cómputo: LOGIST, R Ndad muestras > 300 Valorar precisión estimaciones – Correlación valores simulados – estimados – Cálculo índice ajustes – Cálculo bondad ajustes curvas característica

TRI Ptuación individuo, expresión en función número de ítems del test Curva característica test (CCT) permite transformar valores en puntuaciones verdaderas Información = recíproco precisión en estimación parámetro, error medida D=1,7

TRI Función de información de un test, invariante ante cambio de escala, pudiendo comparar dos tests mediante eficacia relativa

APLICACIONES TRI Creación banco ítems con propiedades métricas conocidas: unidimensionalidad ítems y características elaboración tests Equiparación puntuaciones tests que miden misma variable y misma fiabilidad Funcionamiento diferencial ítems en función grupos: curva característica por grupos Tests adaptativos informatizados

DIFERENCIAS TCT - TRI TCTTRI Estima nivel atributo como sumatoria de respuestas a ítems individuales Se centra en el ítem y su calidad métrica Relación valor esperado y rasgo lineal X = V + e Relaciones funciones de diferentes tipos (Poisson, binomial, exponencial) Características métricas se definen en referencia a un grupo normativo Es posible comparar sujetos que responden a diferentes tests CÁLCULO ERROR AL MEDIR VBLES NATURALEZA SOCIAL, VALOR VERDADERO INOBSERVABLE, HAY QUE ESTIMARLO

PROBLEMA Profesor realiza prueba de rendimiento de lengua. Pasa la prueba a 200 alumnos. Índice discriminación, 27% mejores aciertan 30 y 27% peores aciertan % de 200 = 54

PROBLEMA Índice dificultad corregido ítem 4 alternativas, que acierta 80 estudiantes, suponiendo que lo han respondido todo el colegio.

PROBLEMA Análisis distractores, respuesta correcta b, eligen a) 60, c) 20 y d) 40. Grado significación 5%. ( )/3=40 Como ji cuadrado Se rechaza hipótesis nula igual distribución distractores (valor empírico, al ser mayor que 5,99 está en zona crítica)

PROBLEMA Grado dificultad ítem: difícil CONCLUSIÓN – Índice discriminación 0,37 buen índice – Índice dificultad 0,2 muy difícil – Independencia respuestas, NO – Dificultad índice difícil

PROBLEMA 5 sujetos 3 ítems T ¿índice discriminación ítem 1 con total? Cor (1, T) = cov (1, T) / dt 1. dt 2 cor(c(1,5,3,1,4),c(8,6,12,2,9))

PROBLEMA Covarianza Media 1: 14:5 = 2,4 Media T: 37:5 = 7,4 (1.8) + (5.6) + (3.12) + (1.2) + (4.9) = = 112 Cov = 112/5 – 2,4.7,4 = 26 – 17,76 = 8,24 ((1-2,4)^2 + (5-2,4)^2 + (3-2,4)^2 + (1-2,4)^2 + (4-2,4)^2) / 5-1 (1,96 + 6,76 + 0,36 + 1,96 + 2,56) / 4 = 13,6 / 4 = 3,4 ((8-7,4)^2 + (6-7,4)^2 + (12-7,4)^2 + (2-7,4)^2 + (9-7,4)^2) / 5-1 (0,36 + 1, , ,16 + 2,56) / 4 = 55,2 / 4 = 13,8 8,24 / 3,4.13,8 = 8,24 / 46,92 = 0,17

PROBLEMA Prueba objetiva, Sara 20 puntos, ¿calificación grupo normativo media = 22,4 y dt = 4,2? ¿Puntuación típica? Z = (20 – 22,4) / 4,2 = -0,5714 Z < - 0,5714 = z < 0,5714 T = z = (-0,5714) = 44,28 Peor valorado 22,4 – 3.4,2 = 9,8 2,8 es el máximo de las tablas de la normal 0,07 0,5 0, ,7157 = 0,2843 = 28% … 29%

PROBLEMA Item1 Item2 Item3 Item4 Item5 Juan Pedro Luis Enrique ID1 = 2/4 = 0,5 ID2 = 2/4 = 0,5 ID3 = ¾ = 0,75 ID4 = ¼ = 0,25 ID5 = ¾ = 0,75 Indice dificultad Indice discriminación = correlación ítem – test (sin valorar ítem) Fiabilidad ítem = discriminación ítem. Dt Ítem 2 – 5 cor(c(1,1,0,0),c(1,1,1,0))