5. Estimaciones empíricas de confiabilidad. Estimaciones empíricas de la confiabilidad M ÉTODOS PARA ESTIMAR LA CONFIABILIDAD 1. C ONFIABILIDAD DE FORMAS.

Presentación del tema: "5. Estimaciones empíricas de confiabilidad. Estimaciones empíricas de la confiabilidad M ÉTODOS PARA ESTIMAR LA CONFIABILIDAD 1. C ONFIABILIDAD DE FORMAS."— Transcripción de la presentación:

1 5. Estimaciones empíricas de confiabilidad

2 Estimaciones empíricas de la confiabilidad M ÉTODOS PARA ESTIMAR LA CONFIABILIDAD 1. C ONFIABILIDAD DE FORMAS ALTERNAS 2. C ONFIABILIDAD TEST - RETEST 3. C ONFIABILIDAD DE CONSISTENCIA INTERNA F ACTORES QUE AFECTAN LA CONFIABILIDAD 1 º C ONSISTENCIA ENTRE LAS PARTES DEL INSTRUMENTO 2 º L ONGITUD DEL INSTRUMENTO 3 º H ETEROGENEIDAD DE LA MUESTRA C ONFIABILIDAD DE LOS PUNTAJES DE DIFERENCIAS

3 Estimación empírica de la confiabilidad Puntajes verdaderos= x v = pv Puntajes observados = x o = po Error = x e = e Confiabilidad= R xx = Cfb

4 Estimación empírica de la confiabilidad La Cfd se define como: la proporción de la varianza de los po que es atribuible a la varianza de los pv. R xx = s 2 v /s 2 o La Cfd de los instrumentos se cuantifica a partir de los po.

5 Estimación empírica de la confiabilidad Los métodos dependen de los supuestos teóricos sobre los participantes y los procedimientos Si los supuestos no se cumplen Las estimaciones no serán exactas No hay un método que proporcione estimaciones completamente exactas bajo todas las condiciones.

6 Estimación empírica de la confiabilidad Hay por lo menos tres métodos para estimar la Cfd: 1. Confiabilidad de formas alternas 2. Confiabilidad un instrumento 3. Confiabilidad de consistencia interna

7 MÉTODOS PARA ESTIMAR LA CONFIABILIDAD: 1. CONFIABILIDAD DE FORMAS ALTERNAS 2. CONFIABILIDAD TEST-RETEST 3. CONFIABILIDAD DE CONSISTENCIA INTERNA FACTORES QUE AFECTAN LA CONFIABILIDAD 1º CONSISTENCIA ENTRE LAS PARTES DEL INSTRUMENTO 2º LONGITUD DEL INSTRUMENTO 3º HETEROGENEIDAD DE LA MUESTRA CONFIABILIDAD DE LOS PUNTAJES DE DIFERENCIAS Estimaciones empíricas de confiabilidad

8 1. Confiabilidad de formas alternas Formas alternas = paralelas. Los puntajes se obtienen de dos formas diferentes de un instrumento. Forma 1 Forma 2

9 1. Confiabilidad de formas alternas El instrumento es confiable en la medida en que: son consistentes con Sólo si las dos formas de la prueba son paralelas. las diferencias en los po de la forma 1 las diferencias en los po de la forma 2.

10 Son paralelos si: a) Están midiendo el mismo grupo de pv. b) Tienen la misma cantidad de varianza de e. Por tanto, tendrán igual: media y desviación estándar. La correlación entre las dos pruebas paralelas es exactamente igual a la Cfd. r 12 = R xx 1. Confiabilidad de formas alternas

11 Problema 1: Nunca es posible estar seguros de que dos formas del instrumento son verdaderamente paralelas (que los pv medidos por la forma 1 sean iguales a los pv de la forma 2). Formas diferentes incluyen contenido diferente (ligeramente diferente constructo psicológico; ej., autoestima). Por tanto, si las formas no son paralelas, la correlación no estima la Cfd. 1. Confiabilidad de formas alternas

12 Problema 2 Existe un efecto potencial de acarreo o contaminación (por memoria, actitudes, estado anímico) debido a la aplicación repetida de la prueba. Los pe de la forma 1 se correlacionan con los pe de la forma 2. No se cumple el supuesto básico de la teoría clásica de los test: “el error que afecta a cualquier prueba es aleatorio.” 1. Confiabilidad de formas alternas

13 Si dos formas de un instrumento se responden simultáneamente, algo del error que afecta las respuestas de la forma 1 podría afectar las respuestas de la forma 2. Por tanto, las dos formas no sería paralelas. 1. Confiabilidad de formas alternas

14 Forma 1Forma 2 Part.Xo 1 =Xv 1 +e1e1 Xo 2 =Xv 2 +e2e2 114=15+13=15+-2 217=14++317=14++3 311=13+-212=13+ 410=12+-211=12+ 514=11++314=11++3 69=10+8=10+-2 Media S 2 12.5 7.58 12.5 2.92 0 4.67 12.5 7.58 12.5 2.92 0 4.67 Ejemplo. Problema de acarreo 1. Confiabilidad de formas alternas

15 En el ejemplo, se han cumplido los supuestos: Xo 1 = Xv + Xe Los pv son completamente idénticos en las dos formas. Los puntajes de error suman cero. Los pv no están correlacionados con los pe. Las s e 2 son iguales para las dos formas. 1. Confiabilidad de formas alternas

16 Cfd para la forma 1 R xx = 2.92 /7.58 =.38 Cfd para la forma 2 R xx = 2.92 /7.58 =.38 Correlación entre po de las formas 1 y 2 r o1o2 =.96 Cfd muy alta, inexacta Cfd real 1. Confiabilidad de formas alternas Correlación entre los errores de las formas 1 y 2 r e1e2 =.93 Viola el supuesto de que el e es aleatorio (por efectos de acarreo)

17 MÉTODOS PARA ESTIMAR LA CONFIABILIDAD: 1. CONFIABILIDAD DE FORMAS ALTERNAS 2. CONFIABILIDAD TEST-RETEST 3. CONFIABILIDAD DE CONSISTENCIA INTERNA FACTORES QUE AFECTAN LA CONFIABILIDAD 1º CONSISTENCIA ENTRE LAS PARTES DEL INSTRUMENTO 2º LONGITUD DEL INSTRUMENTO 3º HETEROGENEIDAD DE LA MUESTRA CONFIABILIDAD DE LOS PUNTAJES DE DIFERENCIAS Estimaciones empíricas de confiabilidad

18 2. Confiabilidad test-retest Es útil para medir constructos psicológicos estables (ej., inteligencia, extraversión). Se le conoce como “coeficiente de estabilidad” Evita algunos problemas de las formas alternas. Tiempo 1 Tiempo 2

19 1er. supuesto: la s e 2 del 1er. instrumento es igual a la s e 2 del 2º instrumento. 2º supuesto: los pv de los participantes son estables a lo largo de las dos aplicaciones. (Los pv no cambian). Por tanto, las dos ocasiones de aplicación producen puntajes que son igualmente confiables. Entonces, la r entre la 1a. prueba y la 2ª prueba= R xx 2. Confiabilidad test-retest

20 Problemas: 1er. supuesto (igualdad de s e 2 ) El error de medición está muy afectado por elementos temporales de la situación (ruido, distracciones, etc.) Podrían enmascarar las diferencias en los pv de los Ss. Por tanto, habrá que controlar las muchas variables extrañas para que las situaciones sean idénticas y se pueda tener confianza en que las respuestas son afectadas por el error en el mismo grado. 2. Confiabilidad test-retest

21 Problemas 2o. supuesto (estabilidad de los pv) test-retest depende muchísimo de este supuesto. Pero es bastante posible que haya cambios porque: 1) Algunos constructos son menos estables que otros (estado –fluctuaciones de día a día– vs. rasgo). Los cambios en los po de una aplicación a la otra representarán el error de medición, que se reflejará en el tamaño del R xx test-retest. 2. Confiabilidad test-retest

22 2) Longitud del intervalo test-retest. Periodos más largos mayor cambio psicológico. Por tanto: Riesgo de confundir los cambios en los pv con el error de medición. Periodos cortos efectos de acarreo Para medidas de rasgo: periodo de 2 a 8 semanas. 2. Confiabilidad test-retest

23 3) Periodo de la vida de la persona en el que ocurre el intervalo. En la infancia, cambian conocimientos, habilidades… Por tanto, no se puede usar test-retest. La r test-retest refleja sólo : el grado en que error de medición afecta los puntajes. r tt error de medición R xx 2. Confiabilidad test-retest

24 MÉTODOS PARA ESTIMAR LA CONFIABILIDAD: 1. CONFIABILIDAD DE FORMAS ALTERNAS 2. CONFIABILIDAD TEST-RETEST 3. CONFIABILIDAD DE CONSISTENCIA INTERNA FACTORES QUE AFECTAN LA CONFIABILIDAD 1º CONSISTENCIA ENTRE LAS PARTES DEL INSTRUMENTO 2º LONGITUD DEL INSTRUMENTO 3º HETEROGENEIDAD DE LA MUESTRA CONFIABILIDAD DE LOS PUNTAJES DE DIFERENCIAS Estimaciones empíricas de confiabilidad

25 3. Confiabilidad de consistencia interna Útil alternativa práctica. Requiere que los respondientes completen sólo un instrumento en un sola ocasión. Es el método más usado para obtener la Cfb.

26 Tres aproximaciones para estimar Cfb: a) División por mitades b) Puntajes alfa “crudos” c) Puntajes alfa “estandarizados” 3. Confiabilidad de consistencia interna

27 a) División por mitades Se deriva desde dentro del instrumento mismo. Pasos: 1º Crear dos sub-instrumentos (v.gr., pares y nones) y obtener su puntaje compuesto. 3. Confiabilidad de consistencia interna

28 2º Calcular la r entre los dos subinstrumentos (r mm ). Refleja el grado en que las dos partes de la prueba son consistentes entre sí. Representa la Cfb de sólo la “mitad” del instrumento. 3º Aplica la fórmula de Spearman y Brown: R xx = 2r mm /1 + r mm 3. Confiabilidad de consistencia interna

29 División por mitades Premisa: Si los reactivos de un instrumento son similares unos a otros, entonces al dividirlo en dos partes de una manera apropiada (generalmente, al azar) se producirán dos subtests paralelos. 3. Confiabilidad de consistencia interna

30 División por mitades Problemas: Si no se cumple con el supuesto de los test paralelos (igualdad de pv y de s e 2 ), se obtiene una estimación inexacta. Diferentes maneras de dividir (y hay muchas), generan diferentes estimaciones de Cfb. Es más grave con instrumentos largos. No hay una que produzca estimaciones más exactas. Por tanto, se emplea poco. 3. Confiabilidad de consistencia interna

31 Más problemas Diferenciar pruebas de poder y pruebas de velocidad.  Pruebas de poder: preguntas con diferentes niveles de dificultad. Puntaje: número de respuestas correctas.  Pruebas de velocidad: Preguntas de igual grado de dificultad con tiempo limitado para responder. Puntaje: número de reactivos respondidos correctamente en el tiempo permitido. En pruebas de velocidad de respuesta, con el método de mitades, la Cfb casi siempre es cercana a 1. Por tanto, se usan otros métodos. 3. Confiabilidad de consistencia interna

32 b) Coeficiente alfa Aproximaciones “a nivel de reactivo”. Concibe cada reactivo como un subtest. Se utilizan las asociaciones entre los reactivos para estimar la Cfb del instrumento completo. 3. Confiabilidad de consistencia interna

33 Creada por Charles Spearman y W. Brown 3. Confiabilidad de consistencia interna Desarrollado por Lee Cronbach

34 3. Confiabilidad de consistencia interna Consistencia interna: estima la Cfb de los instrumentos de reactivos múltiples. Idea básica: Las diferentes “partes” (reactivos o grupos de reactivos) pueden ser tratados como formas diferentes de un instrumento.

35 Factores que afectan la Cfb: 1) Consistencia entre las partes. Si las partes están fuertemente correlacionadas entre sí, es probable que el instrumento sea confiable. Si se podría concluir que los po son consistentes con los pv. 2) Longitud del instrumento Un instrumento largo podría ser más confiable que uno corto. 3. Confiabilidad de consistencia interna las diferencias observadas en una parte (un reactivo) con las observadas en las otras partes (otros reactivos) son consistentes

36 Coeficiente α “bruto” de Cronbach 1er. paso Se calcula la varianza de los puntajes del instrumento completo (S 2 x ) Se calcula la covarianza entre cada par de reactivos (grado de asociación entre dos reactivos). c ii Se obtiene una matriz de covarianzas. 3. Confiabilidad de consistencia interna

37 Si la covarianza = 0 Inconsistencia. Entonces: o los reactivos no miden el mismo constructo, o al menos uno está profundamente afectado por el error de medición (ej., su fraseo es ambiguo). 3. Confiabilidad de consistencia interna Las diferencias entre las respuestas al reactivo 1 son inconsistentes con las diferencias entre sus respuestas al reactivo 2.

38 Se suman las covarianzas inter-reactivo Σc ii Refleja el grado en el que son consistentes las respuestas a todos los reactivos. 3. Confiabilidad de consistencia interna

39 2º. Se calcula la estimación de confiabilidad α = R xx estimada = (k / k – 1) ( Σc ii ’ / S 2 x ) o k: Número de reactivos Σc ii : Sumatoria de las covarianzas entre los reactivos S 2 x : Varianza de los puntajes 3. Confiabilidad de consistencia interna

40 c) Coeficiente alfa “estandarizado” Llamado también “fórmula generalizada Spearman Brown” Todos los reactivos se estandarizan antes de sumarlos para crear el puntaje total de la prueba. Proporciona una perspectiva más fuerte. Utiliza sólo correlaciones. 3. Confiabilidad de consistencia interna

41 1er. paso Se calculan r entre cada par de reactivos. 3. Confiabilidad de consistencia interna

42 2º paso Se calcula el promedio de las r (r inter-reactivo): grado en el que las respuestas a todos los reactivos son consistentes entre sí. 3er. paso Se calcula la estimación de la confiabilidad. Fórmula Spearman y Brown. R xx = [kr ii’ /1 + (k – 1) r ii’ 3. Confiabilidad de consistencia interna k = número de reactivos.

43 Los procedimientos de alfa “brutos” y de alfa estandarizados producen resultados similares. 3. Confiabilidad de consistencia interna

44 Alfa bruto para reactivos binarios Kuder-Richardson 20 3. Confiabilidad de consistencia interna Cada uno de los reactivos tiene dos posibles respuestas KR20

45 1er. paso Se calculan la proporciones de los respondientes que contestaron cada reactivo en cada una de las dos opciones de respuesta (p y q). Se calcula la varianza para cada reactivo (S 2 i = pq) Se calcula la varianza total de la prueba (S 2 x ) 3. Confiabilidad de consistencia interna

46 KR20 2º paso Se calcula la estimación de la Cfb: α = R xx estimada = (k / k – 1) (1 - Σpq / S 2 x ) 3. Confiabilidad de consistencia interna

47 Exactitud y uso de las estimaciones de Cfb por consistencia interna Es fácil de obtener y usar. Requiere poco esfuerzo: no formas paralelas, no aplicaciones repetidas, no división en mitades. Los supuestos son más liberales: no se requiere el supuesto de varianzas de error iguales. Las estimaciones resultan más exactas. 3. Confiabilidad de consistencia interna

48 KR20 y alfa colocan un límite más bajo sobre el tamaño de la confiabilidad estimada de los puntajes de los instrumento (subestiman la Cfb real de los puntajes del instrumento). 3. Confiabilidad de consistencia interna

49 MÉTODOS PARA ESTIMAR LA CONFIABILIDAD: 1. CONFIABILIDAD DE FORMAS ALTERNAS 2. CONFIABILIDAD TEST-RETEST 3. CONFIABILIDAD DE CONSISTENCIA INTERNA FACTORES QUE AFECTAN LA CONFIABILIDAD 1º CONSISTENCIA ENTRE LAS PARTES DEL INSTRUMENTO 2º LONGITUD DEL INSTRUMENTO 3º HETEROGENEIDAD DE LA MUESTRA CONFIABILIDAD DE LOS PUNTAJES DE DIFERENCIAS Estimaciones empíricas de confiabilidad

50 Factores que afectan la confiabilidad 1er. factor Consistencia entre las partes de la prueba Mayor consistencia interna produce mayor Cfb. Ejemplo: Una R xx =.63 pasaría a.73 si r ii’ =.29 pasara a.40. Recomendaciones: Reescribir algunos reactivos para hacerlos más claros. Reemplazar algunos reactivos por otros más relevantes al constructo.

51 Factores que afectan la confiabilidad 2º factor Longitud del instrumento Un instrumento más largo es más confiable que uno corto. Al incrementar la longitud del instrumento, la S 2 v aumentará en mayor grado que la S 2 e, por tanto, incrementará la Cfb.

52 R xx = s v 2 / s o 2 s o 2 = s v 2 + s e 2 R xx = s v 2 / s v 2 + s e 2 Factores que afectan la confiabilidad el s e 2 sólo se duplica la s v 2 se cuadruplica Si se duplicara la longitud del instrumento: R xx duplicado = 4(s v 2 )/ 4(s v 2 ) + 2(s e 2 )

53 Fórmula profética de Spearman-Brown para estimar la Cfb de un instrumento alargada o acortada: R xx revisado = n R xx original / 1 + (n – 1) R xx original n = factor por el que se revisa el instrumento. Factores que afectan la confiabilidad

54 Ej. La prueba tiene baja confiabilidad (.63). ¿Cuánto tendría que alargarse para alcanzar una confiabilidad satisfactoria? R xx revisado = 3(.63) / 1 + (3 – 1).63 R xx revisado =.84 Factores que afectan la confiabilidad R xx revisado = n R xx original / 1 + (n – 1) R xx original Si se triplicara el número de reactivos, se obtendría una confiabilidad de.84.

55 Fórmula profética con α estandarizado: R xx = kr ii’ /1 + (k – 1) r ii’ k = número de reactivos. Factores que afectan la confiabilidad Ej. Con 4 reactivos y r ii’ =.29 → R xx =.63 Con 7 reactivos y r ii’ =.29 → R xx =.74

56 Pero: Un instrumento más largo es más confiable que uno corto si y sólo si los reactivos adicionales son paralelos a los reactivos originales. Si no lo son, la r ii se reduce, y entonces la Cfb del instrumento alargado podría ser menor que la Cfb de la prueba original. Restricciones prácticas para aumentar reactivos: Límite de tiempo Fatiga Factores que afectan la confiabilidad

57 El beneficio de alargar un instrumento es pequeño para pruebas ya muy largas. El tamaño del incremento en la Cfb será una función negativa de la longitud de la prueba original. Factores que afectan la confiabilidad

58 Número de reactivos Confiabilidad estimada Asociación entre número de reactivos y confiabilidad (para un a prueba con una r ii =.30) Factores que afectan la confiabilidad

59 3er factor Heterogeneidad de la muestra A mayor variabilidad entre la gente con respecto al atributo psicológico que se está midiendo (mayor heterogenidad de sus pv), mayor el coeficiente de Cfb. Factores que afectan la confiabilidad

60 3er factor Heterogeneidad de la muestra R xx = s v 2 / s v 2 + s e 2 Todo lo que incremente s v 2 en relación con s e 2 incrementará la Cfb. Mientras más heterogéneos los pv, mayor s v 2 Factores que afectan la confiabilidad

61 1ª implicación: La Cfb no es una característica de la propia prueba, sino que depende de la muestra. Un instrumento puede producir puntajes de Cfb altos con una muestra (heterogénea) y bajos con otra muestra (homogénea).

62 Factores que afectan la confiabilidad 2ª implicación: Pone de relieve la utilidad de los estudios de generalización de la Cfb. Ej.: El MMPI es más confiable para adultos y para muestras clínicas.

63 MÉTODOS PARA ESTIMAR LA CONFIABILIDAD: 1. CONFIABILIDAD DE FORMAS ALTERNAS 2. CONFIABILIDAD TEST-RETEST 3. CONFIABILIDAD DE CONSISTENCIA INTERNA FACTORES QUE AFECTAN LA CONFIABILIDAD 1º CONSISTENCIA ENTRE LAS PARTES DEL INSTRUMENTO 2º LONGITUD DEL INSTRUMENTO 3º HETEROGENEIDAD DE LA MUESTRA CONFIABILIDAD DE LOS PUNTAJES DE DIFERENCIAS Estimaciones empíricas de confiabilidad

64 Confiabilidad de los puntajes de diferencias Interés en las diferencias entre dos puntajes.

65 Confiabilidad de los puntajes de diferencias Ej.: Estudiar el cambio en los puntajes de estudiantes. ¿Algunos niños cambiaron más que otros? Variabilidad: Evaluar el grado en el que los niños varían en la cantidad del cambio. Puntaje de diferencia = Puntaje inicial - Puntaje final 0 = no cambio + = cambio positivo - = cambio negativo

66 R d =.5 ( R xx + R yy ) - r xy / 1 - r xy R d : Confiabilidad de los puntajes de las difere ncias R xx : Confiabilidad de la prueba 1 R yy : Confiabilidad de la prueba 2 Confiabilidad de los puntajes de diferencias

67 Cfb de los pd depende de: a) La confiabilidad de los instrumentos usadas para calcular los pd. los instrumentos con Cfb altas producirán pd con alta Cfb. Confiabilidad de los puntajes de diferencias

68 b) La correlación entre los puntajes obtenidos en las dos pruebas. Dos pruebas que están altamente correlacionados entre sí producirán pd con baja Cfb. Al aumentar la r xy disminuirá el tamaño de R d. Ej.: Con r xy = 0.00, R d =.80 (instrumento independientes) Con r xy = 0.20, R d =.70 Con r xy = 0.70, R d =.33 Con r xy = 1.00, R d =.00 Confiabilidad de los puntajes de diferencias

69 La Cfb de los pd puede ser mucho más pequeña que la Cfb de los puntajes de los instrumentos que se utilizan para calcular los pd. Los decrementos de R d son una función decreciente negativa de r xy Ej.: Discapacidad = instrumento de – instrumento de logro en el aprendizaje inteligencia académico Confiabilidad de los puntajes de diferencias

70 Tipos de puntajes de diferencia: Puntajes de cambio: De la misma prueba administrada en diferentes tiempos. Puntajes de discrepancia: De diferentes pruebas. Deben estar en escalas métricas similares. Ej.: subinstrumentos del WISC (media = 10; ds = 3). Si no, estandarizar los puntajes (i.e., puntajes z) Confiabilidad de los puntajes de diferencias

71 Los pd tienen sentido si los puntajes de las dos pruebas han sido construidos para medir el mismo atributo psicológico. (No: instrumento de inteligencia y instrumento de autoestima). Otros pd Pd intraindividual: De la misma persona Pd interindividual: De diferentes personas Confiabilidad de los puntajes de diferencias

72 Conclusión: Los pd son muy problemáticos, porque tienden a ser menos confiables que los instrumentos utilizadas para calcularlos. Los pd son confiables cuando existen diferencias individuales en el cambio verdadero. Confiabilidad de los puntajes de diferencias